Le dernier classement des modèles d’intelligence artificielle (IA) les plus performants en juin 2024 a été publié, mettant en lumière les leaders du marché des modèles génératifs. GPT-4o continue de dominer, mais de nouveaux acteurs, tels que Gemini et Claude 3.5 Sonnet, progressent rapidement.
Un classement dynamique
Le modèle GPT-4o d’OpenAI, introduit en mai et accessible à tous les utilisateurs, conserve la première place avec un score Elo de 1 287. Claude 3.5 Sonnet, le nouveau modèle de la startup Anthropic, a fait une entrée remarquée en se hissant directement à la deuxième position avec un score de 1 272, quelques jours seulement après son lancement. Les modèles de la série Gemini, conçus par Google, occupent les troisième, quatrième et cinquième places, surpassant ainsi les versions précédentes de GPT-4.
Le classement a été établi par Chatbot Arena, un projet de l’Université de Berkeley soutenu par Hugging Face, qui évalue les performances des modèles génératifs en temps réel. Plus d’un million de contributions d’utilisateurs ont permis de révéler ces tendances, chaque utilisateur étant invité à comparer anonymement deux modèles sur la base d’une même requête.
Les performances en détail
Voici les dix modèles de langage les plus performants en juin 2024 selon le classement Elo de la Chatbot Arena :
- GPT-4o : 1 287
- Claude 3.5 Sonnet : 1 272
- Gemini Advanced : 1 267
- Gemini 1.5 Pro 0514 : 1 263
- Gemini 1.5 Pro 0409 : 1 257
- GPT-4 Turbo : 1 257
- GPT-4 1106 : 1 251
- Claude 3 Opus : 1 248
- GPT-4 0124 : 1 246
- Yi Large : 1 240
Critères de classement
Chatbot Arena utilise le système de notation Elo, couramment employé dans les compétitions d’échecs et d’esport, pour classer objectivement les modèles de langage. Ce système attribue une cote provisoire à chaque modèle, évoluant en fonction de ses performances lors de duels directs. Un modèle gagne des points en battant un adversaire plus performant et en perd s’il est battu par un modèle jugé inférieur. Ce système permet de prédire les résultats des affrontements entre différents modèles, offrant ainsi une évaluation juste et dynamique des performances.
Le paysage des modèles de langage évolue rapidement, avec des compétitions féroces entre différents acteurs du marché. GPT-4o maintient son leadership, mais des concurrents comme Claude 3.5 Sonnet et Gemini montrent des progrès significatifs.