Google lance le nouveau chatbot Bard, alimenté par le modèle Gemini, comparable à GPT-4 selon les premiers utilisateurs. Jeff Dean, responsable de l’IA chez Google, a présenté le modèle Gemini Scale sur X, une mise à niveau du modèle Gemini Pro.
Les améliorations de Gemini rendent Bard “nettement meilleur” et plus performant par rapport au lancement en mars, selon Dean. Bien que la signification de “Scale” ne soit pas précisée, le nom suggère une version plus grande du modèle Pro précédent, qui n’a même pas surpassé GPT-3.5 selon les benchmarks.
Pro est le deuxième modèle de la gamme Gemini, derrière l’Ultra, encore à sortir. Le nouveau modèle Bard s’est classé deuxième dans le benchmark Chatbot Arena, rivalisant avec GPT-4, marquant la première percée contre la phalange de GPT-4.
Le système d’évaluation Elo, utilisé dans les échecs et les e-sports, a évalué le modèle Pro-Scale au-dessus des GPT-4 0314 et 0613 mais derrière le GPT-4 Turbo. Cependant, avec seulement 3 000 évaluations par rapport aux 30 000 des modèles GPT-4, les résultats peuvent évoluer.
Bien que les résultats proviennent d’évaluations d’utilisateurs et puissent différer des benchmarks synthétiques, cela demeure une réalisation notable pour Google, suscitant l’attente de la sortie prochaine de Gemini Ultra, attendu pour surpasser le Pro-Scale.