グーグルAI「Gemini」ついにOpenAI超えてトップに躍進
グーグルが開発中の次世代大規模言語モデル（LLM）「Gemini-1.5-Pro-Exp-0801」が、ベンチマークサイト「Chatbot Arena」2024年7月31日付けランキングで1位になっていた。
ランキングでは、新モデルの「Gemini-1.5-Pro-Exp-0801」が強豪を押しのけ、1位を獲得した。
モデルの性能ランキングは参考値であり、実際の利用シーンでは異なる結果もある。
グーグルが開発中の次世代大規模言語モデル（LLM）「Gemini-1.5-Pro-Exp-0801」が、モデルの性能を評価するベンチマークサイト「Chatbot Arena」2024年7月31日付けランキングで1位になっていたことがわかった。
グーグルが開発中の次世代大規模言語モデル（LLM）「Gemini-1.5-Pro-Exp-0801」が、モデルの性能を評価するベンチマークサイト「Chatbot Arena」2024年7月31日付けランキングで1位になっていたことがわかった。
Chatbot Arenaのランキングは、1000万人以上の人間によるLLMのペアワイズ比較データ（LLMの性能を評価するためのデータセット）を収集し、各LLMを順位付けしたもの。同日のランキングでは新モデルの「Gemini-1.5-Pro-Exp-0801」が、OpenAIの「GPT-4o」シリーズやAnthropicの「Claude 3.5 Sonnet」といった強豪を押しのけ、堂々の1位を獲得している。
ランキングにはバージョンの異なるGeminiシリーズも複数ランクインしているが、GPT-4oとClaude 3.5 Sonnetの両方を下したのはGemini-1.5-Pro-Exp-0801のみ。
なお、Chatbot Arenaに限らず、LLMの性能ランキングやベンチマーク結果はあくまで参考値であり、実際の利用シーンでは、ほかのモデルの方が高い性能を示す場合もある。
文● @sumire_kon
