チャットボットいろいろ多すぎて、どれが性能いいのか？判断も難しいのではないでしょうか？そのような中でありがたいのが今回紹介する「Chatbot Arena」！
言語モデルのランキングがまとめられているサイトですが、今回の記事ではトップ10についてまとめていきます。
Top10
- Rank: モデルのランキング
- Model: モデルの名称とリリース日
- Arena Elo: Elo Rating(モデルの相対的な性能)
- 95% CI: 95%信頼区間(Elo Ratingの信頼性)
- Votes: モデルに対するvote数
- Organization: モデルを開発した組織
- License: ライセンス
- Knowledge Cutoff: モデルの知識がカバーしている最終日時
GPT系 (OpenAI)
- 1位: GPT-4o-2024-05-13
- 4位: GPT-4-Turbo-2024-04-09
- 5位: GPT-4-1106-preview
- 6位: GPT-4-0125-preview
Gemini系 (Google)
- 2位: Gemini-1.5-Pro-API-0514
- 2位: Gemini-Advanced-0514
- 4位: Gemini-1.5-Pro-API-0409-Preview
- 9位: Gemini-1.5-Flash-API-0514
Claude系 (Anthropic)
- 6位: Claude 3 Opus
Yi系 (01.AI)
- 9位: Yi-Large-preview
コメント