Meta「Llama 3.1」発表、無料＆商用可能なオープンソースLLMで「GPT-4o」を凌駕
Metaはオープンソースの大規模言語モデル「Llama 3.1」を発表しました。新たな405Bモデルを導入し、既存の8Bモデルと70Bモデルもアップグレードされました。
「Llama 3.1」はコンテキストウィンドウが128Kに拡張され、多言語サポートも強化されました。他社モデルとの競合力も高く、高度なユースケースをサポートします。
トレーニングデータは15兆トークンで行われ、各種クラウドサービスで利用可能。コスト削減も魅力的な特徴です。
米Metaは7月23日（現地時間）、オープンソースの大規模言語モデル「Llama 3.1」を発表した。ラインナップに405Bモデルを導入し、最新リリースに合わせて「Llama 3」の8Bモデルと70Bモデルにもアップグレードが実施される。各モデルウェイトは公式サイトおよび「Hugging Face」より無料でダウンロード可能。
「Llama 3.1」は、Metaが研究を進めている商用利用可能な大規模言語モデル（LLM）「Llama」の最新版。今回の新モデルでは、コンテキストウィンドウが128Kに、多言語サポートも拡張されている。
同社によると、150を超える複数のベンチマークにおいて「Llama 3.1」は、米OpenAIの「GPT-4o」や米Anthropicの「Claude 3.5 Sonnet」といった他社モデル（クローズドモデル）と競合できることが示されたとしている。
「Llama 3.1」は、長文テキストの要約、多言語会話エージェント、コーディングアシスタントといった高度なユースケースをサポート。ライセンスを変更し、開発者が「Llama」モデル（405Bを含む）の出力を使用して他モデルを改善できるようにした。また、「Llama Guard 3」（入力出力調整）と「Prompt Guard」（悪意のあるプロンプト攻撃から保護）といったセキュリティツールでリファレンスシステムを強化し、モデル層を超えて責任のあるAI開発を支援する。
トレーニングデータは15兆を超えるトークン規模で行なわれ、使用された米NVIDIAのGPU「H100」は16,000個以上にもなるという。
最新モデルは、AWS、Databricks、Dell、NVIDIA NIM、Groq、IBM WatsonX、Google Cloud、Microsoft Azure、Scale AI、Snowflakeといった主要なクラウドサービスで利用できる。発表初日よりサービスが提供開始されており、Metaによると、「GPT-4o」などのクローズドモデルを使用する場合よりも、コストを50％カットできるとしている。
なお、「Llama 3.1」は“オープンソース”モデルと謳われているが、「llama.meta.com」および「Hugging Face」からダウンロードする際には、氏名や生年月日といった個人情報の入力、コミュニティライセンスと利用規約の同意が必要となっている。
