大企業は小規模に注目、AIは小型・低費用が時に優位

　これまでAI（人工知能）の開発競争は、性能の指標となる「パラメーター数」や学習するデータ量、計算資源を大規模化することによって繰り広げられてきた。だがここに来て、テクノロジー大手は小型化に注目している。

■　小規模言語モデルのメリット

　オープンAIの「Chat（チャット）GPT」のような、巧みに言葉を操る生成AIは、大規模言語モデル（LLM）を基盤として構築されている。だが、米ウォール・ストリート・ジャーナル（WSJ）によれば、オープンAIの「GPT-4」のようなLLMの開発には、1兆を超えるパラメーターや1億ドル（約160億円）以上の費用が必要になる。

　一方、小規模言語モデル（SLM）は法務文書のような、より限定的なデータセットで訓練され、その訓練費用は1000万ドル（約16億円）以下、パラメーター数は100億以下で済む。必要となる計算処理も少なく、質問のたびに発生するコストも低くなる。

　何よりも、サーバー側で動く高価なGPU（画像処理半導体）がなくても、CPU（中央演算処理装置）など端末側のプロセッサーを使って動かすことができるので、処理速度が速い。

■　アップルやマイクロソフトも小型化に注力

　米アップルは、独自の小規模言語モデルを開発してきた。利用者のプライバシー保護を重視する同社は、計算処理を端末側で行い、個人情報が外部サーバーに送信されないような手法で開発を続けてきた。同社は2024年6月に開いた開発者会議「WWDC24」で、独自のAIロードマップを発表した。小型モデルを使用し、AI処理をスマートフォンのプロセッサーで実行することで、高速化とセキュリティーの向上を実現するとした。

　米マイクロソフトは「Phi（ファイ）」と呼ぶ小規模言語モデルのメリットをアピールしている。同社CEO（最高経営責任者）のサティア・ナデラ氏によると、Phiは小型でありながら、多くのタスクをChatGPTとほぼ同等の性能で実行できるという。

　同社は最近、検索や画像生成など、数十種のAIモデルを利用できるパソコンを発売した。これらのAIモデルは、データ量が少ないため、デバイス上で実行でき、ChatGPTのようにクラウド上の大規模スーパーコンピューターにアクセスする必要がない。

　米グーグルや、AIスタートアップの仏ミストラルAI（Mistral AI）、米アンソロピック（Anthropic）なども最近、小規模モデルをリリースした。

■　多種多様な言語モデル

　WSJによれば、小規模モデルの強みは、社内コミュニケーションや法務・経理文書などのデータセットに焦点を絞り、特定のタスクを実行できるように「微調整（fine-tuning）」可能な点だという。この微調整プロセスにより、（特定タスクにおいて）大規模モデルと同等の効果を発揮し、コスト削減も図れる。

　今後、生成AI市場は、大規模モデルの性能競争から、多種多様な小型モデルの開発競争に移っていくのかもしれない。もちろん各社は大規模モデルの開発を続け、あるいは開発企業との協業を通じ、AIの高性能化を目指す。それと同時に、速度向上、専門性、プライバシー保護、低コストといったメリットに期待し、小規模化も進めていくようだ。