小規模言語モデル（SLM）とは？ マイクロソフトPhi-3やグーグルGammaは何を競うのか？

　大規模言語モデル（LLM）の躍進と同様に、パラメータ数が少なく、コンパクトで効率的、高い適応性を備える小規模言語モデル（SLM：Small Language Model）の開発も進んでいる。マイクロソフトの「Phi-3」、グーグルの「Gemma」「Gemini 1.5 Flash」などに加え、スタートアップも多数、SLM開発に乗り出している。日本企業もNTTの「tsuzumi」、NEC「cotomi」などが（SLMとはうたわないながらも）小型・特化型に取り組んでおり、開発競争は激化の様相だ。SLMとは何か、SLMはLLMと何が違うのか。小規模言語モデルの開発状況を探ってみたい。

1ページ目を1分でまとめた動画

　生成AI領域における言語モデルは今、いくつかの方向で開発が進められている。

　その1つは「大規模言語モデル（LLM）」の開発。大規模言語モデルは、生成AIの代名詞的な存在で、文字どおりサイズ（パラメータ数）が大きなモデルを指す。最近の例でいえば、GPT-4oやClaude 3 Opusなどが代表格といえるだろう。パラメータ数は公開されていないが、非常に大規模なモデルといわれており、パフォーマンスもかなり高いものとなっている。

　もう1つが、大規模言語モデルに比べ規模が小さな言語モデル（Small Language Model＝SLM）の開発だ。SLMとは、LLMよりもパラメータ数が少なく、よりコンパクトで効率的なAIモデルのことを指す。一般的にLLMが数百億から数千億のパラメータを有するのに対し、SLMは数億から数十億程度のパラメータで構成される。

　LLMは、テキストや画像、音声、動画など幅広いコンテンツを生成でき、さまざまなタスクに対応することが可能。対してSLMは、LLMほど多様なタスクはこなせないものの、特定の用途に特化させることで効率的に機能する。

　またSLMは、LLMに比べて計算リソースの消費を抑えつつ、高いパフォーマンスを発揮することが可能だ。用途に合わせてカスタマイズしやすく、オンプレミス環境での運用にも適しているとされる。

　SLMが注目される理由の1つに、LLMの開発・運用にかかる高コスト問題がある。LLMの学習には膨大なデータと計算リソース、長い時間を要するため、開発・運用だけでなく、利用するにも多大なコストが発生する。

　たとえば、LLMの開発には数千～数万台のGPUが用いられるが、SLMでは、100台ほどのGPUで開発されたケースや、軽量版は1GPU、超軽量版はCPUで高速に推論できると主張するケースもあり、コスト面でのメリットは大きい。

　さらにSLMは、少ないデータで学習可能で、プライバシーとセキュリティの向上につながる可能性もあるとされている。

　LLM間の性能差は急速に縮小しており、特定のタスクではトップモデル同士の差は最小傾向にある。Mixtral 8x7BやLlama 2-70Bなどの比較的小規模のモデルが、推論や多肢選択問題で大型モデルを上回る結果を示すなど、モデルのサイズが性能を決定する唯一の要因ではないことを示唆する事例が増えているのもSLMが注目される理由だ。