SLM（小規模言語モデル）の特徴とは？構築方法やメリット・デメリットを解説

生成AIと聞くと、最初にLLM（大規模言語モデル）をイメージする方も多いでしょう。しかし最近では、新たな概念として「SLM（小規模言語モデル）」が提唱されましたが、まだ広くは知られていないかもしれません。

SLMとは、LLMと比べて小さなパラメータ数のモデルに用いられる総称で、一般常識や日常会話レベルに対応できる知識量を持つといわれています。

そこでこの記事では、SLMの概要とLLMとの違い、仕組みやメリット・デメリット、性能向上において把握しておくべき指標について解説します。SLMが今後、どのようなシーンで活用できるのかを押さえ、さまざまな状況にも柔軟にAI技術を使いこなせる人材を目指しましょう。

SLM（小規模言語モデル）とは

SLMとは、自然言語の処理・理解・生成に対応したAIモデルのことで、日本語では小規模言語モデルと呼ばれます。小小規模といっても極端に小さいわけではありません。LLMが数千億～数兆のパラメーターを持つのに対し、SLMは数百万～数十億の範囲です。

さらに、LLMと比べてコンパクトな設計のため、計算効率に優れています。SLMは必要とするメモリーと計算能力が最低限であるため、オフラインやリソース制約のある環境でデータ生成を行いたいときにも適しています。

LLM（大規模言語モデル）との違い

SLMとLLMには、主に「パラメーター数」と「学習範囲」の違いがあります。上述したように、LLMは膨大なパラメーターを持つ特徴に対し、SLMはLLMの10分の1程度に留まります。

LLMが大規模言語モデルといわれる理由としては、このパラメーター数が膨大であることからさまざまな情報を学習範囲と捉え、ユーザーの多様な問いかけにも対応できるためです。しかし学習範囲が広い反面、計算資源やメモリを多く消費し、使い方によってはリソース面で限界を感じることがあります。

また、巨大なパラメーターゆえに推論（応答）までの計算負荷が高く、応答が遅く感じられることもあります。

一方、SLMはパラメーター数がコンパクトに抑えられています。そのため、特定の学習範囲に絞ることで、LLMでみられがちな課題を解決し利便性を高めることができます。

関連記事：LLM（大規模言語モデル）とは？生成AIとの関係性や仕組みについて解説

SLMを実現する技術

SLMは、モデルサイズを小さく保ちながら性能を最適化するため、いくつかの代表的な軽量化技術を用います。ここからはSLMを実現する各技術と必要性について解説します。

モデル圧縮

モデル圧縮は、AIモデルのサイズを縮小するために用いられている技術です。モデルをコンパクトに抑えることでメモリ消費量を削減し、推論速度（応答速度）の向上が期待できます。モデル圧縮によって限られた環境のなかでもデータ生成を実行できます。

プルーニング

プルーニングは、AIモデルのパラメーターのうち重要度が低い重みを間引く技術です。植物の木を剪定する際にも同様の言葉を使いますが、そのときと同じようにパラメーターのなかでも不要な部分を枝刈りするイメージです。

プルーニングによってモデルサイズが大幅に縮小され、モデルの軽量化と抽出速度の向上につなげます。

量子化 

量子化は、デジタル信号の精度において低精度の形式に下げ、より少ないビット数で表現する技術です。例えば、64ビットの浮動小数点数を8ビットの整数に変換するようにデータサイズを小さくし、メモリ使用量や計算リソースの削減を図り抽出速度を向上します。

低ランクによる因数分解

低ランク近似とは、大規模な重み行列を低ランクで近似する技術です。複雑な計算を簡素化することでモデルの軽量化や推論効率の向上につながります。

知識蒸留

知識蒸留とは、大規模で高性能なモデル（教師）から小型モデル（生徒）へ知識を移し替える技術のことです。モデルを低ランクに分解することで大規模なモデルが持つ知識を効率的に引き継ぎ、サイズがコンパクトながらも高い精度を持つSLM構築につなげます。

SLMのメリット・デメリット

SLMの導入を検討する際は、メリットとデメリットのそれぞれがあることを押さえておきましょう。具体的なメリット・デメリットは下表の通りです。

例えば、段階的に複数のタスクを達成させながら最終的なゴールを目指すような使い方が多い場合、LLMが適していると考えられます。一方、特定の分野に関する情報抽出やごくシンプルなタスクの達成、オフライン環境でも使えるAIモデルの導入を検討している、といった場合、SLMが適しています。

一例としては、社内ヘルプデスクに特化したチャットボットの構築です。特定の業務に関する情報に絞ってデータを生成するため、従業員からのさまざまな問い合わせにも素早く対応できるでしょう。

SLMの一例

SLMは現在、さまざまな企業で開発・公開されています。ここからはSLMの一例として、各種の特徴と利用シーンについて解説します。

BitNet b1.58

BitNet b1.58はモデルの軽さを追求したモデルです。例えば超小型の高性能エンジンを搭載した軽自動車のようなイメージで、消費電力やメモリが極めて少ない特徴を持ちます。

利用シーンとしては、人々の生活になくてはならないスマートフォンや冷蔵庫といったIoT機器への実装やクラウドインフラの効率化などがあり、限られた電力やメモリしか使用できない機器にAI技術を搭載したいときに用いられます。

Gemma 7B

Gemma 7Bは、Googleが開発したLLM「Gemini」の技術を基にしたモデルです。サイズは小さいものの70億のパラメーターを搭載しているため、幅広い言語スタイルや情報トピックに対応しています。そのため、スマートフォンのパーソナルアシスタント機能や、外出先で使うモバイルアプリへの実装にも向いています。

GPT-4o mini

GPT-4o miniは、最先端LLMであるChatGPTにも用いられている「GPT-4o」の小型版です。テキストに限らず音声や画像も理解できる上にスムーズな動作が大きな特徴です。

軽量化によってデータ抽出速度が向上し、リアルタイムな会話が求められる顧客対応チャットボットやユーザーの質問に素早く答える必要がある個人向けアシスタントなどへの利用が期待されています。

Mistral 7B

Mistral 7Bは、コンパクトなサイズながらもLLMと相違ないほどの高い性能を持つと評価されるコストパフォーマンスに優れたモデルです。こちらも70億のパラメーター数を持つため、優れた技術を体感できます。

利用シーンとしては、新たなAIサービスを開発・展開したいスタートアップや中小企業が手軽に高性能なAIを導入する際のベースモデルが挙げられます。

Orca 2

Orca 2はMicrosoftが開発した倫理的思考を得意とするモデルです。推論能力を高めることを視野にファインチューニングされているため、論理的な問題解決に対応しています。

利用シーンとしては、学習者の疑問に適切な答えを提供する学習ツール、専門的な文献から適切な情報を抽出する際の研究支援などがあり、思考力が必要なシーンでの活用が見込めます。

OpenELM

OpenELMは、Appleが開発したiPhoneやiPadが効率よく作動するよう設計されたモデルです。インターネット回線がなくてもデバイス上でAIが作動するため、ユーザーのプライバシー保護につながります。

代表的な利用シーンは「デバイス内で完結するAI機能」があり、とくにオフライン翻訳などでの活用が想定されています。

Phiシリーズ

Phiシリーズは、Microsoftが開発した極めて小さなモデルで、コスト効率がよく精度も高性能なため、コストパフォーマンスのよさが最大の特徴と注目を集めています。

主な利用シーンとしては、簡単な文章作成やWebサイトの要約、プログラミングコードの生成など、やや小さめのタスクを効率的に行いたいときに向いています。

Stable LM 2 1.6B

Stable LM 2 1.6Bは、画像生成AI「Stable Diffusion」を開発したStability AI社によって無料公開されているモデルです。非常にコンパクトで、必要最低限の機能を持ったシンプルな構造が特徴です。オープンソース化されているため、個人向けAIモデルの開発に活用されています。

TinyLlama

TinyLlamaは、LLMのひとつである「Llama」を基に、コンパクトに抑えつつもスムーズな動作になるよう最適化されたモデルです。利用シーンとしてはスマートフォンアプリに搭載し、サクサク動作させたいときなどに用いられています。

性能向上における指標

SLMの性能を向上させるためには、適切な指標について抑えておくことが大切です。ここからは各指標の概要について解説します。

推論レイテンシ

推論レイテンシとは、学習済みモデルが入力を受け取り、出力（生成・予測）を返すまでにかかる時間です。ミリ秒（ms）単位で測定されることが多く、AI分野のなかでも即時のフィードバックを必要とするアプリケーションでは重要なパフォーマンス指標として位置づけられています。

仮に推論レイテンシが高い場合、ユーザーからのプロンプトがAIモデルに反映されるまでに時間がかかり、データ生成や予測を速やかに取得できない可能性があります。逆に推論レイテンシが低いと、ユーザーからのプロンプトの読み込みから理解、適切な回答や予測を提示する時間が速やかに進み、素早いデータ抽出につながります。

ベンチマークスコア

ベンチマークスコアとは、AIモデルの能力を客観的に比較・評価するための指標です。タスクの一例としてはQAや要約などがあり、近年のLLMにおいては真実性や安全性、公平性などもスコア対象としているケースが増えています。LLMを評価する上で欠かせない項目であるため、SLMの向上においても重要な項目と考えられます。

消費リソース（メモリ・CPU/GPU利用量）

SLMは巨大なLLMと比べてこれらの消費量が極めて少ないため、運用コストを抑えた開発を目指したいときに有効です。そのようなときに、開発や運用に生じるコストをはじめ、導入環境を検討する際の指標として消費リソースが用いられます。

業界別SLMの活用例

医療や教育、金融業界などではどのようにSLMを活用しているのでしょうか。ここからは、業界別のSLM活用例について解説します。

医療業界

医療業界では、電子カルテや医学論文のデータを学習させ、特定の症状に対する診断・治療法の補助に用いるほか、膨大な研究論文から関連情報を抽出するリサーチにも活用されます。

従来、医師や看護師が時間を要していた単純作業をSLMで軽減し、診療の質向上につながっています。

教育分野

教育分野では、学習者ごとの進捗を分析して最適な教材を提示したり、対話型チューターとしてリアルタイムに学習を支援したりする用途で活用されています。LLMと比べて軽量化されているため、学習者の「わからない」に対しても素早く適切な回答ができる点はSLMならではのメリットともいえます。

金融業界

金融業界では、過去の取引履歴や市場動向の分析を通じて、不正取引の検知や詐欺対策に役立てられています。近年では顧客からの問い合わせに24時間体制で対応するチャットボットとしても用いられており、迅速かつ最適なサポートの提供につなげています。

製造業界

製造業界では、製品マニュアルを学習させ、現場従業員のサポートを担うAIアシスタントとして活用されています。生産ラインでは、収集されたデータをリアルタイムで分析し、不良品の発生を予測する品質管理にも役立てられています。

法律分野

専門知識が問われる法律分野では、膨大な判決事例や法律文書を高速で検索・収集・分析し、弁護士のリサーチ業務の効率化に役立てられています。

LLMは広範な情報を参照するため、参照元に誤りがあるとリサーチ結果にも誤情報が混入することがありました。

一方、SLMはコンパクトな言語モデルのため、特定用途に絞り込めば専門分野に特化したモデルへ改変しやすいのが利点です。LLMでは困難とされていた専門知識を要するリサーチ業務も、SLMであれば効率的に進められるでしょう。

オフライン環境下

オフラインでも稼働可能なSLMであれば、災害時の各種支援にも役立てることができます。例えば災害状況の自動分析や遠隔地からでも医師が被災者を診察する技術は、専門科目を特定できるSLMだからこそなせる技術ともいえます。

緊急時でも使えるSLMの認知と需要が高まるほど、ネット接続を前提としない“独立稼働型AI”への進化が進むと考えられます。

SLM運用のコツ

SLMを運用するにあたっては、これから解説する2つのコツを押さえることをおすすめします。

実用可能レベルを定義して導入する

SLMは、LLM同様、万能なAIではありません。そのため、導入を検討する際はどこまでの仕事を任せれば業務効率化が実現するかという実用可能レベルを明確に定義することが大切です。完璧なレベルや答えを求めすぎると、コストや時間を要し、導入前に断念する可能性があります。

導入時は次のように段階を設けることをおすすめします。

• 初期レベル：一部署のごく一部の業務を効率化する
• 中期レベル：効率化させたい業務を増やす
• 後期レベル：一部署の大半の業務を効率化する

スモールスタートを心がけると、実用可能レベルや効率化すべき業務の特定がしやすくなるでしょう。

PDCAサイクルを回す

SLMを導入後は、定期的に性能をチェックし、改善と実施を繰り返すことが望ましいです。こうした場合は、SLMにおけるPDCAサイクルを回すことを心がけてみましょう。

• P（Plan）：どの業務を改善したいか計画を立案する
• D（Do）：立案した計画に基づいてモデルを学習（再学習）させる
• C（Check）：改善がみられたか性能を評価する
• A（Action）：評価結果を基にさらなる改善を図る

SLMでもPDCAを回すことで最新情報を取り込み続け、パフォーマンスを最適に保てます。

まとめ

SLMは、LLMと比べて軽量さや高速性、コスト効率がよい特徴から、特定の業務課題を解決する上で有効なツールと考えられます。導入の際は本記事で解説した指標を基に評価し、自社ニーズに適したモデルを選定しましょう。

Peaceful Morningでは、RPA・AIの導入から開発、運用まで、プロのエンジニアが伴走型でサポートする「Robo Runner」を提供しています。

無制限のチャットサポートやWebミーティング、豊富なeラーニングコンテンツを通じて、主要ツールの習得から実際の業務活用まで、企業や部署のDX推進を全面的にサポートします。

生成AIを含むデジタルツールの活用により業務効率化を図りたい方は、ぜひお気軽にご相談ください。