LLM（Large Language Model）は、大規模なテキストを学習して、次に来る語や文の流れを高い精度で予測する言語モデルです。単に文章を「作る」だけでなく、要約、翻訳、質問応答、分類、コード補助など、言葉を扱う多くの作業に使われます。近年の生成AIの中心技術として扱われることが多く、実務では「どう学習され、どう応答を作り、どこまで信用できるか」を理解することが重要です。
何を学習しているモデルか
LLMは、文法規則を人が明示的に教えるのではなく、大量のコーパス（文章データ集）から言葉の統計的な規則を学びます。基本的には、与えられた文脈のあとに続く単語やサブワード（単語を細かく分けた単位）を予測する訓練を繰り返します。
このため、LLMは「意味を理解している」というより、文脈に対してもっとも自然な続き方を選ぶ能力が非常に高いモデルだと考えると分かりやすいです。結果として、人間らしい文章の生成だけでなく、文章の関係性をつかんで要点をまとめることもできます。
Transformer が支える文脈処理
現在主流の LLM の多くは、Transformer というニューラルネットワーク構造を使っています。Transformer の特徴は、文中の離れた語どうしの関係を扱いやすいことです。たとえば、主語と述語が離れていても、どの語がどの語に関係するかを学習しやすくなっています。
この文脈処理を支える中心が注意機構（attention）です。各単語が、文中のどの単語にどれだけ注目すべきかを重み付けして計算することで、単純な左から右への処理よりも柔軟に文全体を扱えます。
予測の単位と出力の流れ
LLMは文章を一気に完成させるのではなく、1トークンずつ順に予測していきます。トークンは単語そのものとは限らず、語尾や記号を含む部分文字列になることがあります。したがって、同じ文でもトークン分割のしかたによって処理の見え方が変わります。
$$P(w_1, w_2, \dots, w_n) = \prod_{i=1}^{n} P(w_i \mid w_1, \dots, w_{i-1})$$
ここで、\(w_i\) は i 番目のトークン、\(P(w_i \mid w_1, \dots, w_{i-1})\) はそれ以前の文脈を条件にした出現確率です。たとえば「今日は雨が」と入力されれば、その後に来る語として「降る」「強い」「続く」などの候補を確率的に比較します。
学習段階と調整段階
LLMは、まず大量テキストで事前学習します。ここでは一般的な言語のパターンや知識の土台を広く身につけます。その後、対話向けや用途別に追加調整を行います。たとえば、質問に答えやすくするための調整や、安全性を高めるための調整が行われます。
実務で重要なのは、LLMの性能が「モデルの大きさ」だけで決まるわけではない点です。学習データの質、追加調整の方法、推論時の設定、さらに外部知識を参照する仕組みの有無によって、応答の品質は大きく変わります。
生成品質を左右する設定
LLMの出力は、毎回まったく同じとは限りません。推論時には、候補語の選び方を調整する温度や、上位候補をどの範囲から選ぶかを決める仕組みが使われます。一般に、温度を上げると多様で創造的になり、下げると保守的で安定した出力になりやすいです。
ただし、創造性を上げると事実性が保ちにくくなることがあります。用途によって、文章案の作成と厳密な説明を分けて考える必要があります。
| 目的 | 向いている設定の考え方 | 注意点 |
|---|---|---|
| 要約・分類 | 安定寄り、再現性重視 | 表現は安定するが、細かな言い回しは硬くなる |
| 文章案の生成 | 多様性を少し許す | 内容のぶれが増えやすい |
| 質疑応答 | 事実性重視 | 不確かなときは「分からない」と言わせる設計が必要 |
得意な作業と苦手な作業
LLMは、自然言語を扱う作業に強みがあります。たとえば、以下のような用途です。
- 文書の要約
- 翻訳や言い換え
- コードの説明や雛形作成
- FAQ の下書き作成
- 文章の分類やタグ付け
一方で、苦手な点も明確です。もっとも有名なのは幻覚（hallucination）で、もっともらしいが事実ではない内容を出すことがあります。また、長い文脈では前半の条件を取り落とすことや、数字・日付・固有名詞の取り扱いで誤りやすいことがあります。
実務での使いどころ
LLMは、単体で「正解を返す装置」として使うより、作業の補助者として使うほうが安定します。たとえば、仕様書の下書き、問い合わせ文の整形、コードレビューの観点整理、検索前の論点整理などです。さらに、外部のデータベースや検索結果と組み合わせると、最新情報に基づいた応答に近づけやすくなります。
技術者の観点では、LLMの出力は最終成果物ではなく入力の質に強く依存する中間結果と捉えると扱いやすいです。目的、制約、出力形式を明確にした指示ほど、結果のばらつきが減ります。
機械学習・自然言語処理との位置づけ
LLMは、機械学習の一分野である自然言語処理を、さらに大規模化・高性能化した代表例です。機械学習はデータから規則を学ぶ方法全般を指し、ディープラーニングは多層ニューラルネットワークを使う手法群です。LLMはその中でも、巨大なデータと計算資源を使って言語能力を強化したモデルと言えます。
| 用語 | 指す範囲 | LLM との関係 |
|---|---|---|
| 機械学習 | データから学習する手法全般 | 上位概念 |
| ディープラーニング | 多層ニューラルネットワークによる学習 | LLMの土台 |
| 自然言語処理 | 文章や会話を扱う技術分野 | LLMの主な応用分野 |
| Transformer | 文脈を扱うネットワーク構造 | 多くの LLM の基盤 |
誤解しやすい点
LLMは、人間のような会話ができるため、しばしば「理解している」と見なされます。しかし、内部では確率的な予測を行っているため、論理的整合性や事実確認は別途必要です。さらに、学習データに含まれていない最新情報や、非常に専門的な内容は誤答しやすくなります。
そのため、LLMを使うときは、便利さと検証の必要性をセットで考えることが大切です。出力をそのまま採用せず、根拠の確認、再質問、外部資料との照合を行う運用が実務では欠かせません。
