第五章　大規模言語モデルは判断と検証を持たない：構造的限界とハルシネーション

大規模言語モデル（LLM）は、入力されたテキストに対して統計的に最も確率の高い語を逐次生成する仕組みで動作しています。第四章で示したとおり、この処理には脳のような意味理解や目的指向的な思考は含まれておらず、出力されるのは学習データから抽出された語順パターンの再現です。

しかし、多くの利用者は生成AIの応答を「回答」として受け取っています。回答という語には、質問の意味を理解し、正しい情報を選び、根拠に基づいて提示するという含意がありますが、LLMの出力過程にはそのいずれも存在しません。

本稿では、LLMの出力が構造的に「正誤の判断を経ていない」という事実を複数の観点から整理し、ハルシネーションがモデルの異常動作ではなく通常動作の帰結であることを示します。

  1. LLMの出力選択と「検証の不在」
  2. ハルシネーションは「誤動作」ではなく「通常動作」
  3. 確信度の高い語調と内容の正確性は無関係
  4. 文脈窓と一貫性の制約
  5. 出力の妥当性を判断するのは利用者
  6. 検証の不在がもたらした実害
  7. 更新履歴
  8. 関連記事

国内最大級テンプレート共有サービス bizocean

LLMの出力選択と「検証の不在」

LLMは、入力されたテキストをトークン（語や語の一部に分割された単位）に変換し、学習済みの重み（パラメータ）に基づいて「次に現れる確率が最も高いトークン」を一つずつ選択していきます。この選択は、前章までに示したとおり Transformerの自己注意機構によって入力トークン間の統計的関連度を計算し、その関連度に基づいて次の出力を決定するという処理です。

この過程で重要なのは、モデルが出力を選ぶ基準が「学習データにおける共起頻度と文脈的関連度」のみであり、「出力された内容が事実であるかどうか」を評価する工程が構造上存在しないという点です。

📌 たとえば「東京タワーの高さは？」という入力に対して LLMが「333メートル」と出力した場合、この出力は「東京タワー」「高さ」というトークンに対して「333」「メートル」が統計的に最も高い確率で続くと計算された結果です。モデルが東京タワーの実際の高さを参照したわけでも、333という数値の正確性を検証したわけでもありません。仮に学習データの中で誤った数値が高頻度で出現していれば、モデルはその誤った数値を同じ仕組みで出力します。

LLMの内部には「事実データベース」のようなものは存在せず、出力はすべて重みの計算結果として生成されています。正しい出力と誤った出力は、まったく同じ計算過程から生じており、モデル内部にその区別はありません。

これは、LLMが「正解を知っていて、それを提示している」のではなく、「統計的に最も確からしい語列を生成している」だけであることを意味します。検索エンジンが情報源を参照して結果を返すのとは異なり、LLMの出力には「参照元」も「検証過程」も構造として含まれていないのです。

ハルシネーションは「誤動作」ではなく「通常動作」

生成AIが事実と異なる情報を出力する現象は「ハルシネーション（幻覚）」と呼ばれています。この用語は AIが「誤った情報を生成してしまう問題」として広く認識されていますが、この理解には構造的な誤認が含まれています。

ハルシネーションは、モデルの精度が低いために発生する「誤動作」ではありません。前節で示したとおり、LLMの出力選択は確率計算に基づいており、その計算過程に「正誤の判定」は含まれていません。つまり、事実と一致する出力も、事実と一致しない出力も、まったく同じ仕組みから生成されています。ハルシネーションとは、正常に動作しているモデルが、正常な計算過程を経て、結果的に事実と一致しない語列を生成した状態にすぎません。

この点は、従来のソフトウェアにおける「バグ」とは本質的に異なります。従来のプログラムでは、設計どおりに動作すれば正しい結果が出力され、設計から逸脱した場合に誤りが生じます。しかし LLMでは、設計どおりに動作した結果として事実と一致しない出力が生じるため、「修正すべき不具合」として扱うことができません。

📌 存在しない学術論文のタイトルや著者名を、あたかも実在するかのように出力する現象は、ハルシネーションの典型例として知られています。LLMは「論文を引用する文脈」において、学術的な体裁を持つ語列（著者名のパターン、論文タイトルの構造、出版年の形式など）を統計的に生成しているだけであり、実在する論文を参照しているわけではありません。出力される論文情報が実在するかどうかは、モデルにとって計算上の区別がない領域です。

ハルシネーションを「AIの精度向上で解消される問題」として捉える見方もありますが、これは構造的な誤解です。学習データの量や品質を改善すれば、事実と一致する出力の割合は統計的に高まる可能性がありますが、出力過程に検証機構が存在しない以上、「すべての出力が事実と一致する」状態は原理的に保証できません。確率的生成という仕組みそのものが、事実との不一致を構造的に許容しているためです。

利用者がハルシネーションを「たまに起きるエラー」と認識している場合、AIの出力に対する検証意識は低下します。「基本的には正しいが、ときどき間違える」という理解は、出力に対する信頼を基底値として維持してしまうためです。しかし実際には、LLMのすべての出力が検証を経ていない以上、どの出力も「事実と一致しているかどうかが未確認である」という状態にあります。

この構造を別の道具に置き換えると、問題の本質がより明確になります。計算機は、入力に対して常に正しい結果を返すからこそ、利用者は出力を検証せずに使用できます。もし計算機が「ほとんどの場合は正しいが、時々誤った答えを返す。しかも、どの計算が誤っているかを計算機自身は示せない」という仕様であれば、その計算機のすべての出力に対して利用者が個別に検算を行わなければなりません。検算なしには、どの出力も信頼できないためです。LLMの出力は、構造的にこの「時々間違える計算機」と同じ状態にあります。

確信度の高い語調と内容の正確性は無関係

LLMが出力する文章は、多くの場合、断定的で整った語調を持っています。「〜です」「〜とされています」「〜が確認されています」といった表現が自然に使用されるため、利用者はその内容に一定の確度があるものとして受け取りやすくなります。

しかし、この断定的な語調は、モデルが内容の正確性を確認した結果ではありません。LLMが断定的表現を使用するのは、学習データにおいて断定的な文体が高頻度で出現しており、特に説明文・解説文・百科事典的な文脈では断定調が統計的に優勢であるためです。つまり、語調の選択もまた確率的生成の産物であり、内容に対する確信や検証とは無関係に決定されています。

📌 LLMに「量子コンピュータの実用化時期は？」と質問した場合、「2030年頃に実用化が見込まれています」のような断定的な応答が返されることがあります。この「見込まれています」という表現は、学習データに含まれる類似の文脈から統計的に選択されたものであり、モデルが予測の根拠を評価したり、情報源の信頼性を判断した結果ではありません。仮に学習データの中で異なる時期が多数記載されていても、モデルは統計的に優勢なパターンを選択するだけであり、複数の見解を比較検討する機能は備えていません。

この構造は、第一章で述べた「流暢性ヒューリスティック」と直接的に結びついています。人間は、読みやすく断定的な文章に触れると、その内容を「正しい」「根拠がある」と判断しやすくなります。LLMの出力は流暢さと断定性を高い水準で維持するよう最適化されているため、流暢性ヒューリスティックを強く刺激します。

その結果、利用者は「流暢で断定的な文章」を受け取り、「内容が正確である」と判断しやすくなりますが、実際にはその語調は統計的パターンの再現にすぎず、内容の正確性とは構造上切り離されています。語調に惑わされず、内容そのものを個別に検証する視点がなければ、LLMの出力に対する過信が生じやすくなるのです。

Banner Image

文脈窓と一貫性の制約

LLMが一度に処理できるテキスト量には「文脈窓（コンテキストウィンドウ）」と呼ばれる上限があります。文脈窓とは、モデルが入力と出力を合わせて同時に参照できるトークン数の範囲を指し、この範囲を超えた情報はモデルの処理対象から外れます。

文脈窓はモデルによって異なりますが、いずれのモデルにも物理的な上限が存在します。会話が長くなったり、大量のテキストを入力したりすると、冒頭の情報が文脈窓の範囲外に押し出され、モデルはその情報を参照できなくなります。

📌 長い会話の中で、冒頭に「予算は100万円以内」と伝えていた場合でも、会話が進むにつれてこの条件が文脈窓の範囲外に出てしまうと、モデルは予算制約を考慮せずに応答を生成します。利用者から見ると「さっき伝えたことを忘れた」ように見えますが、実際にはモデルが記憶を失ったのではなく、処理対象の範囲から情報が物理的に外れただけです。

この制約は、出力の一貫性に直接影響します。モデルは文脈窓内のトークンのみを参照して次の語を生成するため、窓外に出た情報との整合性は保証されません。さらに、前節までに述べたとおり、モデルには出力内容を自己検証する機能がないため、過去の自分の出力と矛盾する内容を生成しても、その矛盾を検出する仕組みが存在しません。

文脈窓の制約は、LLMが「会話を理解している」のではなく「窓内のトークン列を処理している」にすぎないことを端的に示しています。人間の対話では、過去のやりとりが記憶として保持され、文脈に応じて参照されますが、LLMにはこの記憶と参照の仕組みが構造的に備わっていません。文脈窓は、見かけ上の対話的な振る舞いを支える処理範囲であり、理解や記憶の代替ではないのです。

出力の妥当性を判断するのは利用者

LLMの出力は、検証を経ていない確率的生成の産物です。事実と一致するかどうかをモデル自身が判断する機能は存在せず、語調の断定性は内容の正確性を反映しておらず、文脈窓を超えた情報との整合性も保証されません。

この構造的制約を踏まえると、LLMの出力を受け取った時点で、その内容が「正しいかどうか未確認である」という前提に立つ必要があります。正しい出力と誤った出力が同じ仕組みから生成されている以上、出力の妥当性を判断する工程は、モデルの外側、つまり利用者側にしか存在しません。

第二章では、フィクションが形成した「AIは合理的で正確に判断できる存在」という文化的イメージが、判断の外部委譲を誘発する構造を示しました。また第一章では、流暢な文章と肯定的な語調が、利用者の検証意識を低下させる認知的メカニズムを整理しました。これらの心理的要因と、本章で示した LLMの構造的制約を重ね合わせると、生成AIの出力が過信されやすい条件が複合的に成立していることが明らかになります。

LLMは、統計的パターンの再現においては高い性能を持っており、文章の下書き、情報の整理、アイデアの列挙といった用途では実用的な道具として機能します。しかし、その出力を「検証済みの正確な情報」として扱うことは、モデルの構造が許容していない使い方です。

生成AIを道具として活用するためには、出力の内容を利用者自身が検証し、必要に応じて外部の情報源と照合するという工程が不可欠です。この検証の工程を省略した場合、ハルシネーションを含む出力がそのまま「正しい情報」として受け入れられるリスクが常に存在します。

検証の不在がもたらした実害

こうした構造的限界は、すでに実害として顕在化しています。

AIを利用してきのこの食用・有毒を判定し、その結果を信頼して摂取したことで中毒を起こし入院する事例が、米国・英国・日本を含む複数の国で報告されています。2024年に米国の消費者団体 Public Citizenが公表した報告書では、2022年に発表されたオーストラリアの研究を引用し、AIきのこ識別アプリの有毒種に対する正答率は44%にとどまったとしています。また、AIが生成した内容をそのまま掲載したきのこ採集ガイドブックが流通し、その情報を信頼した家族が入院する事例も発生しています。これらはいずれも、AIの出力を検証せずに「正しい情報」として受け入れた結果です。

さらに深刻なのは、利用者が自発的に AIを選択していない場面でも、同様の構造が生じている点です。Google は検索結果の上部に AI が生成した AI Overviews（AI概要）を表示する仕組みを導入しており、利用者は従来の検索結果を確認する前に、AI による回答を最初に目にする構造になっています。この要約は LLM によって生成されているため、本章で述べた「検証の不在」がそのまま適用されます。実際に、AI Overviews は有害な行為を推奨する誤情報や、風刺記事の内容を事実として提示する出力を行い、広く問題として報道されました。

この構造では、利用者は「AIの出力を受け取っている」という認識すら持たない場合があり、検証の前提自体が成立しにくくなります。AIの出力を自発的に利用する場合であれば、利用者は「これは AIの回答である」と認識したうえで検証の判断を行えますが、検索結果として自動的に提示される場合、その出力が検証を経ていない確率的生成であるという前提は、利用者の視界に入りにくくなります。

生成 AIの構造的限界は、個人が意識的に AIを利用する場面だけでなく、日常的な情報取得の経路そのものに組み込まれ始めています。

更新履歴

  • 2024-05-01：初版公開

関連記事