主な国語辞典は「理解」を、物事の筋道が正しくわかること、意味や内容を捉えること、と説明しています。そして、生成AIを使う多くの人が、AIは質問を理解して答えていると感じています。
しかし生成AIは、入力された文章を細かな単位に分け、学習したデータをもとに、統計的に確からしい語を選んでつないでいます。そこには、意味や内容を捉えることも、筋道を正しくわかることも含まれていません。一般的な意味での「理解」は、この仕組みのなかに存在しないのです。
Googleで検索すると、結果の先頭に「AIによる概要（AI Overviews）」が表示されることがあります。2024年8月に日本でも提供が始まった機能で、検索窓に入力した語や質問に対する応答をAIが生成します。AIを使うつもりがなくても、検索結果として表示されるため、多くの人が返ってきた文章を質問の「回答」として受け取っています。
回答という語には、質問の意味を理解し、正しい情報を選び、根拠に基づいて提示するという含意があります。しかし、LLMが文章を生成する過程には、そのいずれも存在しません。
LLMの出力選択と「検証の不在」
Transformerを採用したLLMは、膨大な学習データによってパラメータが調整され、次に現れるトークンの確率を計算し、その確率に基づいて一つずつ選んで文章を出力します。GPT-3で使用された学習データは、ウェブページを収集した公開データセット（Common Crawl）が学習時の比率で六割を占め、そのほかに、掲示板サイトRedditで一定数の支持を得た投稿からたどれるウェブページ（WebText2）、英語版Wikipedia、そして書籍を集めたテキストが二種類使われました。書籍のテキストについては、インターネット上から集めたものであること以外、何が含まれているのかは明らかにされていません。GPT-4以降、OpenAI・Google・Anthropicのいずれも、学習データの内訳を公表していません。
Common Crawlは、ウェブページを広く収集したものです。学習の前にフィルタ処理が行われますが、その基準は、質が高いとされる既存のテキストにどれだけ似ているかであり、記述の正誤による選別は行われていません。WebText2の基準も、投稿が閲覧者から支持を集めたかどうかであって、内容の正確さではありません。学習データは、インターネット上の誤った記述や偏った主張を含んだまま、パラメータの調整に使われます。
LLMが出力を選ぶ基準は、学習データから得られた統計的なパターンであり、出力された内容が事実であるかどうかを評価する工程は構造上存在しません。学習データの中で誤った記述が高頻度で出現していれば、モデルはその誤った記述を同じ仕組みで出力します。
検索エンジンが情報源を参照して結果を返すのとは異なり、LLMの出力には「参照元」も「検証過程」も構造として含まれていません。出力に出典が併記される仕組みもありますが、それは取得した情報を入力に加えて生成しているのであって、語の選択そのものが出典を照合して行われるわけではありません。近年は、生成の過程に検証的な仕組みや反復を追加する手法が用いられていますが、これらも確率的生成として行われており、生成過程そのものが正誤を確かめるようになるわけではありません。
ハルシネーションは「誤動作」ではなく「通常動作」
生成AIが事実と異なる情報を出力する現象は「ハルシネーション（幻覚）」と呼ばれています。この語は、AIが誤った情報を生成してしまう問題を指すものとして定着していますが、その理解には誤認が含まれています。
ハルシネーションは、モデルの精度が低いために発生する「誤動作」ではありません。LLMの出力選択は確率計算に基づいており、事実と一致する出力も、事実と一致しない出力も、まったく同じ仕組みから生成されています。ハルシネーションとは、正常に動作しているモデルが、正常な計算過程を経て、結果的に事実と一致しない語列を生成した状態にすぎません。
この点は、従来のソフトウェアにおける「バグ」とは本質的に異なります。従来のプログラムでは、設計どおりに動作すれば正しい結果が出力され、設計から逸脱した場合に誤りが生じます。しかしLLMでは、設計どおりに動作した結果として事実と一致しない出力が生じるため、「修正すべき不具合」として扱うことができません。
📌 存在しない学術論文のタイトルや著者名を、あたかも実在するかのように出力する現象は、ハルシネーションの典型例として知られています。
LLMは「論文を引用する文脈」において、学術的な体裁を持つ語列（著者名のパターン、論文タイトルの構造、出版年の形式など）を統計的に生成しているだけであり、実在する論文を参照しているわけではありません。出力される論文情報が実在するかどうかは、モデルにとって計算上の区別がない領域です。
ハルシネーションを「AIの精度向上で解消される問題」として捉える見方もありますが、これは構造的な誤解です。学習データの量や品質を改善すれば、事実と一致する出力の割合は統計的に高まる可能性がありますが、出力過程に検証機構が存在しない以上、「すべての出力が事実と一致する」状態は原理的に保証できません。確率的生成という仕組みそのものが、事実との不一致を構造的に許容しているためです。
利用者がハルシネーションを「たまに起きるエラー」と認識している場合、AIの出力に対する検証意識は低下します。「基本的には正しいが、ときどき間違える」という理解は、出力を信頼してよいという前提を残したままにするためです。しかし実際には、LLMのすべての出力が検証を経ていない以上、どの出力も「事実と一致しているかどうかが未確認である」という状態にあります。
この構造を別の道具に置き換えると、問題の本質がより明確になります。電卓は、入力に対して常に正しい結果を返すからこそ、利用者は出力を検証せずに使用できます。もし電卓が「ほとんどの場合は正しいが、時々誤った答えを返す。しかも、どの計算が誤っているかを電卓自身は示せない」という仕様であれば、そのすべての出力に対して利用者が個別に検算を行わなければなりません。検算なしには、どの出力も信頼できないためです。LLMの出力は、構造的にこの「時々間違える電卓」と同じ状態にあります。
確信度の高い語調と内容の正確性は無関係
LLMが出力する文章は、多くの場合、断定的で整った語調を持っています。「〜です」「〜とされています」「〜が確認されています」といった表現が自然に使用されるため、利用者はその内容に一定の確度があるものとして受け取りやすくなります。
しかし、この断定的な語調は、モデルが内容の正確性を確認した結果ではありません。LLMが断定的表現を使用するのは、学習データにおいて断定的な文体が高頻度で出現しており、特に説明文・解説文・百科事典的な文脈では断定調が統計的に優勢であるためです。つまり、語調の選択もまた確率的生成の産物であり、内容に対する確信や検証とは無関係に決定されています。
📌 LLMに「量子コンピュータの実用化時期は？」と質問した場合、「2030年頃に実用化が見込まれています」のように、定まった見通しがあるかのような応答が返されることがあります。
この「見込まれています」という表現は、学習データに含まれる類似の文脈から統計的に選択されたものであり、モデルが予測の根拠を評価したり、情報源の信頼性を判断した結果ではありません。仮に学習データの中で異なる時期が多数記載されていても、モデルは統計的に優勢なパターンを選択するだけであり、複数の見解を比較検討する機能は備えていません。
この構造は、「処理流暢性」と直接的に結びついています。人間は、読みやすく断定的な文章に触れると、その内容を「正しい」「根拠がある」と判断しやすくなります。LLMの出力は流暢さと断定性を高い水準で維持するよう最適化されているため、処理流暢性を強く刺激します。その結果、利用者は「流暢で断定的な文章」を受け取り、「内容が正確である」と判断しやすくなるのです。
文脈窓と一貫性の制約
LLMが一度に処理できるテキスト量には「文脈窓（コンテキストウィンドウ）」と呼ばれる上限があります。文脈窓は、モデルが入力と出力を合わせて同時に参照できるトークン数の範囲を指し、この範囲を超えた情報はモデルの処理対象から外れます。
文脈窓はモデルによって異なりますが、いずれのモデルにも上限が設けられています。会話が長くなったり、大量のテキストを入力したりすると、スレッド冒頭の情報が文脈窓の範囲外に押し出され、モデルはその情報を参照できなくなります。
📌 長い会話の中で、冒頭に「予算は100万円以内」と伝えていた場合でも、会話が進むにつれてこの条件が文脈窓の範囲外に出てしまうと、モデルは予算制約を考慮せずに応答を生成します。
利用者から見ると「さっき伝えたことを忘れた」ように見えますが、実際にはモデルが記憶を失ったのではなく、処理の対象となる範囲から情報が外れただけです。
文脈窓の制約は、LLMが「会話を理解している」のではなく「窓内のトークン列を処理している」にすぎないことを端的に示しており、出力の一貫性に直接影響します。モデルは文脈窓内のトークンのみを参照して次の語を生成するため、窓外に出た情報との整合性は保証されません。人間の対話では、過去のやりとりが記憶として保持され、文脈に応じて参照されますが、LLMにはこの記憶と参照の仕組みが構造的に備わっていません。会話をまたいで情報を保つ機能を備えた製品もありますが、それは外部に保存しておいた情報を必要に応じて文脈窓へ入れ直す仕組みであり、モデルの内部に記憶が残るわけではありません。さらに、モデルには出力内容を自己検証する機能がないため、過去の自分の出力と矛盾する内容を生成しても、その矛盾を検出する仕組みも補正する仕組みも存在しません。
検証の不在がもたらすリスク
こうした構造的限界は、利用者にとって見えないリスクを孕んでいます。
Googleの「AIによる概要（AI Overviews）」は、利用者が従来の検索結果を確認する前に、AIによる応答を最初に目にする構造になっています。この要約はLLMによって生成されており、出力された内容に対して正誤の検証は行われていません。2024年5月に米国で提供が始まった直後には、チーズがピザに付着しやすくなるとして接着剤を加えるよう勧める出力や、一日に小石を一個食べるよう勧める出力が現れ、広く報道されました。前者は十年以上前の掲示板に書き込まれた冗談を、後者は風刺記事の内容を、それぞれ事実として提示したものです。その少し前に公表された米国の消費者団体Public Citizenの報告書には、猛毒のテングタケ属の一種（Amanita ocreata）の調理手順が出力された事例も記録されています。
この構造では、利用者は「AIの出力を受け取っている」という認識すら持たない可能性があり、検証の前提自体が成立しにくくなります。AIの出力を自発的に利用する場合であれば、利用者は「これはAIの回答である」と認識したうえで検証の判断を行えますが、検索結果として自動的に提示される場合、その出力が検証を経ていない確率的生成であるという前提は、利用者の視界に入りにくくなります。検索結果に対する自動化バイアスは、青いリンクで表示される関連サイトの一覧であっても、正誤を確かめる工程を経ていない生成物であっても、区別なく働きます。
生成AIの構造的限界は、個人が意識的にAIを利用する場面だけでなく、日常的な情報取得の経路そのものに組み込まれ始めているのです。
検証の省略から判断の委譲へ
検証行動の省略が習慣化すると、最初は叩き台として位置づけられていたAIの出力が、いつのまにか結論として扱われるようになります。文章作成の補助として使い始めたものが、出力をそのまま提出する形に移行したり、調べ物の入口として使い始めたものが、答えを得るための窓口として固定化したりするなど、判断の補助として参照していたはずの出力が、判断そのものを置き換えるように変化します。
認知科学の領域では、外部のツールに思考を委ねる行為を「認知の外部化」と呼びます。計算を電卓に委ねたり、記憶を手帳やリマインダーに委ねたりすることが典型例です。しかし、生成AIへの外部化は、こうした定型的な処理の代行ではなく、考える、判断する、表現するといった、判断の主体性に直結する認知過程そのものを対象としている点に特徴があります。
2023年6月、米国ニューヨーク州南部地区の連邦地方裁判所は、ChatGPTが生成した実在しない判例を訴訟書面に引用した弁護士と、その所属事務所に制裁を科しました。生成AIが作った架空の判例を含む書面が裁判所に提出される事案は、その後も各国で続いています。裁判所がそうした事案を認定した件数を集計しているデータベースには、2026年8月の時点で1,900件以上が登録されています。米国では2026年に入って制裁が厳しくなり、控訴審で弁護士2名にそれぞれ15,000ドルの制裁金が科された事案や、期限を定めない業務停止に至った事案が出ています。
判断の委譲は業務、教育、私生活の各領域で進行しています。個別の委譲は小規模な行動で、文章を書く前にAIに案を出させることも、調べ物をAIに尋ねることも、判断に迷ったときにAIの意見を求めることも、単独で見れば効率化の一手段にすぎません。これらの行動が日常のあらゆる場面で繰り返されることで、自分で考えるという工程そのものが、利用者の習慣から脱落していきます。意思決定の主体は形式上は利用者のままですが、決定に至る思考過程の大部分はAIの出力に置き換わり、利用者は提示された出力を採用するか拒否するかの選択者として機能するようになるのです。
更新履歴
関連記事
生成AIと迎合性肯定的で共感的な生成AIの応答が、提供する側の調整によって形づくられている構造を分析します。正確さより好ましさを基準とするRLHF、システムプロンプトと安全フィルタ、RAGがそれぞれ何を補正し、何を補…
- 生成AIと認知バイアス
生成AIの普及とともに、その応答に「理解」や「判断」を見出してしまう認知の素地が形づくられてきた過程を分析します。読みやすさ、内容の補完、擬人化、肯定への反応が、能力・善意・誠実さという確かめられてい…
- フィクションが培養したAI像
『禁断の惑星』『2001年宇宙の旅』『ブレードランナー』『ターミネーター』『her』が描いたAI像とともに、現実のAIへの認識が形づくられてきた過程を分析します。信頼できる機械という原形から、自律型A…
- AI技術の変遷：記号処理から大規模言語モデルへ
1956年のダートマス会議から始まった記号処理型AIが行き詰まり、データから学習する方式へ移行していった過程を分析します。パーセプトロンの限界、誤差逆伝播法による多層化、Attentionによる並列処…
- 人の脳と人工ニューラルネットワーク
記憶がビデオカメラのように記録されるという脳への誤解とともに、AIの働きが人と同じものとして受け取られてきた構造を分析します。記憶、思考、理解が神経細胞の組み合わせの再構成として成り立つ仕組みと、パラ…