SAKURA法律事務所 代表弁護士 道下剣志郎 Legal Update
2026年9月24日
SAKURA法律事務所 代表弁護士 道下 剣志郎
SAKURA法律事務所は、このたび、代表弁護士 道下剣志郎によるLegal Update第8弾として、「生成AIの誤回答・ハルシネーションと企業の法的責任――顧客対応、意思決定及び対外公表における検証体制とガバナンス【2026年版】」を公開いたしました。
生成AIの企業利用が、文章の下書きや要約といった補助的業務から、顧客への回答、営業資料、広告、社内審査、契約交渉、採用、人事、投資判断、リスク評価その他の重要な業務へ広がるにつれ、生成AIが事実と異なる内容をもっともらしく出力する、いわゆるハルシネーションの問題は、単なる技術上の精度問題ではなく、企業の法的責任、内部統制及びレピュテーションに直結する問題となっています。
生成AIの出力は流暢であり、形式上の説得力も高いため、誤りを含む回答であっても、利用者がその誤りに気付かないまま顧客へ送信し、社内の意思決定資料へ転記し、広告又はウェブサイトへ掲載し、あるいは第三者に関する調査結果として利用してしまう危険があります。存在しない裁判例、架空の統計、誤った法令、事実と異なる企業情報、実在しない引用元等が生成されることは、生成AIの利用に内在し得るリスクとして理解する必要があります。
重要なのは、ハルシネーションが存在するという理由だけで生成AIの利用を否定することではありません。産業技術総合研究所の「生成AI品質マネジメントガイドライン第1版」は、ハルシネーションが生成モデルの仕組みとも関係することを踏まえ、完全にこれをなくすことは実際上も原理上も困難であるとの整理を示しています。したがって企業実務において必要なのは、「AIが絶対に誤らないこと」を前提とすることではなく、誤りが一定確率で生じ得る技術を、どの業務に、どの条件で、どの検証体制の下で組み込むかを設計することです。
本稿では、2026年9月24日時点の日本の法令及び関係機関の公表資料を基礎として、生成AIの誤回答又はハルシネーションによって顧客、取引先、第三者又は企業自身に損害が生じた場合の法的責任、AIサービス提供者との責任分配、広告表示、個人情報、名誉・信用、高リスク業務におけるHuman-in-the-Loop、RAG及び引用表示の限界、証拠保全、インシデント対応並びに経営レベルのAIガバナンスについて、実務的な観点から体系的に整理します。
本稿の要旨
生成AIのハルシネーションについて、現行の日本法には、全ての利用場面に共通して「AIの出力は必ず人間が確認しなければならない」と定める一般的な法規定が存在するわけではありません。他方、企業がAI出力を自社の顧客対応、広告、契約履行、意思決定又は第三者への情報提供に利用する以上、その行為についての法的評価は、AIではなく企業及び関係者の行為として行われます。契約上要求される品質、予見可能な損害、業務の専門性、第三者への影響、個人情報又は権利侵害の有無等に応じて、債務不履行、不法行為、景品表示法、個人情報保護法その他の法的問題が生じ得ます。したがって、企業が整備すべきものは、形式的な「AI使用禁止」ではなく、AI出力の利用目的とリスクに応じて検証水準を変える仕組み、重要な意思決定における人間の実質的関与、根拠資料の確認、ログ及び証拠の保存、誤情報が外部へ出た場合の訂正・停止・通知体制を含む、実効的なAIガバナンスです。
1 ハルシネーションとは何か――「誤回答」を一つの言葉で扱わない
生成AIに関する「ハルシネーション」は、一般に、事実とは異なる内容をもっともらしく生成する現象を指します。もっとも、企業実務では、全ての誤った出力を同一の原因又は同一のリスクとして扱うことは適切ではありません。
例えば、モデルが存在しない情報を生成した場合、学習時点以降の出来事について古い情報を返した場合、RAGが誤った文書を検索した場合、正しい文書を検索してもその内容を誤読した場合、計算又は日付処理を誤った場合、ユーザーから与えられた前提自体が誤っていた場合では、原因も予防策も異なります。
法務上重要なのは、その誤りを技術的に「ハルシネーション」と呼ぶかどうかではなく、企業がどの情報をどのように取得し、それを誰に、どのような目的で利用し、その誤りによってどのような権利侵害又は損害が発生したかです。したがって、事故調査及び責任分析においては、「AIが間違えた」という一言で処理するのではなく、入力、検索、モデル、プロンプト、外部ツール、人による確認及び最終利用という一連の業務プロセスを分解して検討する必要があります。
2 ハルシネーションは「例外的な故障」ではなく、管理すべき品質リスクである
産業技術総合研究所が2025年5月に公表した「生成AI品質マネジメントガイドライン第1版」は、LLMにおけるハルシネーションの原因が学習データ、訓練過程及び出力生成過程の複数箇所に存在し得ることを整理し、各種対策が講じられているとしても、完全にハルシネーションをなくすことは実際上も原理上も困難であるとの見解を示しています。
この点は企業の法務設計に重要な意味を持ちます。AIシステムについて「誤答率ゼロ」を当然の前提として業務を構築すると、現実の技術特性と管理体制との間に乖離が生じます。企業としては、AIが誤る可能性を前提として、誤りが発生しても外部への損害につながらない業務設計、誤りを検出できる確認手続、誤りが外部へ出た場合に早期に訂正できる仕組みを組み合わせる必要があります。
したがって、AI品質を考える際には、単一の正答率だけを見るのではなく、誤りの重大性、発生頻度、検知可能性、訂正可能性、影響を受ける人数、損害の可逆性等を含めて評価することが重要です。
3 AI法及び政府指針は、人間による最終判断とリスクベースの管理を重視している
2025年に全面施行されたAI法に基づき、同年12月19日に決定された「人工知能関連技術の研究開発及び活用の適正性確保に関する指針」は、AIの誤判断及びハルシネーションを技術的リスクの例として明示しつつ、人間中心、安全性、透明性及びアカウンタビリティ等を重要な要素として掲げています。同指針は、AIを活用する範囲及び条件について人間自らが最終的な判断を行うことを基本的な考え方の一つとして示しています。
また、2026年3月31日の「AI事業者ガイドライン（第1.2版）」は、AI利用者に対し、AI出力の精度及びリスクの程度を理解し、様々なリスク要因を確認した上で利用することを求める考え方を示しています。
これらは、全てのAI出力について同じ方法で人間が再確認することを要求するものではありません。むしろ、AIの用途、影響、利用者、社会的文脈及びリスクの大きさに応じて適切な管理水準を設定するリスクベースの考え方が重要です。
4 AI自体が法的責任主体になるわけではない――「AIが答えた」は免責理由にならない
2026年9月24日時点の日本法において、生成AI自体が、人又は法人と同様に一般的な権利義務の主体として契約責任又は不法行為責任を負う制度は設けられていません。企業が生成AIを自社業務に利用し、その出力を顧客へ提供し、広告へ掲載し、あるいは意思決定へ用いた場合、その法的評価は、AIを採用し、業務へ組み込み、出力を利用した企業及び関係者の行為として検討されます。
したがって、「AIが自動生成したため内容を把握していなかった」「AIが誤って回答した」という事情だけで、企業の法的責任が当然に否定されるわけではありません。むしろ、当該業務にAIを利用することが合理的であったか、AIの限界を把握していたか、出力をどの程度検証すべき場面であったか、予見可能なリスクに対してどのような管理措置を講じていたかが重要となります。
企業法務としては、AIを「責任の空白」を作る道具として扱うのではなく、自社の履行補助ツール又は情報処理手段の一つとして既存の責任体系へ位置付けることが基本です。
5 顧客に誤った回答をした場合――契約責任はAIではなくサービス内容から判断される
企業が顧客との契約に基づき情報提供、助言、調査、見積、サポートその他のサービスを行い、その履行過程で生成AIの誤回答を利用した結果、契約上求められる内容を満たさなかった場合には、民法上の債務不履行責任が問題となり得ます。
もっとも、AIを使用したという事実だけで直ちに損害賠償責任が生じるわけではありません。具体的には、契約上どのような義務を負っていたか、提供した情報の正確性が契約内容となっていたか、免責又は責任制限条項がどのように定められていたか、損害との因果関係があるか、債務不履行について企業に帰責事由が認められるか等を個別に検討する必要があります。
他方、企業が「専門家として確認済みの回答」「当社が保証する情報」等としてAI出力を顧客へ提供していた場合と、「参考情報としてAIによる自動回答を表示する」ことを明確に説明し、重要事項について別途正式確認を求めていた場合とでは、法的評価の前提が異なり得ます。AI利用における契約責任は、技術の名称ではなく、企業が顧客にどのような品質及び確認水準を約束していたかという契約設計から検討すべきです。
6 第三者に損害を与えた場合――不法行為責任及び使用者責任の検討
生成AIの誤情報によって契約関係のない第三者に損害が生じた場合には、民法709条の不法行為責任が問題となり得ます。一般に、不法行為責任の成否については、故意又は過失、権利又は法律上保護される利益の侵害、損害及び因果関係等を検討する必要があります。
例えば、AIが生成した第三者に関する虚偽情報を十分な確認なく公表した場合、第三者の名誉又は信用を侵害する可能性があります。また、従業員が事業の執行について生成AIを利用し第三者へ損害を与えた場合には、要件を満たす限り民法715条の使用者責任が問題となることもあります。
ここでも重要なのは、「AIを使ったから過失がある」「AIを使ったから過失がない」という単純な評価ではありません。当該情報の重要性、通常期待される確認方法、AIの既知の限界、利用者の専門性、第三者への影響等を踏まえて、合理的な確認措置を講じていたかが個別に評価されることになります。
7 AIサービス提供者の責任――利用企業との責任分界は契約で大きく変わる
外部の生成AIサービスを利用して誤回答が発生した場合、利用企業は「AIベンダーが責任を負う」と考えがちですが、実際の責任分配はサービスの内容及び契約条件によって大きく異なります。一般的な生成AIサービスでは、出力の正確性を保証しない旨、重要な用途では出力を確認すべき旨、一定の損害について責任を制限する旨等が利用規約に定められている場合があります。
他方、特定業務向けにカスタム開発されたAIシステムについて、精度指標、受入基準、検証方法、性能保証、障害対応、第三者情報源の更新、RAGの検索対象、モニタリング義務等が契約上具体化されている場合には、それらの不履行がベンダーの契約責任につながる可能性があります。
したがって、AI利用企業としては、事故が発生した後に責任分界を議論するのではなく、導入時点で「どの品質を誰が保証するのか」「出力の検証は誰の責任か」「高リスク用途への利用を想定しているか」「モデル変更時に再検証するか」「損害賠償及び補償の範囲をどうするか」を契約上整理する必要があります。
8 広告、ウェブサイト及び営業資料にAI生成情報を使う場合――景品表示法上の責任
生成AIは、広告文、商品説明、比較表、FAQ、営業資料等の作成に広く利用されています。しかし、AIが生成した表示が事実と異なる場合、「AIが誤って作成した」という事情によって表示規制が消滅するわけではありません。
消費者庁は、景品表示法上の優良誤認表示について、故意に偽って表示した場合だけでなく、誤って表示してしまった場合であっても規制対象となり得ることを明確にしています。したがって、AIが商品の性能、価格、実績、原産地、比較優位性その他について誤った内容を生成し、企業がこれを広告等として表示した場合には、表示主体である企業について景品表示法上の問題が生じ得ます。
マーケティング領域で生成AIを利用する場合、文章として自然かどうかだけではなく、数値、比較、ランキング、受賞歴、第三者評価、性能表現その他の客観的事実について、根拠資料を確認する手続を設ける必要があります。AIによる文章作成を効率化しても、表示の裏付けを確認する企業側の責任まで自動化できるわけではありません。
9 第三者の名誉、信用及びプライバシーに関する誤情報
生成AIは、実在する個人又は企業について、犯罪歴、不祥事、経歴、財務状態、訴訟歴その他の情報を生成することがあります。その内容が事実でない場合、これを社外へ公表することで名誉毀損、信用毀損、プライバシー侵害その他の権利侵害につながる可能性があります。
特に、取引先審査、M&Aデューデリジェンス、採用候補者調査、反社会的勢力チェック、競合調査等の場面では、AIの回答が「もっともらしい調査結果」として受け取られやすい点に注意が必要です。AIによる要約又は検索補助は有用ですが、不利益情報については原典、公式記録、本人確認その他の信頼できる資料で確認する必要があります。
企業内でのみ利用する場合であっても、誤情報が評価、採否、取引停止その他の重要な判断へ影響する場合には、後述する個人情報保護法上の正確性及び訂正の問題を含め、慎重な制度設計が必要です。
10 誤った人物情報を社内データとして保存する場合――個人情報保護法との関係
個人情報保護委員会は、生成AIサービスの応答結果に不正確な内容が含まれる場合があることを注意喚起しています。また、個人情報保護法22条は、利用目的の達成に必要な範囲内で個人データを正確かつ最新の内容に保つよう努めることを個人情報取扱事業者に求めています。
したがって、生成AIが作成した個人に関する情報を、そのまま顧客データベース、採用管理システム、CRM、人事データその他の個人情報データベースへ登録する場合には注意が必要です。AI出力に誤った事実が含まれている状態で個人データとして継続利用すれば、正確性確保の観点から問題が生じ得ます。
さらに、保有個人データの内容が事実でない場合、本人は個人情報保護法34条に基づき訂正、追加又は削除を請求できる場合があります。もっとも、本人に対する主観的な「評価」そのものと、その評価の前提となる「事実」とでは取扱いが異なるため、AIが生成した情報の性質を区別して検討する必要があります。
11 金融、医療、法務その他の高リスク領域では、誤情報の影響が大きい
同じAIの誤回答であっても、雑談や社内のアイデア出しに用いる場合と、金融商品、医療、法務、採用、人事、信用判断、安全管理その他の重要業務に用いる場合とでは、損害の性質及び要求される管理水準が異なります。
金融庁が2026年3月に公表した「AIディスカッションペーパー（第1.1版）」は、金融機関における顧客向け生成AIサービスについて、サービス提供前の設計及び事前検証、提供時の適切な説明・注意喚起、提供後の検証・モニタリング、そして全体を支えるガバナンスという複数の局面からリスク低減策を整理しています。また、ハルシネーションへの対応として、人間の関与を前提とした業務プロセスや、根拠となる文書を回答に含め確認できる構成等が取組事例として示されています。
この考え方は金融分野だけに限定されるものではありません。誤りが人の生命・身体、財産、雇用、重大な契約、信用又は法的権利へ直接影響する業務では、AI出力を単独で最終判断とせず、専門家又は適切な権限を有する人間が確認する仕組みを設けることが重要です。
12 RAGを導入すればハルシネーションがなくなるわけではない
企業向け生成AIでは、社内規程、マニュアル、契約書、FAQその他の文書を検索し、その内容をもとに回答するRAGが広く利用されています。RAGは、AIが参照できる情報源を特定し、回答の根拠を補強する有力な手法ですが、誤情報のリスクを完全に排除するものではありません。
金融庁のAIディスカッションペーパーも、RAGを活用する場合であっても、業務設計が適切でなければ参照元の選定が不十分となり、虚偽の出力が排除できないリスクが残ることを指摘しています。検索対象文書が古い場合、アクセス権限が誤っている場合、類似文書の選択を誤る場合、文書の内容をAIが誤解する場合等、複数の誤りが発生し得ます。
したがって、RAGを利用する企業は、検索対象データの品質、更新日、承認プロセス、廃止文書の除外、アクセス制御、引用箇所の表示、回答不能時の挙動等を含めて設計する必要があります。
13 「出典が表示されている」ことと「正しい」ことは同じではない
生成AIの中には、回答とともにウェブサイト、文書名、URL又は引用箇所を表示するものがあります。出典表示は検証可能性を高める有用な機能ですが、出典が付いているだけで回答全体の正確性が保証されるわけではありません。
AIが実在しない出典を生成する場合、実在する資料を引用していても記載内容と結論が対応していない場合、資料の一部だけを切り取って誤った結論を導く場合、古い資料を参照する場合等があります。
重要な意思決定では、「引用が付いているか」ではなく、「引用先が実在するか」「原文に実際にその内容があるか」「現在も有効な資料か」「結論が原資料から合理的に導かれるか」を確認する必要があります。法令、裁判例、行政ガイドライン、財務数値その他の一次資料については、可能な限り原典まで遡ることが望まれます。
14 Human-in-the-Loopは、AIの出力を人が眺めることではない
ハルシネーション対策としてHuman-in-the-Loopという概念が頻繁に用いられます。しかし、AIが作成した長文を従業員が数秒眺めて承認するだけでは、実質的なリスク低減にならない場合があります。
意味のある人間の関与を確保するためには、確認者が何を確認すべきかを理解していること、根拠資料へアクセスできること、AI出力を拒否又は修正する権限があること、確認に必要な時間が確保されていること、責任分担が明確であることが必要です。
特に、専門的な法務、税務、医療、金融その他の領域で、専門知識を持たない担当者に「AIの最終確認」を形式的に委ねても、誤りを検出できない可能性があります。Human-in-the-Loopは、誰をループに入れるかまで含めて設計する必要があります。
15 企業はAI出力の検証水準をリスクに応じて三段階程度に分けるべきである
全てのAI出力を一次資料まで確認する運用は、現実的ではなく、生成AI導入の利点を大きく損ないます。他方、全てを利用者の自己責任とする運用も適切ではありません。そのため、企業はユースケースごとに検証水準を分類することが有効です。
例えば、公開済み文章の言い換え、社内のアイデア出し、表現修正等の低リスク用途については、通常の業務上の確認で足りる場合があります。顧客向けメール、営業資料、社内審査資料等の中リスク用途では、重要な事実及び数値の確認、引用元の確認、必要に応じた上長承認等を求めることが考えられます。契約締結、金融判断、採用・人事、法的助言、医療、安全管理、対外公表等の高リスク用途では、一次資料の確認、専門家レビュー、二重承認、自動送信禁止等の強い統制が必要となる場合があります。
このように、AIに対する統制は「使用可・使用不可」の二択ではなく、利用目的とリスクに応じた検証強度の設計として考えることが重要です。
16 AIによる誤情報事故では、ログ及び証拠の保存が極めて重要になる
生成AIの誤情報が外部へ伝達され、損害又は紛争が発生した場合、事後的に「なぜその回答が作成されたのか」を確認できることが重要です。利用者の入力、AI出力、参照文書、モデル又はサービスのバージョン、プロンプト、RAGの検索結果、人間による修正及び承認、外部へ送信された最終文書等を確認できなければ、原因分析及び責任分界が困難になります。
特に外部AIサービスは継続的にモデルが更新されるため、同じプロンプトを後日入力しても同じ出力が得られるとは限りません。重要な業務については、事故後に再現できることを前提として、必要なログ又はスナップショットを保存することが望まれます。
もっとも、ログには個人情報、秘密情報その他の機微情報が含まれる場合があります。保存範囲、アクセス権限、保存期間及び削除についても、情報管理上のリスクを踏まえて設計する必要があります。
17 誤情報を外部へ出した場合の初動――責任論より先に訂正と拡散防止を行う
生成AIによる誤情報が顧客、ウェブサイト、SNS、広告、取引先その他の外部へ出た場合、最初に「誰が悪いか」を議論するより、誤情報の利用及び拡散を止め、正しい情報へ訂正することが優先されます。
実務上は、誤情報が掲載又は送信された範囲を確認し、自動配信又はAI回答を停止し、正しい内容を確定し、影響を受けた相手方へ必要な訂正又は説明を行います。第三者の名誉、信用又は個人情報に関する誤情報であれば、削除及び訂正の緊急性はさらに高くなります。広告表示であれば表示の停止及び是正、契約履行に影響する場合には相手方への説明及び再履行、個人データに誤情報を登録した場合には訂正手続等を検討します。
同時に、証拠となるプロンプト、出力、ログ、参照資料及び承認履歴を保全します。外部AIサービス提供者への照会又はログ保存依頼が必要となる場合もあるため、契約上のサポート窓口及び保存期間を平時から確認しておくことが重要です。
18 再発防止は「プロンプトを直す」だけでは足りない
ハルシネーション事故が発生すると、原因をプロンプトの書き方だけに求めることがあります。しかし、重大な事故は、モデル、データ、検索設計、プロンプト、UI、権限、人による確認、業務フロー等の複数要因が重なって発生することが少なくありません。
再発防止では、誤りがどの段階で発生したか、どの段階で検知できたはずか、なぜ外部利用まで到達したかを分析する必要があります。その上で、検索対象文書の改善、回答不能時の挙動変更、重要項目の自動検証、確認画面の改善、人による承認の追加、利用範囲の縮小、サービス又はモデルの変更等を組み合わせます。
同種の事故が複数部署で発生し得る場合には、個別担当者への注意喚起で終わらせず、全社的なAI利用規程、教育及びリスク管理へ反映することが重要です。
19 社内規程には「AIの回答を鵜呑みにしてはならない」より具体的な基準を書く
生成AI利用規程に「AIの回答は必ず確認すること」とだけ記載しても、現場では何をどこまで確認すべきか分かりません。実効的なルールにするためには、外部利用する数値及び事実は根拠資料を確認すること、法令及び裁判例は一次資料を確認すること、第三者に関する不利益情報はAI回答のみで判断しないこと、高リスク業務では権限者の承認を得ること、AIによる自動送信を禁止する範囲等を具体化する必要があります。
また、AIが回答できない場合に無理に回答を生成させるのではなく、「分からない」「確認が必要」と回答することを許容する設計も重要です。企業文化として、常に即答することより、重要事項では不確実性を明示し確認することを評価する必要があります。
AIの精度管理は技術部門だけの仕事ではありません。法務、コンプライアンス、情報システム、リスク管理及び事業部門が、自社の業務で「どの誤りが許容できず、どの誤りなら事後訂正可能か」を共同で定義することが重要です。
20 経営陣が確認すべきものは、モデルの平均正答率ではなく「重大な誤りがどこで外部化するか」である
経営陣又は取締役会が生成AI利用を監督する際、全てのモデル性能を技術的に理解する必要はありません。重要なのは、どの重要業務でAI出力が利用され、その誤りが顧客、財務、法令遵守、人事、企業価値又は第三者の権利へ重大な影響を及ぼし得るかを把握することです。
平均的な正答率が高いシステムであっても、年に一度の重大な誤回答が企業に大きな損害を与える場合があります。他方、誤りが頻繁に発生しても、社内のアイデア出しに限定され、外部へ影響しないのであればリスクは限定的です。
したがって、AIガバナンスでは、モデル性能の単一指標ではなく、重大事故シナリオ、Human-in-the-Loopの実効性、モニタリング、エスカレーション、事故件数、訂正に要した時間、外部影響等を含めて経営レベルで把握することが望まれます。
21 SAKURA法律事務所が考えるハルシネーション対応の要諦
生成AIの誤回答に対する最も危険な対応は、「AIだから仕方がない」と考えることと、「AIは絶対に間違えてはならない」と考えることの両極端です。前者では必要な管理が失われ、後者では現実の技術特性と乖離し、結果として利用が非公式化する可能性があります。
企業に求められるのは、AIが誤り得るという技術的現実を正面から受け止めた上で、その誤りが重大な法的又は事業上の損害へ転化する経路を特定し、その経路に必要な統制を置くことです。
顧客へ直接提示する回答であれば事前検証とモニタリング、広告であれば表示根拠の確認、法的判断であれば一次資料及び弁護士の確認、人物情報であれば原典確認と訂正手続、AIサービス導入であれば契約上の責任分界、重要な業務であればログ及びHuman-in-the-Loopというように、法的リスクは業務フローへ具体的に埋め込む必要があります。
AI法務の目的は、生成AIを「信用しない」ことではありません。どこまで信用してよいか、どこから人が確認すべきかを企業として定めることにあります。
22 実務上想定される典型事例
第一に、顧客サポート用AIが解約条件について誤った回答を顧客へ直接送信し、顧客がその回答を信頼して不利益を受けた場合です。この場合、契約上のサービス内容、AI回答の位置付け、免責表示、顧客が受けた損害、誤情報を検知・訂正する仕組み等を踏まえて契約責任その他を検討する必要があります。単に画面上に「AIによる回答」と表示していたというだけで、全ての責任が当然に排除されるものではありません。
第二に、マーケティング担当者が生成AIに商品説明を作らせ、実際には存在しない試験結果又は受賞歴が記載されたままウェブサイトへ掲載した場合です。企業が表示主体である以上、AIが生成した誤りであっても景品表示法その他の表示規制を検討する必要があります。
第三に、採用担当者が応募者について生成AIで検索し、AIが生成した虚偽の犯罪歴を信頼して不採用とした場合です。第三者の名誉・プライバシー、個人情報の正確性、採用判断の合理性及び差別・公平性等の複数の論点が生じ得ます。重要な不利益情報についてAI回答だけで判断する運用は避けるべきです。
第四に、法務部門が生成AIに契約解釈又は法令調査を行わせ、存在しない裁判例又は古い法令を根拠として経営判断を行った場合です。この場合、AIの回答自体よりも、なぜ一次資料を確認しないまま重要判断へ利用できたのかという内部統制及び業務設計が問題となります。
23 よくあるご質問
Q1 ChatGPT等が誤った回答をした場合、AI提供会社が全て責任を負うのでしょうか。
一律にはいえません。AIサービス提供者と利用企業との責任分配は、サービス内容、利用規約又は個別契約、保証内容、責任制限、利用目的、利用企業側の確認義務その他の事情によって異なります。利用企業がAI出力を自社の顧客へ提供した場合、自社と顧客との関係では利用企業側の契約責任又は不法行為責任が問題となる可能性もあります。
Q2 AIの回答には毎回、人間による確認が必要でしょうか。
全てのAI利用について一律に同じ確認を行う一般的な法的義務が存在するわけではありません。実務上は、用途、誤った場合の影響、第三者への提供の有無、業務の専門性等に応じて検証水準を設定することが合理的です。重要な権利義務又は対外公表に関わる用途では、より強い確認が必要となります。
Q3 RAGを導入すれば、ハルシネーション対策として十分ですか。
十分とは限りません。RAGは有力な対策ですが、検索対象文書が古い、検索対象の選定を誤る、AIが資料を誤読する等のリスクが残ります。データ品質、更新管理、引用表示、人による確認等と組み合わせる必要があります。
Q4 AIが出典URLを表示している場合、そのまま信用してよいですか。
重要な事項については、出典の実在性、原文の内容、資料の更新日及びAIの結論との対応関係を確認することが望まれます。出典が表示されていること自体は、回答の正確性を保証するものではありません。
Q5 AIによる誤情報を広告に掲載してしまった場合、故意でなければ問題ありませんか。
景品表示法上の優良誤認表示等については、故意に虚偽表示を行った場合だけが対象となるわけではありません。AIが誤って生成した表示であっても、事業者が自社の商品又はサービスに関する表示として使用した場合には規制対象となり得るため、表示根拠を確認する必要があります。
Q6 生成AIの回答を社内資料だけに使う場合は安全でしょうか。
外部公表に比べれば直接的なリスクは低い場合がありますが、社内資料が採用、人事、取引停止、投資、契約その他の重要判断に利用される場合、誤情報による実害が生じ得ます。社内利用であっても重要性に応じた確認が必要です。
Q7 ハルシネーション事故が起きた場合、最初に何をすべきでしょうか。
誤情報の利用及び拡散を止め、必要に応じて正しい情報へ訂正するとともに、プロンプト、AI出力、参照資料、ログ、承認履歴等を保全します。その後、契約、個人情報、表示規制、第三者の権利侵害等の観点から影響を評価し、必要な通知又は是正措置を検討します。
24 代表弁護士 道下剣志郎「Legal Update」について
SAKURA法律事務所では、代表弁護士 道下剣志郎のプロフィールページに「Legal Update」の項目を設け、企業法務及び社会を取り巻く重要な法律問題について継続的に情報を発信しています。本シリーズでは、法令又は制度の概要を紹介するだけではなく、企業経営者、法務責任者、情報システム・セキュリティ担当者その他の実務家が、現実の業務においてどこにリスクが生じ、どのような管理を設計すべきかという観点を重視しています。
これまで、生成AIの企業利用とAIガバナンス、個人情報保護、著作権、営業秘密・NDA、AIサービス契約、生成AI利用規程・社内ガイドライン、AIエージェントの法的リスクについて取り上げてきました。今後も、AI、人事、M&A、国際取引、Web3・暗号資産、危機管理その他の企業法務上重要なテーマについて、順次Legal Updateを公開してまいります。
25 生成AIの誤情報・AIガバナンスに関してご相談いただける事項
SAKURA法律事務所では、生成AIの顧客向け利用又は社内利用に伴うハルシネーションリスクの評価、AI回答のHuman-in-the-Loop設計、AI利用規程・社内ガイドラインの策定、顧客向けAIサービスの利用条件及び免責表示の設計、AIサービス契約のレビュー、広告・ウェブサイト等へのAI生成情報の利用、AIによる誤情報事故が生じた場合の初動及び危機対応、個人情報又は第三者の名誉・信用に関する誤情報への対応、AIシステムのログ及び証拠保全、AIガバナンス及び内部統制の構築その他のAI法務全般についてご相談を承っております。
AIを顧客向けに直接提供する段階に至っていない場合でも、PoC、社内実証、RAG設計、導入サービス選定、規程作成その他の初期段階からご相談いただくことが可能です。実際のユースケース、AIが参照するデータ、利用者、外部への影響及び既存の業務フローを確認した上で、リスクに応じた法的及び運用上の対応を整理いたします。
AI・生成AI法務に関するお問い合わせ
生成AIの誤回答・ハルシネーション、顧客向けAIサービス、AI利用規程、Human-in-the-Loop、AIサービス契約、個人情報、知的財産、営業秘密、AIエージェントその他のAI・IT法務に関するご相談は、SAKURA法律事務所までお問い合わせください。
お問い合わせの際には、ご相談内容に「AI・生成AI法務に関する相談」とご記載いただけますと、担当弁護士へのご案内が円滑です。
SAKURA法律事務所
代表弁護士 道下 剣志郎
〒106-0032 東京都港区六本木一丁目4番5号 アークヒルズサウスタワー4F
電話 03-6910-0692
本記事の執筆・監修 SAKURA法律事務所 代表弁護士 道下 剣志郎
主な参考資料
内閣府「人工知能関連技術の研究開発及び活用の適正性確保に関する指針」
国立研究開発法人産業技術総合研究所「生成AI品質マネジメントガイドライン 第1版」
独立行政法人情報処理推進機構「情報セキュリティ10大脅威2026」
個人情報保護委員会「生成AIサービスの利用に関する注意喚起等について」
個人情報保護委員会「個人情報の保護に関する法律についてのガイドライン（通則編）」
※本記事は、2026年9月24日時点における法令、政府機関及び公的機関の公表資料その他の情報を基礎として、一般的な法的情報を提供することを目的とするものです。個別具体的な案件について法的助言又は法律上の結論を示すものではありません。AIサービスの仕様、契約条件、法令、ガイドラインその他の制度は変更される可能性があり、具体的な案件については、適用される最新の法令、契約関係、技術的環境、利用目的その他の事実関係を踏まえた個別の検討が必要となります。