ChatGPTやClaudeの嘘（ハルシネーション）は、出典があっても起きます。
私がAIに任せた調べ物で20件ぐらい訂正した中では、見落としや1か所だけの確認から来た間違いがいちばん多くありました。
数字は元のページの一文で、「無い」「最新」は見た場所を書き出して確かめます。
AIの嘘（ハルシネーション）とは、自信をもって間違えること
ハルシネーションは、もっともらしい間違いを自信をもって答えることです。
OpenAIが研究記事で示した定義で、ChatGPTでも起きます。
起きる理由として、公式は次のことを挙げています。
・OpenAI：AIを採点するテストの多くが、「分からない」と答えるより当て推量に点を与える作りになっている
・Claudeのヘルプ：最新の情報で学習していないことがあり、最近の出来事を聞くと混乱することがある
AIの答えを訂正した記録：何が原因だったか
いちばん多かったのは、見落としや1か所だけの確認から来た間違いです。
Claude Codeにニュースや調査の調べ物を任せた、5か月あまりの記録です。
訂正した20件近くを、起きた場所で分けました。
| 起きた場所 | 件数 | 例えば |
|---|---|---|
| 見落とし・1か所だけ見た | 6件 | 最初に見た発表記事には日本のことが書かれておらず、「日本は対象外」とした。別の公式ページに、日本でも提供を始めたと書いてあった |
| ニュース記事・まとめ記事から来たとみられる | 3件 | まとめサイトにあったリリース日が、実際より1か月以上ずれていた |
| 出典・中身が元と違った | 3件 | 調査元の会社を間違え、数字が何を表すかも取り違えていた。AIが作ったのか、写した元の誤りかは分からない |
| 確認したページ・表示の違い | 3件 | 日本語版の更新履歴には7月までしかなく、英語版には8月の更新があった |
| 誤りではなく、回答後に変わった情報 | 2件 | 書いた時点では正しかった。決まっていた値上げが、あとで取り消された |
このほかにも、気になったことが3つありました。
・チャットで古いモデルを勧められた：ChatGPTにプリンターのおすすめを聞いたら、2年前のモデルが出てきました。最新ではない答えは、ふだんのチャットでも結構ある気がします
・要約が、出典に無いことを言った：AIが検索して作った要約が「公式のサポート文書にこう書いてある」と答えました。開くと、その記述はありませんでした
・チェック役のAIの指摘が、日本の表示と違った：ChatGPTは「料金は税抜き表示です」と指摘しました。日本から開いた料金ページは税込みでした。日本以外向けのページの話だったようです
嘘をつかせないプロンプトはある？Claudeの公式が最初に挙げる3つ
頼み方で減らせますが、無くなりはしません。
Claudeの開発者向けドキュメントは、基本の方法に次の3つを挙げています。
・「分からないことは推測せず、分からないと答えてください」と書く
・渡した資料から、根拠の文をそのまま抜き出させる
・抜き出せない主張は消させる
資料を渡さず、検索もしないで聞くなら、まず使えるのは1つ目です。
AIの嘘を確かめる場所：私が今やっている4つ
確かめるのは、数字なら書かれた一文、ないと言うなら見た場所と日です。
・数字や日付、調査元：元のページを開いて、それが書かれた一文を探す。要約やニュース記事で止めない
・AIが、ない、対象外、最新と答えたとき：見た場所と見た日を書き出す。見るのは発表記事 / 更新履歴 / ヘルプ / 公式のXアカウント
・料金や更新履歴：英語版と、日本から開いた表示を見比べる
・別のAIのチェック：その指摘も、元のページで確かめる
公開前のチェック全体は、AIで作ったブログ記事、そのまま公開していいのか？品質チェックの方法にまとめています。
＼ ブログ更新が止まっている・記事運用を任せたい方へ ／
企画から執筆・公開まで、まるごとお任せください。お気軽にご相談を。
