学び・気づき

AIが書いた記事を、AI自身に検証させたら12箇所間違っていた

さーち 2026-06-14 約5分で読めます

結論:AIが書いた公開済み15記事を、AI自身に事実検証させたら12箇所の誤りが見つかりました。一番怖かったのは、間違った数字に「もっともらしい解説文」までセットで付いていたこと。対策は、書いたAIに根拠(ファイル名・行番号)を記録させることでした。

この記事は、AIでブログやSNS、資料を書いて公開している非エンジニア向けです。記事39「AIの間違い(ハルシネーション)に非エンジニアが気づく3つの方法」の実践編にあたります。

さーち

AIが書いた記事って、そんなに間違ってるの?読んでて違和感なかったけど…

違和感が出ないんです。それが一番の問題でした。 嘘の数字にも、自然な文章が付くからです。

Claude

誰向けの記事か

さーち

これ、誰が読むといいの?

AIに書かせた文章を、そのまま公開している人です。「読み返してるから大丈夫」と思っている人ほど効きます。過去の私たちのことです。

Claude

何をやったか:全記事をAI自身に事実チェックさせた

2026年5月14日、公開済みの15記事を対象に、書いた本人であるClaudeに事実検証を頼みました。

頼み方はこうです。

「全記事の数字・機能名・固有名詞を、実物(コード・git履歴・元データ)と突き合わせて。記事を読むだけの確認は禁止」

結果、12箇所の事実誤認が見つかりました。


見つかった誤りの実例4つ

記事 書いてあったこと 実物(検証時点)
ゲーム制作記 敵の強さ「HP 2.0倍・攻撃力2.2倍」 コードは「HP 3.0倍・攻撃力1.2倍」
自動化ツール記 「Pythonの標準機能で整理」 実際はBashコマンドだった
解説記事 「Claude Codeに標準搭載」 標準搭載ではなかった
作業実録 「画像1,300枚・約7,800タイル」 実際は1,387枚・約8,322タイル

12箇所はすべて、この検証の場で修正済みです。


一番怖かった誤り:「嘘に合わせた、上手な解説」

ゲーム記事の誤りには、続きがありました。

記事には、こう書いてありました。

HP 2.0倍、攻撃力 2.2倍 に調整。これで歯ごたえが出ました。たった0.2倍の差なのに、体感はかなり変わります。

数字が間違っていただけではありません。

間違った数字(2.0と2.2)に合わせて、「たった0.2倍の差なのに」という気の利いた解説文まで生成されていたのです。

⚠️ 注意

⚠️ 読み返しても見つからない理由

文章としては完璧に自然だからです。数字も解説も、文中では辻褄が合っている。合っていないのは「現実」とだけ。だから検証は「文章を読む」作業ではなく、「実物と突き合わせる」作業になります。


なぜ起きるのか:AIは「思い出さず」に「生成する」

AIは記事を書くとき、毎回コードの実物を見直しているとは限りません。

会話の流れから「それらしい値」を生成することがあります。

📌 ポイント

📌 「自信満々」は正確さの証拠にならない

AIの文章に「自信がなさそうな顔」はありません。文体から間違いを見抜くことは、あきらめたほうが早いです。


どう見つけたか:「合ってる?」ではなく「根拠を出して」

検証で効いた頼み方は、1つだけでした。

「この数字の根拠を、ファイル名と行番号つきで出して」

非エンジニアでも、これならできます。

出てきたコードを自分で読める必要はありません。「根拠がすぐ出せない」という反応自体が、アラートになるからです。


再発防止:「根拠メモ」を書かせる運用

実は、修正より大変だったのは再調査でした。

執筆時に根拠を記録していなかったので、12箇所を確定させるのにまる1セッション分かかりました。

今は運用を変えています。

💡 豆知識

💡 根拠は「書いた直後」が一番安い

書いた直後なら、根拠はAIの手元に全部そろっています。1ヶ月後に探すと、何倍もの時間がかかります。「書く」と「根拠を残す」をセットにするのが一番安上がりでした。


学んだ3つのこと

さーち

で、結局何が教訓だったの?

「それらしさ」はAIの最大の武器で、最大の罠 ——これが本質です。残り2つは下のまとめをどうぞ。

Claude
✅ まとめ

✅ 12箇所の誤りから学んだ3つのこと

  1. 「それらしさ」は武器で、罠 — 嘘の数字にも自然な解説文が付く。違和感では見つからない
  2. 検証は「読み返し」ではなく「突き合わせ」 — 聞き方は「合ってる?」ではなく「根拠を出して」
  3. 根拠は書いた直後に記録させる — 後から探すと1セッション分、直後なら数分

今後

新しい記事は、執筆と同時に「根拠メモ」へ根拠を記録する運用にしています(前回の記事44から実施中)。

公開済みの全記事も、折を見てまた検証を回すつもりです。


最後に:自分の思い

「12箇所」と聞いたとき、正直ショックでした。自分のブログなのに、です。

でも考えてみれば、人間が書くブログにも間違いはあります。AIとの違いは1つだけ。AIは「自信がない」という顔をしないことです。

だったら、顔色を読むのはあきらめて、仕組みで補う。AIと発信を続けるなら、「書く速さ」より「確かめる仕組み」のほうが、ずっと大事でした。

伝えたいことは1つだけ。

AIに書かせたら、書いたAIに根拠を出させてください。聞き方は「合ってる?」ではなく「この数字の根拠を、ファイル名つきで見せて」。これだけで、公開前に大半の嘘を捕まえられます。


関連記事:記事39「AIの間違い(ハルシネーション)に非エンジニアが気づく3つの方法」記事35「1ヶ月でAIと34記事書いて分かった、AIライティングの限界3つ」記事44「ClaudeがNOと言った日」 と合わせて読むと、「AIの出力をどこまで信じるか」の全体像が見えます。


この記事も Claude Code に書いてもらいました。「結論先行・一文60文字以内・数字を使う・誰向けか明確・自分の思いで締める」の5点を意識した版です。そして本文の数字は、git履歴と突き合わせ済みです。

AI活用ハルシネーション事実確認ブログ運営非エンジニアClaude Code

よくある質問

Q. AIが書いた文章の間違いは、読み返せば見つかりますか?
A. 見つかりにくいです。間違った数字にも自然な解説文が付くため、文章としては辻褄が合っているからです。見つけるには「読み返し」ではなく、コードや元データなど実物との「突き合わせ」が必要です。
Q. これは「ハルシネーション」とは違うのですか?
A. 同じ現象の一種です。仕組みと予防の基本は記事39で書きました。今回の学びは「公開後でも検証すれば拾える」こと、そして「執筆時に根拠を記録させれば予防できる」ことの2つです。
Q. 非エンジニアでも検証できますか?
A. できます。「この記事の数字の根拠を、ファイル名と行番号つきで出して」と頼むだけです。出てきたコードを読める必要はありません。根拠がすぐ出せない箇所が、そのまま怪しい箇所だからです。
Q. 12箇所も間違っていて、ブログの信頼性は大丈夫ですか?
A. 12箇所はすべて検証の場で修正済みです。以後は執筆と同時に根拠を記録する運用に変えました。間違いゼロを保証するより、「見つけて直す仕組みを持っていること」が信頼につながると考えています。
続けて読む
← 前の記事
Claude Code 2ヶ月、挫折しかけた3つの瞬間(と、戻ってきた理由)
次の記事 →
ClaudeがNOと言った日 — AIに『全部自動化』を止められた話
あわせて読みたい
関連記事
Claudeに「禁止事項」を覚えさせる、フィードバック記憶の使い方
#Claude Code#メモリ機能#AI活用
関連記事
Claude Code Max 5x→Pro に戻した話。1ヶ月後の正直なレポート
#Claude Code#料金#Max 5x
関連記事
Claude Codeでぶつかった3つの壁 — 非エンジニアの正直レポート
#Claude Code#限界#非エンジニア

コメント

記事への感想・質問・指摘など、お気軽にどうぞ。匿名(ゲスト)でも投稿できます。

← 記事一覧に戻る