本文へスキップ

[ブログ] ファクトチェック · リサーチ手法

AIが生成したレポートの数字をファクトチェックする方法

AIが書いたリサーチの数字を検証するための手順つきチェックリスト。各数字を出典までたどり、日付、定義、単位、計算を確認します。

Divrite チーム 約 9分で読めます

AIが生成したレポートは、数字が正しくても間違っていても、同じように読めてしまいます。文章はなめらかで、数字は具体的で、それぞれに引用が付いていることも少なくありません。だからこそ、こうしたレポートの数字は、スライドや社内メモ、顧客へのメールに使う前に、意識して確認する価値があります。

幸い、誤りの多くは少数のパターンに当てはまり、順序立てて確認すればほぼすべて見つけられます。このガイドでは、何を、どの順番で確認するか、そして数字が裏づけられなかったときにどうするかを説明します。

よくある誤り

実際には、AIが書いたリサーチの数字の問題が、まったくの捏造という形で現れることはまれです。多いのは、実在する数字が誤った使われ方をしているケースです。

  • 数字は正しいが、年が違う。 2022年の推計が現在の数字として示されている、あるいは予測が実績として示されている。
  • 数字は正しいが、定義が違う。 世界の出荷台数の数字が、米国の売上についての文に出てくる。
  • 数字は正しいが、出典が違う。 数字自体は実在するが、引用されたページとは別のところから来ている。
  • 計算が合わない派生値。 成長率、シェア、合計などが、正しい入力から計算されているのに、計算方法が間違っている。
  • 主張を裏づけない引用。 出典は存在し、テーマにも触れているが、述べている内容がより弱い、あるいは異なる。
  • たどれる出典がまったくない数字。 こうしたケースも実際にありますが、探せば最も見つけやすい誤りです。

以下の各ステップは、これらのいずれかを狙ったものです。

まず仕分け:重要な数字を見つける

すべての数字を同じ熱量で確認する必要はありません。まず、重みのある数字に印を付けます。

  • タイトル、要約、結論にある数字。
  • グラフや表に出てくる数字。
  • 提言の根拠になっている数字。
  • 意外な数字、不自然に細かい数字、不自然にきりのよい数字。

これらは徹底的に確認します。それ以外は、出典をざっと見れば通常は十分です。

ステップ1:各数字を、開いて確かめられる出典までたどる

重要な数字ごとに、次のことを行います。

  1. 引用された出典を開く。 リンクは機能しますか?引用が示しているページですか?
  2. ページ内で数字を探す。 検索し、数字が現れそうな表記も試します:「1.2 billion」「1,200 million」「1.2bn」、ドイツ語の出典なら「1,2 Mrd.」、日本語なら「12億」など。
  3. 前後の段落を読む。 その数字が、レポートの言うとおりのものを指しているかを確かめます。
  4. 必要なら上流へ。 出典が他者の調査を引用したニュース記事やブログなら、元の発表を探してそこで数字を確認します。二次情報は数字を丸めたり、省略したり、ときには打ち間違えたりします。

ひととおり探しても引用された出典に数字が見つからない場合は、引用できる場所で見つかるまで「未検証」として扱います。

ステップ2:日付を確認する

確認すべき日付は2つあり、混同しやすいので注意が必要です。

  • 出典がいつ公開されたか。 数年前の分析は、その後の出来事によって古くなっているかもしれません。
  • 数字がどの期間を表しているか。 古いレポートにある「市場は2026年にXに達する」は、たとえ2026年になっていても、測定値ではなく予測です。

会計年度と暦年の違いも確認します。多くの企業や政府は1月始まりではない会計年度で報告しているため、同じレポートの中でも「2025年の売上」が組織によって異なる12か月を指すことがあります。

ステップ3:定義を確認する

最も見落としやすい誤りはここにあります。数字を受け入れる前に、それが正確に何を数えているかを確かめます。

  • 売上、台数、それとも稼働台数? 1年間の販売数は、使用中の製品の総数とは違います。
  • どの地域? 世界、地域、単一の国、それとも「主要市場」?
  • 何が含まれる? ハードウェアとソフトウェア?サービスは?返品や値引きを差し引く前か後か?
  • どの通貨で、名目か実質か? 名目の現地通貨建ての数字と、インフレ調整後のドル建ての数字は、直接比較できません。
  • どのセグメント? 「電気自動車」の数字にプラグインハイブリッドが含まれるかどうかは、出典によって異なります。

レポートが2つの数字を比べている場合は、両方が同じ定義を使っているかを確認します。定義の違う数字を比べてしまうのは、AIを使うかどうかにかかわらず、あらゆるリサーチで最もよくある誤りのひとつです。

ステップ4:単位と桁を確認する

意外なほど多くの誤りを見つけられる簡単なチェックです。

  • 百万(million)と十億(billion)の取り違え、そして桁区切りのピリオドと小数点のコンマ。多くのヨーロッパの出典では、「1.234」は千二百三十四を意味します。
  • パーセントとパーセントポイント。10%から12%への上昇は2パーセントポイントの上昇であり、20%の増加です。
  • 1人あたりの数字と総数。
  • ほかの言語や体系の単位。例えば中国語の「万」(1万)や「亿」(1億)、インドのラクやクロールなど。英語の「billion」を「兆」と取り違える誤りにも注意してください。

ステップ5:派生値はすべて計算し直す

レポートが何かを計算しているなら、もう一度計算します。

  • シェア。 内訳を足すと全体、あるいは100%になりますか?
  • 成長率。 年平均成長率は(終了値÷開始値)^(1÷年数)−1です。年数を確認してください。1年ずれる誤りはよくあります。
  • 合計。 表の合計は、示されている総計と一致していますか?
  • グラフと本文。 グラフは本文の説明と同じ値を示していますか?

スプレッドシートを使えば数分で済み、疑問に決着がつきます。

ステップ6:独立した出典と照合する

重要な数字ごとに2つ目の出典を探し、それが本当に独立しているかを確認します。同じ調査会社を引用している2本のニュース記事は、2つではなく1つの出典です。独立した照合先として適しているのは、公的統計、企業の開示資料、規制当局のデータ、独自の手法を使う別の調査会社などです。

出典が違えば、定義や手法の違いから数字が少し食い違うことはよくあります。それは普通のことです。知りたいのは、その食い違いが説明できるかどうかです。説明できない場合は、どちらかの数字を使う前に理由を突き止めます。

ステップ7:数字だけでなく、主張を確認する

最後に、数字が置かれている文を読み直し、出典がその文を裏づけているかを問います。次の点に注意してください。

  • 相関が因果関係として示されている。
  • 単一の事例が傾向として示されている。
  • 予測が確実なこととして示されている。
  • 留保つきの記述(「可能性がある」「一部の場合」)が、留保なしの記述に変わっている。

数字が裏づけられなかったとき

選択肢は4つあり、おおむね望ましい順に並べると次のとおりです。

  1. 訂正する。 正しい数字と、確認済みの出典に置き換えます。
  2. 差し替える。 同じ論点を示す、より裏づけのある数字に替えます。
  3. 条件を添える。 定義、日付、幅を示し、読み手が自分で判断できるようにします。
  4. 削除する。 検証できない数字に依存する主張は、おそらくレポートに載せるべきではありません。

どの対応をとるにしても、次の読み手が同じ確認を繰り返さなくて済むよう、出典ログに記録しておきます。

チェックリスト

ご自身のメモにコピーしてお使いください。

  • 重要な数字を特定し、印を付けた
  • それぞれを引用ページ、または上流の元の出典で見つけた
  • 公開日と対象期間を確認し、予測は予測と明記した
  • 定義が文と一致している:何を、どこで、どの通貨で数えているか
  • 単位、桁、数字の表記を確認した
  • 派生値を計算し直した
  • 重要な数字を独立した出典で確認した、または差を説明した
  • 各主張が、数字だけでなく書かれた内容のとおりに出典で裏づけられている
  • 修正内容を出典ログに記録した

確認を速くするには

すべての数字に出典が付いていれば、数字の出どころを探すところからではなく、ステップ1から始められるので、この作業はずっと速くなります。

Divriteはそのように設計されています。レポートの数字には元のページへの引用が付き、グラフの数値は引用された本文までたどれ、スライドをエクスポートすると各ページの出典が発表者ノートに入ります。それで確認が不要になるわけではありません。自分の名前で出すものには、上の手順が引き続き当てはまります。ただ、確認が検索ではなくリンクから始まるようになります。

タグ ファクトチェックリサーチ手法AIリサーチ
すべての記事 →

ひとつの質問から、検証に耐えるリサーチを

Divriteは質問をタスクに分け、複数のラウンドと言語で検索し、すべての数字を開いて確かめられる出典と結びつけます。