AIが生成したレポートは、数字が正しくても間違っていても、同じように読めてしまいます。文章はなめらかで、数字は具体的で、それぞれに引用が付いていることも少なくありません。だからこそ、こうしたレポートの数字は、スライドや社内メモ、顧客へのメールに使う前に、意識して確認する価値があります。
幸い、誤りの多くは少数のパターンに当てはまり、順序立てて確認すればほぼすべて見つけられます。このガイドでは、何を、どの順番で確認するか、そして数字が裏づけられなかったときにどうするかを説明します。
よくある誤り
実際には、AIが書いたリサーチの数字の問題が、まったくの捏造という形で現れることはまれです。多いのは、実在する数字が誤った使われ方をしているケースです。
- 数字は正しいが、年が違う。 2022年の推計が現在の数字として示されている、あるいは予測が実績として示されている。
- 数字は正しいが、定義が違う。 世界の出荷台数の数字が、米国の売上についての文に出てくる。
- 数字は正しいが、出典が違う。 数字自体は実在するが、引用されたページとは別のところから来ている。
- 計算が合わない派生値。 成長率、シェア、合計などが、正しい入力から計算されているのに、計算方法が間違っている。
- 主張を裏づけない引用。 出典は存在し、テーマにも触れているが、述べている内容がより弱い、あるいは異なる。
- たどれる出典がまったくない数字。 こうしたケースも実際にありますが、探せば最も見つけやすい誤りです。
以下の各ステップは、これらのいずれかを狙ったものです。
まず仕分け:重要な数字を見つける
すべての数字を同じ熱量で確認する必要はありません。まず、重みのある数字に印を付けます。
- タイトル、要約、結論にある数字。
- グラフや表に出てくる数字。
- 提言の根拠になっている数字。
- 意外な数字、不自然に細かい数字、不自然にきりのよい数字。
これらは徹底的に確認します。それ以外は、出典をざっと見れば通常は十分です。
ステップ1:各数字を、開いて確かめられる出典までたどる
重要な数字ごとに、次のことを行います。
- 引用された出典を開く。 リンクは機能しますか?引用が示しているページですか?
- ページ内で数字を探す。 検索し、数字が現れそうな表記も試します:「1.2 billion」「1,200 million」「1.2bn」、ドイツ語の出典なら「1,2 Mrd.」、日本語なら「12億」など。
- 前後の段落を読む。 その数字が、レポートの言うとおりのものを指しているかを確かめます。
- 必要なら上流へ。 出典が他者の調査を引用したニュース記事やブログなら、元の発表を探してそこで数字を確認します。二次情報は数字を丸めたり、省略したり、ときには打ち間違えたりします。
ひととおり探しても引用された出典に数字が見つからない場合は、引用できる場所で見つかるまで「未検証」として扱います。
ステップ2:日付を確認する
確認すべき日付は2つあり、混同しやすいので注意が必要です。
- 出典がいつ公開されたか。 数年前の分析は、その後の出来事によって古くなっているかもしれません。
- 数字がどの期間を表しているか。 古いレポートにある「市場は2026年にXに達する」は、たとえ2026年になっていても、測定値ではなく予測です。
会計年度と暦年の違いも確認します。多くの企業や政府は1月始まりではない会計年度で報告しているため、同じレポートの中でも「2025年の売上」が組織によって異なる12か月を指すことがあります。
ステップ3:定義を確認する
最も見落としやすい誤りはここにあります。数字を受け入れる前に、それが正確に何を数えているかを確かめます。
- 売上、台数、それとも稼働台数? 1年間の販売数は、使用中の製品の総数とは違います。
- どの地域? 世界、地域、単一の国、それとも「主要市場」?
- 何が含まれる? ハードウェアとソフトウェア?サービスは?返品や値引きを差し引く前か後か?
- どの通貨で、名目か実質か? 名目の現地通貨建ての数字と、インフレ調整後のドル建ての数字は、直接比較できません。
- どのセグメント? 「電気自動車」の数字にプラグインハイブリッドが含まれるかどうかは、出典によって異なります。
レポートが2つの数字を比べている場合は、両方が同じ定義を使っているかを確認します。定義の違う数字を比べてしまうのは、AIを使うかどうかにかかわらず、あらゆるリサーチで最もよくある誤りのひとつです。
ステップ4:単位と桁を確認する
意外なほど多くの誤りを見つけられる簡単なチェックです。
- 百万(million)と十億(billion)の取り違え、そして桁区切りのピリオドと小数点のコンマ。多くのヨーロッパの出典では、「1.234」は千二百三十四を意味します。
- パーセントとパーセントポイント。10%から12%への上昇は2パーセントポイントの上昇であり、20%の増加です。
- 1人あたりの数字と総数。
- ほかの言語や体系の単位。例えば中国語の「万」(1万)や「亿」(1億)、インドのラクやクロールなど。英語の「billion」を「兆」と取り違える誤りにも注意してください。
ステップ5:派生値はすべて計算し直す
レポートが何かを計算しているなら、もう一度計算します。
- シェア。 内訳を足すと全体、あるいは100%になりますか?
- 成長率。 年平均成長率は(終了値÷開始値)^(1÷年数)−1です。年数を確認してください。1年ずれる誤りはよくあります。
- 合計。 表の合計は、示されている総計と一致していますか?
- グラフと本文。 グラフは本文の説明と同じ値を示していますか?
スプレッドシートを使えば数分で済み、疑問に決着がつきます。
ステップ6:独立した出典と照合する
重要な数字ごとに2つ目の出典を探し、それが本当に独立しているかを確認します。同じ調査会社を引用している2本のニュース記事は、2つではなく1つの出典です。独立した照合先として適しているのは、公的統計、企業の開示資料、規制当局のデータ、独自の手法を使う別の調査会社などです。
出典が違えば、定義や手法の違いから数字が少し食い違うことはよくあります。それは普通のことです。知りたいのは、その食い違いが説明できるかどうかです。説明できない場合は、どちらかの数字を使う前に理由を突き止めます。
ステップ7:数字だけでなく、主張を確認する
最後に、数字が置かれている文を読み直し、出典がその文を裏づけているかを問います。次の点に注意してください。
- 相関が因果関係として示されている。
- 単一の事例が傾向として示されている。
- 予測が確実なこととして示されている。
- 留保つきの記述(「可能性がある」「一部の場合」)が、留保なしの記述に変わっている。
数字が裏づけられなかったとき
選択肢は4つあり、おおむね望ましい順に並べると次のとおりです。
- 訂正する。 正しい数字と、確認済みの出典に置き換えます。
- 差し替える。 同じ論点を示す、より裏づけのある数字に替えます。
- 条件を添える。 定義、日付、幅を示し、読み手が自分で判断できるようにします。
- 削除する。 検証できない数字に依存する主張は、おそらくレポートに載せるべきではありません。
どの対応をとるにしても、次の読み手が同じ確認を繰り返さなくて済むよう、出典ログに記録しておきます。
チェックリスト
ご自身のメモにコピーしてお使いください。
- 重要な数字を特定し、印を付けた
- それぞれを引用ページ、または上流の元の出典で見つけた
- 公開日と対象期間を確認し、予測は予測と明記した
- 定義が文と一致している:何を、どこで、どの通貨で数えているか
- 単位、桁、数字の表記を確認した
- 派生値を計算し直した
- 重要な数字を独立した出典で確認した、または差を説明した
- 各主張が、数字だけでなく書かれた内容のとおりに出典で裏づけられている
- 修正内容を出典ログに記録した
確認を速くするには
すべての数字に出典が付いていれば、数字の出どころを探すところからではなく、ステップ1から始められるので、この作業はずっと速くなります。
Divriteはそのように設計されています。レポートの数字には元のページへの引用が付き、グラフの数値は引用された本文までたどれ、スライドをエクスポートすると各ページの出典が発表者ノートに入ります。それで確認が不要になるわけではありません。自分の名前で出すものには、上の手順が引き続き当てはまります。ただ、確認が検索ではなくリンクから始まるようになります。