AIの答えを、どこまで信じていいですか?|確かめ方を3つに分ける

槙 優真
槙 優真代表取締役 / 現役AI顧問ジェネラルコンサルティンググループ株式会社

「AIが出してきた答えが、合っているのかどうか分からない」

AIを仕事で使い始めた方から、こうした相談を受けます。読めば読むほど、もっともらしく思えてくる。かといって、すべてを自分で調べ直していたら、AIに頼んだ意味がなくなってしまう。そこで手が止まる、という相談です。

先に結論を書きます。AIの答えは、確かめ方を3つに分けると扱いやすくなります。

  1. 回答に、AI自身の自己採点と、自信のない箇所を書かせる
  2. 調べれば分かる話は、別のAIに出典を当たらせる
  3. 自社にしかない話は、人が見る

疑う力を人間の側で鍛えようとすると、なかなか続きません。確かめる作業そのものをAIに持たせるほうが、普段の仕事では先に回り始めます。この記事では、そのための指示文と、3つの使い分けを書きます。

1. AIの答えが合っているか分からない。そこで止まっていませんか?

ある方から、次のような相談を受けました。

相談の内容
・社内でAIが使えるようになり、議事録や調べものに使い始めた
・AIがまとめた議事録を読むと、それが正しく思えてくる。上司に指摘されて初めて、言い回しや内容が実際と違っていたと気づいた
・AIと壁打ち(考えを整理するための対話)を続けていると、返ってくる答えがもっともらしく思えて、そのまま受け取ってしまう
・市場の動きを調べさせれば、それらしい資料が出てくる。本当かどうかを確かめたくても、自分では調べきれないからAIに頼んでいる

判断する力が大事なのは分かっている。その力をどう上げればよいのかが、相談の中心でした。

研修や講座の感想でも、近い声を見かけます。AIに期待しているのは新しい発想より、正確な事務処理と判断の支えだという声。壁打ちを続けるうちに、自分の考えに沿った答えばかりが返ってくるようになったという声。使い慣れた人ほど、この引っかかりを持っている印象です。

率直に書くと「これさえやれば見抜ける」という歯切れの良い答えは、私にもありません。AIはとても賢い一方で、完璧ではないためです。

ただ、手の打ち方はあります。判断する力を鍛えるのは大切ですが、身につくまでに時間がかかる。毎回すべてを疑って読むやり方も、忙しい日には続きません。そこで、人の注意力に頼るのをやめて、確かめる作業をAIの側に持たせる形にします。

2. AIは先生ではなく自分専属の専門チームだと考える

確かめ方の前に、AIをどう捉えるかを1つだけ書いておきます。

AIを先生だと思うと、言われたことをそのまま受け取る姿勢になりがちです。私は、AIを自分専属の専門チームだと捉えています。調べものも下書きも引き受けてくれる、優秀なチーム。ただ、チームが出してきたものを、そのまま通すリーダーはいないはずです。意見があれば返し、違うと思えば違うと伝える。AIとの関わり方も、それと同じで構わないと考えています。

実際、AIの案を細かく見ていくと「それを実行したら、周りの人はどう感じるだろうか」という視点が抜けていることがあります。筋は通っているのに、現場に置くと浮いてしまう案です。ここに気づけるのは、その仕事の事情を知っている人に限られます。

2-1 意見は遠慮せず長めに返す

私自身は、AIが出してきたものに対して、こちらの考えを正面から伝えています。

たとえば、自社のWebサイトを直していたときのことです。AIが変えたデザインについて、単純に分からないところは質問として聞きました。「トップページはこの形のほうが良いのでしょうか?温かみに欠ける気がしています」のように意見を求めることもあれば「人が見て読みにくい形は避けてください」とはっきり伝えることもあります。相手は人ではないので、会議で人に伝えるときより率直で構いません。

そして、1回に返す量が多めです。「OK」「もう少し短く」で済ませず、気になった点を上から順に伝えていく。打つと面倒な分量なので、音声入力を使っています。長く伝えるほどAIの答えは狙いに近づき、自分の考えを細かく言葉にする練習にもなる。音声入力の使い方はプロンプトの書き方に迷ったら、AIに質問させればいいにも書きました。

逆に、最初から最後までAIに任せきりにすると、誰が作っても同じような、当たり障りのないものができあがります。最初の指示と最後の確認は人が持ち、途中をAIに任せる。この形は、答えの確かさを保つうえでも土台になります。

3. 自己採点と自信のない箇所を回答の頭に書かせる

1つ目の確かめ方です。回答に対して、AI自身に100点満点で採点させます。

3-1 指示文

相談を受けたその場で、音声入力で作った指示文があります。読みやすく整え、自信のない箇所を書かせる一文を足したものが次の文です。

なお、AIから私に回答するときは、必ずその回答を100点満点で自己評価した点数を、冒頭に添えてください。このとき、高めに評価するのではなく、高くもなく低くもなく、誠実にフラットな評価を心がけてください。あわせて、回答の中で自信のない箇所があれば、どこに自信がないのかを明記してください。

いつもの指示文の末尾に、そのまま貼るだけです。ChatGPT・Gemini・Claudeのどれでも使えます。毎回貼るのが手間なら、各サービスにある「カスタム指示」(AIへの共通の指示をあらかじめ登録しておく設定。サービスによって名称は異なります)に入れておくと、何もしなくても毎回付いてきます。

3-2 返ってくるもの

たとえば、ある業界の動きを調べてまとめるよう頼んだとします。回答の冒頭に、次のような書き出しが付きます。

自己評価:72点
自信のない箇所:
・市場規模の数字は、元にした調査の年を特定できていません
・競合の料金は、公開されている情報からの推測です

これは書き方の例で、実際の文面はAIによって変わります。

3-3 見るのは点数より自信のない箇所

この方法で役に立つのは、点数そのものより、自信のない箇所の欄です。

点数は正解率ではありません。80点と書いてあっても、8割が正しいという意味にはならない。あくまでAIの自己申告です。

一方で、自信のない箇所が書かれていると、確かめる場所が絞られます。回答の全部を疑って読む必要がなくなり、挙がった2〜3か所だけを見に行けば済む。全部を疑うのは続かなくても、2〜3か所なら続けられるのではないでしょうか?

「AIは自分に甘く、100点ばかり付けるのでは?」と聞かれたことがあります。私の感覚では、そうでもありません。それでも高めに感じるときのために、指示文に「高くもなく低くもなく、誠実にフラットな評価を」の一文を入れてあります。どこまで効くかはAIの種類や場面で変わるので、まず1週間ほど試してみる、という位置づけで十分かと思います。

3-4 点数が低いときは理由を聞く

点数が低めに出たら、それは直す材料になります。たとえば次のように聞きます。

点数が低い理由を教えてください。私から何を渡せば、点数が上がりますか?

足りない資料や、まだ決まっていない前提を、AIのほうから挙げてきます。それを渡して、もう一度作ってもらう。確かめる作業が、そのまま答えを良くする作業に変わります。

4. 調べれば分かる話か自社にしかない話かで確かめ方を分ける

自己採点で自信がないと挙がった箇所や、外に出す資料に載せる数字。ここから先の確かめ方は、その内容が2種類のどちらなのかで分かれます。

4-1 調べれば分かる話は別のAIに出典を当たらせる

市場の数字、制度、他社が公開している情報。これらは、世の中のどこかに元の資料がある話です。

この種類は、別のAIに確かめさせます。答えを作ったAIとは別のサービスか、少なくとも新しいチャットを開いて、たとえば次のように頼みます。

以下の内容に出てくる数字と事実を、1つずつ確かめてください。それぞれ出典を探し、元の資料に本当にそう書かれているかを確認したうえで「確認できた」「確認できなかった」「元の資料と食い違う」に分けて報告してください。

〔確かめたい内容を貼る〕

私自身も、この使い方をよくしています。AIが「中小企業のAI活用率は何%」のような数字を出典つきで書いてきたとき、その出典を細かく調べ直すよう別に頼み、真偽を確かめる。AIにAIを確かめさせる形です。

同じやり取りの続きで「本当ですか?」と聞く方法もありますが、それまでの流れに沿った答えになりがちです。場を変えたほうが、まっさらな目で見てもらえます。

気をつけたい点が2つあります。

  • 社外に出せない情報は渡さない。個人で契約しているAIに、会社の内部情報や個人情報を貼るのは避けてください。確かめるのは、公開されている話に限ります。会社のルールがある場合は、そちらが先です。社員の方がAIを使う場合も、同じ線引きを伝えておくと安心です
  • それでも間違いはゼロになりません。ただ、何も確かめずに出すのと比べると、安心感は大きく変わります

4-2 自社にしかない話は人が見る

会議で誰が何を言ったか。お客さんとのこれまでの経緯。社内の数字や、自社の方針。

これらは、世の中のどこにも元の資料がありません。答えを作ったAIにも、別のAIにも、確かめようがない話です。ここは人が見ます。

ただし、全部を見る必要はありません。見る場所は絞れます。

  • AIが自信がないと書いた箇所
  • 固有名詞と数字(人の名前、社名、金額、日付)
  • 決まったこと(誰が、いつまでに、何をするか)

議事録なら、その会議に出ていた人に回すのが確実です。冒頭の相談でも、内容の違いを指摘したのは上司の方でした。確かめられる人が誰なのかを先に決めておくと、AIの書いたものを安心して使えます。

判断そのものも、こちら側に置いておきます。AIは合否を決める役ではなく、見落としを拾う役。この置き方にしておくと、AIの答えに引っ張られすぎずに済みます。

4-3 3つの確かめ方を表にまとめると

確かめ方 対象 誰が確かめるか 手間
自己採点と自信のない箇所を書かせる 普段の回答 答えを作ったAI自身 指示を一度登録すれば、毎回付く
出典を当たらせる 調べれば分かる話(市場の数字・制度・他社の公開情報) 別のAI 外に出す資料や、判断に使う数字のときだけ
人が見る 自社にしかない話(会議の中身・お客さんとの経緯・社内の数字) その事情を知っている人 自信のない箇所・固有名詞と数字・決まったことに絞る

プロンプト(AIへの指示文)そのものの書き方は「薬膳シチュー」という型にまとめてあります。答えの質を上げる工夫と、出てきた答えを確かめる工夫は、両方そろうと安心して任せられる範囲が広がります。

当社の顧問サービスでは、コンサルで画面を共有しながら、こうした指示文をその会社の仕事に合わせて一緒に作っています。料金は月5万円からで、代表本人が対応します。プランの中身はサービス詳細ページにまとめました。まずは無料の壁打ちで、AIの答えに迷った場面を1つ持ってきていただくのでも十分です。

5. まとめ

  • AIの答えが合っているか分からないときは、疑う力を鍛えるより先に、確かめる作業をAIの側に持たせます
  • AIは先生ではなく、自分専属の専門チーム。出てきたものには、意見を遠慮せず長めに返します
  • 回答の頭に、100点満点の自己採点と自信のない箇所を書かせる。見るのは点数より、自信のない箇所です
  • 調べれば分かる話は、別のAIに出典を当たらせます。社外に出せない情報は渡しません
  • 自社にしかない話は、人が見る。自信のない箇所・固有名詞と数字・決まったことに絞れば、続けられます

6. FAQ|AIの答えの確かめ方についてよくある質問

Q1:自己採点の点数はどのくらい信用できますか?

A. 点数は正解率ではなく、AIの自己申告です。数字そのものより、あわせて書かれる自信のない箇所を見てください。確かめる場所を絞るための目印として使うのが、この方法の役割です。

Q2:どのAIでも使えますか?

A. ChatGPT・Gemini・Claudeのいずれでも使えます。各サービスの「カスタム指示」に入れておくと、毎回貼らずに済みます。

Q3:別のAIを契約していない場合はどうすればよいですか?

A. 同じAIで、新しいチャットを開いて頼む形でも構いません。それまでのやり取りを引き継がない場で確かめてもらうことが大切です。無料で使える範囲のAIを、確かめる役として使う方法もあります。

Q4:毎回確かめるのは手間になりませんか?

A. 自己採点は、指示を一度登録すれば毎回自動で付きます。別のAIに出典を当たらせるのは、外に出す資料や、判断に使う数字のときだけで十分です。すべてを同じ重さで確かめないことが、続けるコツかと思います。

Q5:そもそもAIの間違いを減らす方法はありますか?

A. あります。元になる資料をこちらから渡すこと。そして、より賢いモデル(AIの種類)を選び、じっくり考える設定に切り替えることです。どちらも間違いを減らす助けになりますが、ゼロにはならないため、この記事の3つの確かめ方と組み合わせて使ってください。

RELATED PROJECTS

関連事例

RELATED COLUMNS

関連コラム

槙 優真

執筆者

槙 優真

ジェネラルコンサルティンググループ株式会社 代表取締役

現役のAI顧問として、中小企業の経営者に月額5万円〜で直接伴走中。AI活用と売れる仕組みの両輪で、「実利」と「余白」を同時に高める伴走支援を提供しています。

目次開く