AIが出した「90％」、信じていいの？
shestem_editor
AIが出した数字を見ると、私たちはつい「正しそう」と感じます。
たとえば、「AIの判定精度は90％です」と言われたら、かなり信頼できるように感じるかもしれません。
でも、その90％は、何を表している数字なのでしょうか。
今回の動画では、AI検出器で岩石を調べる問題を通して、数字の見方と、私たちの判断に起こりやすい認知バイアスについて考えます。
まずは、問題です
AI検出器で、岩石の中に希少な鉱物が入っているかを調べています。
1000個の岩石のうち、希少な鉱物が入っているのは1％。
AI検出器は、90％の精度で判定します。
ある岩石を調べたところ、AIは「希少な鉱物あり」と判定しました。
AIが「あり」と判定した岩石を1つ選んだとき、
本当に希少な鉱物が入っている確率はどれくらいでしょうか？
A：約90％
B：約50％
C：約8％
答えは、約8％
直感的には、「AIが90％正確なら、答えも90％くらいでは？」と思いやすいかもしれません。
でも、答えは約90％ではありません。
正解は、約8％です。
なぜそうなるのでしょうか。
1000個の岩石のうち、希少な鉱物が入っているのは1％なので、実際に入っている岩石は10個です。
AIは90％の精度なので、その10個のうち9個を正しく「あり」と判定します。
一方で、希少な鉱物が入っていない岩石は990個あります。
AIは90％正しいということは、10％は間違えるということです。
そのため、入っていない990個のうち99個を、AIは間違えて「あり」と判定します。
AIが「あり」と言った岩石は、
本当に入っていた岩石：9個
実は入っていなかった岩石：99個
合わせて108個です。
この108個の中で、本当に希少な鉱物が入っていたのは9個。
だから、
9 ÷ 108 = 0.083333…
約8％
90％という数字が、間違っていたわけではない
ここで大切なのは、AIの90％という数字が間違っていたわけではない、ということです。
90％は、AI検出器の性能を表す数字です。
でも、私たちが知りたかったのは、AIの性能そのものではありません。
知りたかったのは、AIが「あり」と言った岩石の中で、本当に希少な鉱物が入っていたものはどれくらいあるのかということです。
同じ数字でも、何を表しているのかを間違えると、判断も変わってしまいます。
なぜ、多くの人は90％だと思ってしまうのか
多くの人は、「AIは90％正確」という目立つ数字に引っ張られます。
でも、判断に必要だったのは、もう一つの数字です。
それは、「希少な鉱物は全体の1％」という前提です。
この、もともとの割合のことをベースレートといいます。
そして、もともとの割合を十分に考えず、目立つ情報だけで判断してしまうことをベースレート無視といいます。
ベースレート無視は、認知バイアスの一つです。
認知バイアスとは、無意識に起こる考え方のクセや思い込みのことです。SheSTEMでは、こうした無意識の思い込みについて、アンコンシャスバイアスの解説ページでも紹介しています。
AI時代こそ、立ち止まって考える
これからの時代、AIが判定したり、予測したり、スコアを出したりする場面は増えていきます。
そのとき大切なのは、AIを疑うことだけではありません。
この数字は、何を表しているのか。
自分は、本当は何を知りたいのか。
見落としている前提はないか。
そう問い直すことです。
AIの答えをそのまま受け取るのではなく、そこにどんな前提や偏りがあるのかを考えることは、AIバイアスについてのコラムにもつながる視点です。
また、問題の条件を整理し、いま何が起きているのかを追いながら考える力は、水差し問題で育つ思考のOSでも扱っている、AI時代に必要な考える力の一つです。
ベースレートを見落とすと、判断を間違う
今回の問題は、単なる確率の計算ではありません。
人は、目立つ情報に引っ張られる。
そして、もともとの割合を見落とすことがある。
そのことを体験する問題です。
AIが出した90％という数字は、とても強く見えます。
でも、その数字だけで判断すると、約8％という答えにはたどり着けません。
ベースレートを見落とすと、
判断を間違う。
AI時代こそ、目立つ情報だけで判断せず、一度立ち止まって考えることが大切です。
