1. ホーム
  2. ブログ
  3. 慣れてきた人
No.004 慣れてきた人 約6分で読めます

AIの推測を測る道具が、
最初に推測で間違えた話

AIの推測を見つける道具に、私たちが最初に教えたのは、「分かりません」の一言でした。

私たちの診断ツール上では「問題なし」と出たサイトがありました。
念のため確かめると、そのサイトは検索やAIの読み取り役を全部断っていて、AIからは何ひとつ読めない状態でした。

AIの推測を測る道具を作っていて、最初に推測で間違えたのは、その道具自身でした。
間違いは3回あり、全部公開前に見つけて直しましたが、気づくのがもう少し遅ければ、人のサイトにうその点数をつけて世に出すところでした。

この記事の結論

点数を出す道具にいちばん要るのは、分からないときに「分からない」と言える作りだ。

目次
  1. 作っていたのは、人のサイトに点数をつける道具
  2. やってしまったこと
  3. 気づいたのは、点数ではなく、相手のサイトを開いたとき
  4. 直したのは、点の出し方より「分からない」の言い方
  5. 次からは、こうする

作っていたのは、人のサイトに点数をつける道具

作っていたのは、AIがサイトをどう読んでいるかを8項目で測る無料の道具で、AIO診断と呼んでいます(AIOは、AIに正しく読まれるための工夫のことです)。

見るのは社名、事業内容、所在地、連絡先、営業時間、料金、実績、SNSの8つで、それぞれに◯、△、×の3つの印のどれかがつきます。◯はAIがそのまま引用できる、△は書いてあるのにAIが推測で読んでいる、×はどこにも書いていない、という意味です。

私たちのWEB制作の仕事では、公開したサイトを3ヶ月かけて直していくうちに、AIにどう読まれているかを確かめる作業が増えてきました。お客さまのサイトごとに手で調べていては追いつかないので、その手順をそのまま道具にしました。

自社サイトで試して直すところまでは順調で、つまずいたのは、ほかのサイトで試し始めてからでした。

やってしまったこと

3回とも画面の上ではもっともらしい結果を出しており、点数も高く理由らしき文もついていました。

1回目は冒頭の「問題なし」で、AIが何ひとつ読めないサイトを、問題のないサイトとして扱っていました。

2回目はもっとこわい間違いで、あるサイトを「AIを拒否している」と判定して25点をつけたのですが、そのサイトはAIを断ってなどいませんでした。

3回目は事業内容で、飲食店のお客さまを多く持つコンサル会社を、飲食店だと判定しました。

どれも、結果だけを見ておかしいと気づく人はいないはずです。

気づいたのは、点数ではなく、相手のサイトを開いたとき

3回とも点数を眺めているうちは気づけず、気づいたのは測った相手のサイトを自分たちで開いて結果と見比べたときでした。

試験では、測ったサイトを1つずつブラウザで開き、診断の結果と横に並べて読んでいました。

見るのは点数の高い低いではなく、理由として書かれた文が開いた画面と合っているかどうかです。合わないところが出たら、原因が分かるまで次のサイトには進まないと決めていました。

1回目 全部断られていたのに、「問題なし」だった

サイトにはAIや検索の読み取り役に「ここは読まないで」と伝えるためにrobots.txtというファイルを置くことができます。
そこには、読み取り役の名前を挙げて断る書き方のほかに、名前を挙げずに「全員、どこも読まないで」とまとめて断る書き方もあります。

最初の作りは、ファイルの中から読み取り役の名前を1つずつ拾って確かめていたので、名前を挙げずにまとめて断る書き方を見落としていました。

全部断られているサイトが、プログラムには何も断られていないサイトに見えていたのです。

2回目 こちらの行儀の悪さを、相手のせいにした

robots.txtでAIを断っているなら、低い点がつく理由になります。

しかし、そのサイトは何も断っておらず、こちらのプログラムが短い時間に25回ほど見に行きすぎていたのです。相手のサーバーは「アクセスが多すぎる」と、一時的に受け付けを止めていただけでした。

返ってきたのは「いまは混んでいるので、あとにして」という意味の返事で、「あなたは読まないで」という返事とは、もともと別のものです。

相手の方針で断られたのか、こちらが押しかけすぎて断られたのかをプログラムは見分けられず、どちらも「拒否」と読んでいました。原因はうちにあるのに下がったのは相手の点です。

3回目 お客さまの業種と、その会社の業種を取り違えた

3回目に間違いが起きたコンサル会社の実績のページには、料理の写真と店名の入った飲食店の事例が、ずらりと並んでいました。

プログラムは書いてあることを全部読めていて、そのうえで、よく出てくる言葉から「この会社は飲食店だろう」と推測し、取り違えたのです。

これは、AIがサイトについて答えるときの間違い方と、まったく同じ形です。AIの読む力が上がるほど、間違いは「読めなかった情報」より「読めたけれど取り違えた事実」の側で起きます。住所も電話番号も料金も、本文に書いてあるからこそ、推測が混じるのです。

直したのは、点の出し方より「分からない」の言い方

3つの直し方は別々ですが、向いている先は同じです。分からないところをもっともらしい答えで埋めず、どうしても埋めるしかないなら埋めたことを結果に書く、という一点です。

1回目は、robots.txtを決められた手順どおりに読む作りに組み直して、まとめて断る書き方も見落とさないようにしました。AIがまったく読めないサイトには点数に上限をかけ、その理由を結果に書くようにしています。

2回目は、次の2か所を直しています。

  1. 「AIを断っている」と書く前に、人がブラウザで見たときにも同じように断られるかを比べるようにした
  2. 断られたように見えたら3秒おいて確かめ直し、一度きりの「アクセスが多すぎる」は「拒否」と決めつけず、注意として書くだけにした

3回目は、業種を決める手がかりを、ページの題と説明文と大見出しだけにしぼりました。本文には、お客さまの業種がたくさん書かれているからです。そのうえで、自信がないときは業種を言わないようにしています。

直したあと、それまで試したサイトを全部、もう一度測り直しました。

次からは、こうする

人のサイトに点数をつけるのは、思っていたより怖いことで、25点と出た人は、その数字を見てサイトを直すか業者を探すかを決めるので、お金と時間が動きます。
数字が間違っていればその人の費用や時間を無駄にしてしまうのです。

そこで、結果の画面にはいくつかの決まりを作りました。

AIがまったく読めないときは、その理由を結果に書くというのが、1回目の失敗から決めたことです。

「AIは答えられません」とも書かないのは、それが事実ではないからです。
私たちが測るのは、その答えが推測かどうかだけです。

また広告を入れず、ずっと無料のままにしているのは、診断の画面に広告が並ぶと、点数まで何かを売るための数字に見えてしまうからです。

ほかの会社の診断ツールを使うときも、点数の前に見てほしいところが2つあります。読めなかったページと問題がなかったページが、結果の中で分けて書かれているか、そして低い点の理由を、自分でサイトを開いて確かめられるかです。この2つがない結果では、点数だけがひとり歩きします。

変な結果が出ていたときに教えてもらえれば、それも直していきます。

NEXT READ