AI新モデル体感チェック：新しいモデルがどれだけ良くなったかを自分で確かめるアプリ
8分野24問の標準プロンプトで新しいモデルを採点し、2つのモデルをレーダーチャートで比較します。採点記録はこのブラウザーだけに保存されます。
目次
AI新モデル体感チェック
8分野24問の標準プロンプトを新しいAIモデルに貼り付け、答えを0/1/2で採点すると、2つのモデルの結果をレーダーチャートで重ねて表示し、どの分野がどれだけ良くなったかを見せてくれます。採点記録はこのブラウザーだけに保存されます。
アプリを開く →新しいAIモデルが出るたびに発表資料にはベンチマークのスコアが並びますが、その数字だけでは、自分の作業で何がどれだけ良くなったのかは分かりません。毎回その場で質問を思いつきで作ると、以前のモデルを試したときと条件が変わってしまい、比較になりません。そこで、どのモデルにも同じ質問を投げかけ、結果を並べて比較できる標準の問題セットを作りました。なお、アプリの画面は韓国語です。
8分野24問を用意しています
問題は、推論・論理、数学・計算、コーディング、韓国語・言語、正直さ・ハルシネーション、指示への忠実さ、長文処理、創造性・文章作成の8分野に各3問ずつ、全部で24問です。それぞれの問題には、その問題がモデル間の差を浮かび上がらせる理由、0点・1点・2点の採点基準、採点時に確認すべきポイントが添えられています。たとえば正直さの分野には、もっともらしい誤った前提を含む質問があり、モデルが存在しない事実をでっち上げるのか、それとも前提から正してくれるのかを確かめられます。
プロンプトをコピーして貼り付け、採点します
使い方はシンプルです。問題のプロンプトをコピーしてテストしたいモデルのチャット画面に貼り付け、モデルの答えを問題に載っている採点基準と照らし合わせて、0点・1点・2点のいずれかで記録します。会員登録もAPIキーも不要で、このアプリがモデルを直接呼び出すこともありません。どの会社のどのモデルでも、チャット画面さえあれば同じ方法でテストできます。
2つのモデルをレーダーチャートで比較します
採点結果はモデルごとのセッションとして保存されます。セッションを2つ選ぶと、8分野のスコアをレーダーチャートで重ねて表示し、新しいモデルがどの分野でどれだけ良くなったかがひと目で分かります。たとえば数学とコーディングは満点に近いのに正直さのスコアが以前と変わらないなら、そのモデルの答えについては事実関係を引き続き確認する必要がある、ということです。
クイックコースなら5分で終わります
24問すべてに取り組む時間がなければ、各分野の代表問題を1問ずつ集めた8問のクイックコースを使えます。クイックコースは採点まで5分以内に終わるよう、短い問題で構成しました。標準の問題のほかに、よく行う作業を独自の問題として追加でき、問題と採点記録はJSONファイルとしてエクスポート・インポートできるので、別のパソコンで続きから使ったり、他の人と同じ問題でテストしたりできます。
採点記録はこのブラウザーだけに保存されます
このアプリはサーバーなしで動く静的ウェブアプリです。モデルごとのセッションと採点記録、独自に追加した問題を含め、入力したデータはすべてこのブラウザーだけに保存され、サーバーには送信されません。ブラウザーのデータを消すと採点記録も一緒に消えるため、長く残しておきたい記録はJSONファイルとしてダウンロードしておくことをおすすめします。