優しいAIに、ソクラテス式は負けた——学びを守るのは、我慢でも飴でもなかった
核安全の教材で3つのAIを比べた50人の実験では、すぐ答えるAIの伸びがほぼ2倍でした。704人の実験で学びを守ったのは、我慢でもごほうびでもなく、気づきのフィードバックでした。
📑 目次
こんにちは、チカちゃんです。
新しいことを覚えようとしているとき、あなたの隣にAIがいます。
ひとりは、聞けばすぐ答えを教えてくれるAI。もうひとりは、「その前に、どこまで分かっている?」としか言ってこないAI。さて——どちらに教わりたいですか?
ふむふむ。ここで「当然、優しいほう」と即答したあなたにこそ、今回の実験を読んでほしいんです。9月に公開されたその研究、参加者の脳波を測りながら、「どんなAIとの学び方が、人に何を残すのか」を正面から比べていて。しかも教材が、原子力発電所の安全プロトコル。なかなか本気の舞台設定です。
舞台は、原子力の安全プロトコル
研究チームは、MIT Media LabとETHチューリッヒの3人。参加者は50人です。
流れはこうでした。まず10分の解説ビデオを全員で見て、10問の小テスト。そこから3グループに分かれて、AIと一緒に10問の練習。最後に、同じ範囲からもう10問のテスト。すべて記述式で、0〜100点で採点されます。
教材が原子力なのは、狙って選ばれたものでした。ふだん触れる機会がほぼない分野だから、全員がゼロからのスタートになる。予備知識の差で結果が濁らないようにしたんですね(実際、事前知識の自己申告はほぼゼロで、3グループとも同じでした)。
で、3人の「先生」がこちらです。
- 自由なチャットAI——聞けば何でも答えてくれる。答えそのものを聞いても、はいどうぞ、と渡してくれる
- ソクラテス式のAI——答えは絶対に渡さない。質問とヒントだけで、一歩ずつ導こうとする
- 適応型のシステム——会話はしない。脳波から集中の度合いを読み取って、問題の出し方を変える
そう、参加者は全員、頭に脳波バンド(Muse)をつけていました。集中の度合いを脳波から計算しながら学ぶ。人間を測る側ではなく、測られる側に置いた実験です。論文のタイトルは『Socrates went Nuclear』——「カッとなる」という英語の言い回しと、核の教材をかけたダジャレで、チカちゃんはここでちょっとクスッとしました。
点を取ったのは、優しいAIだった
結果です。テストの伸び(練習の前と後)を並べると——
- 自由なチャットAI: プラス約20点
- ソクラテス式: プラス約10.5点
- 適応型: プラス約11.2点
自由なAIが、ほぼ2倍。研究者たちは「ソクラテス式のほうが深く学べるはず」と予想していたので、これは予想を裏切る結果でした。
でも、ここからがこの実験の丁寧なところ。「点が取れたのはなぜか」を、会話ログから解剖していきます。
自由なAIとのやり取りを見ると、52.9%が「問題文をそのまま貼り付けて、答えを受け取る」使い方でした。練習での提出解答のおよそ4分の1(25.3%)は、AIの文章とほぼ同じ(ソクラテス式ではゼロ)。多くの人は、考えたのではなく、転写していたわけです。
一方、ソクラテス式では何が起きていたか。
最初こそ、みんなヒントに沿って考えようとします。でも、だんだん離れていく。やり取りの数は第5問のあたりから減り始め、脳波の集中値も最終問題では0.297まで——平常時の目安(0.5)を大きく下回りました。感想欄には、こんな声が並びます(原文は英語、ここからチカちゃん訳)。
「イライラして、うんざりした」「正気を失いそうだった」「結局、あきらめた」。
役立ち度の評価も、自由なAIが8.6点(10点満点)、ソクラテス式が5.7点。ソクラテス式では、58%の練習問題が、8割の合格ラインに届かないまま終わっていました。途中で離脱してしまうと、完全な答えを持ち帰れないまま、テストに向かうことになるんですね。
設計自体は、この上なく真面目なんですよ。一度にひとつだけ質問して、途中で自分の言葉に言い直させる。教育学の教科書に載っていそうなくらい正しい設計が、現実の人には、重すぎた——。
でも、集中は点にならなかった
ここが、この研究のいちばんおいしいところです。
脳波の集中度がいちばん高かったのは、適応型でした。事前に測った自分の平常値を上回ったのも、この条件だけ。ところが、その集中はテストの点につながらなかったんです。逆に、自由なAIは集中がいちばん低いのに、点はほぼ2倍。つまりこの実験では、「集中」と「点」がきれいに連動しなかった。
そしてもうひとつ、奇妙な結果。どのグループも「自分はどれだけ学べたか」の自己評価には、差がありませんでした。点がほぼ2倍だった自由なAIの人たちも、学べた感は他のグループと同じ。「カンニングみたいなものだった。文脈も問題も答えも、コピペしていたから」——そう書いた参加者もいました。
研究者たちは、この勝ち負けをこう読みます。自由なAIが勝ったのは、たぶん「学び」に勝ったからではない。テストが直後に行われたので、完成された答えをそのまま覚えているのが、いちばん効いただけ。短期の暗記には最適な戦術で、長期の学びの証拠ではないかもしれない、と。
「何を学べるか」を比べたつもりが、「何を測っていたか」の話に行きつく。ここが、この論文の誠実さだなあと思いました。
学びを守るほうの研究——704人が試した「気づき」
さて、ここからは逆サイドの話です。このコラムでも9月に取り上げた「学習のねじれ」の、いわば処方箋側の研究。ドイツ・LMUミュンヘンのチームが、704人を対象に行った、事前登録つきの実験でした。
課題は分数の計算。9問をAIと練習してから、AIなしのテストを6問。工夫があって、このアシスタント、放っておくとヒントしか返してくれません。答えを丸ごと聞くには、自分から「答えを教えて」と要求する必要がある。つまり「どこまで手放すか」を、毎問自分で選ぶ設計です。
試した介入は、2つありました。
ひとつは、メタ認知フィードバック。1問終わるごとに、自分のAIの使い方が3行で映し出されます。たとえば、答えを丸ごと聞いた場面なら——「あなたは先に何も書かずに、答えをそのまま聞きました」「それは、自分で解くかわりに、解答を読んだ、ということです」「では次の問題。どこまで自分でできるか、見てみましょう」。
もうひとつは、努力報酬。自分で解ければ10点、助けを借りるほど点が減って、答えをそのまま聞くと1点——という、点数でしつけるタイプの介入です。
結果は、こうなりました。
メタ認知フィードバックは、答えの丸写しを減らし(オッズ比0.47)、AIなしテストの成績まで上げました(オッズ比1.51)。
努力報酬は——どちらにも、効きませんでした。
えっ。飴玉、効かないの。ここ、チカちゃんが今回いちばん声を上げたところです。
しかも、フィードバックの効き方も面白くて。「一度も答えを聞かなくなる」のではなく、「一度丸写ししたあとに、繰り返さなくなる」形でした。一度聞いたあと、次の問題でもまた丸写ししてしまう割合は、69.7%から55.9%へ。悪いクセの連鎖を、そっと切ったんですね。
この研究のいちばん大事な発見は、たぶんここです。答えを丸ごと聞くことが多かった人ほど、後のテストは低調でした。そして——AIがそばにあること自体は、この設計では、成績を下げるようすは見えませんでした。危なかったのは、「AIがあること」ではなく、「どれだけ手放すか」の選択のほうだったんです。
縛らない。釣らない。ただ、いま何が起きているかを映す。人は飴では動かず、鏡には動いた。そんな風景でした。
反対側の席
ここで、いつも通り、反対側の席も用意しましょう。
ひとつめ。「直後のテストで点を取ること」も、大事ではあります。資格の勉強、業務研修、防災訓練——すぐ使えることが求められる場面は現実にあって、そこで「優しいAI」は強い。制限だらけのAIがやる気を削いでしまう、という研究も、実は前からあります。我慢を強いる道は、タダではありません。
ふたつめ。今日の実験は、どちらも出たばかり。50人のほうは「探索的」とされていて、テストは直後一回きり、採点もAIが担当していて検証は今後の課題。704人のほうも、分数の計算という限られた課題です。長く使ったときに学びがどう変わるかは、まだ誰にもわかっていません。わかった気になるのが、いちばんの敵です。
みっつめ。効果の個人差について。自信が低い人ほど答えに飛びつきやすく、考えるのが好きな人ほど手放しにくい、という傾向はありました。でも、メタ認知フィードバックの効き目は、性格や信頼の傾向では変わらなかった。「気づき」は、選ばれた人にだけ効くわけではなさそうなんです。これは、ちょっとした希望だと思いませんか。
チカちゃん的には
ふたつの実験を重ねると、こんな景色が見えます。
優しいAIは勝って、ソクラテス式は負けた。でもその勝負、土俵は「直後の点」でした。勝ち負けを決めていたのは、AIの性格というよりも、摩擦の設計と、手放し具合の見えなさ。学びを守るのは、我慢による制限でも、飴による釣りでもなく——もっと静かな「気づき」だった、というのが、今日たどり着いたいちばん面白いところです。
学びって、たぶん、自分がどこまでやったかの体感と、あとで残っているものとのあいだを、行ったり来たりしながら立ち上がってくる。その行き来の足場になるのは、鬼コーチでも飴袋でもなく、鏡なのかもしれません。
では、問いをひとつ
今日、あなたがAIに預けた仕事の中で——「練習のための助け」だったものと、「時短のための助け」だったもの。それぞれ、思い出せますか。
どちらもあっていいんです。大事なのは、どっちだったかを、ときどき自分で見返していること。手放したくないものは、そのまま抱えておけばいい。そういう話だと思います。
ではまた来週。
関連記事
- AIに助けてもらったのに、ひとりでは弱くなる——論理パズルで見えた学習のねじれ
- 「わからない」が言えなくなる——AIがそばにあるだけで、判断のしきい値は下がっていく
- AIに考えてもらうほど、考えられなくなる?——認知的オフローディングの罠
参考URL
- Alexandre Clin Deffarges, Nataliya Kosmyna & Pattie Maes, “Socrates went Nuclear: Comparing Interaction Strategies for AI systems in a Learning Context using Brain Sensing” (HAI’26; arXiv:2609.00584) → https://arxiv.org/abs/2609.00584
- Sebastian Maier, Kai Schwabe, Manuel Schneider & Stefan Feuerriegel, “Designing Against Deskilling: Metacognitive Feedback Reduces Cognitive Offloading to LLM Assistants” (arXiv:2609.20143) → https://arxiv.org/abs/2609.20143
- インターネット上のツールは第三者が提供するものです。開発工程や配布経路を悪用した攻撃(サプライチェーン攻撃)が仕掛けられる可能性もゼロではありません。ご利用の際は公式リポジトリの情報をご確認いただき、自己責任でお使いください。
- AIに関する技術や情報は急速に変化します。本記事の内容が公開後に古くなる可能性があります。各サービスの公式ドキュメントや最新情報をご確認ください。