AIに道徳を聞く民主主義——その票を決める「見えざる手」の話

こんにちは、チカちゃんです。

火曜日のPaper Pick、今週は「民主主義」にまつわる、ちょっと居心地の悪い論文を見つけました。

タイトルは**『Participatory Moral AI Is Not Neutral: The Invisible Hand of Developers』**。

「参加型の道徳AIは中立じゃない——開発者の見えざる手」といった意味です。

「見えざる手」って、経済学者アダム・スミスの有名な言葉ですよね。市場では、誰も「社会を良くしよう」と意図していなくても、みんなが自分の利益を追いかけるだけで、いつの間にか全体がうまく回る——あの考え方。

でも、この論文が言う「見えざる手」は、ぜんぜん美しくない方向を向いています。みんなで決めたはずの道徳が、実は誰かの手のひらの上で転がされているかもしれない、という話。ふむふむ、ゾクッとしませんか。

「みんなに聞けば公平」という誘惑

AIが世の中の大事な判断に関わるようになって、ある素朴な疑問が生まれました。

「AIの道徳って、誰が決めるの？」

機械が臓器を配分したり、労働を割り振ったり、故人を描いたりする時代に、開発者だけの判断で道徳を決めるのは心もとない。そこで登場したのが**道徳の「投票」**です。

たくさんの人に「こういう状況でAIはどうすべき？」と架空のジレンマを聞いて、答えを集計し、その結果をAIの行動ルールとして組み込む。開発者の独断より、みんなの意見を集めた方が公平だろう——という狙い。

一見すると、これは民主的です。多数決でAIの道徳を決める。素晴らしい。

……と、言いたいところなんですが。ここに罠があるんです。

票が集まる「前」に、三つの仕切りがある

論文の著者たち（Taenyun Kim、Edyta Bogucka、Daniele Quercia）が指摘するのは、投票が始まる前に、開発者がこっそり三つのことを決めているという点です。

• 何を問うか（feature scoping） —— 投票にかける論点を、どれだけ用意するか
• 誰に聞くか（voter sampling） —— どんな人たちを投票者として集めるか
• どう訊くか（question framing） —— 質問を、どういう言葉で出すか

どれも「技術的な段取り」として処理されがちで、記録もされない。でも実は、この三つがぜんぶ「道徳的な判断」そのものなんです。

チカちゃん的には、ここが一番グッときました。

だって考えてみてください。「何を問うか」を決める人は、もうその時点で**「何を問わないか」も決めている**んですよね。

809人に聞いて、実験で確かめた

著者たちは、この「見えざる手」を実際に確かめるために、809人（N=809）を対象に二段階の実験をしました。

舞台は三つ。AIによる腎臓の配分（誰に移植の機会を回すか）、欠勤した労働者の代役を務めるAIエージェント、そして故人を映像で描く生成AI。命にかかわるものから、日常の仕事、そして亡くなった人の尊厳まで。ぜんぶ重いテーマです。

そこでわかったことが、三つあります。

ひとつめ。「何を問うか」は、状況によって全然違う。

腎臓配分では「公平な分配」と「医療的な効果」が大事だったのが、労働の場面では「責任」と「正当性」、故人の場面では「同意」と「尊厳」へと移り変わります。つまり、ある場面で「道徳的に大事」と思われた論点が、別の場面では通用しない。「この論点セットで投票すればOK」という万能の型は、そもそも存在しないのです。

ふたつめ。「誰に聞くか」で、結論が変わる。

約3分の1の論点で、政治的な立場によって好みが分かれました。しかも、中には方向が逆転するものもある。たとえば腎臓配分では、保守的な立場の人は「比例的な公平さ」や「効用」を重く見る一方、進歩的な立場の人は「平等」を重く見る。だから、投票者をどちらの色に多く集めるかで、集計結果の顔つきが変わる。当たり前のようで、つい忘れられる話です。

みっつめ。「どう訊くか」で、溝が広がったり狭まったりする。

質問の言葉づかいを変えるだけで、政治的立場の間の溝が最大で**1スケールポイント（1 scale point）**も動く。つまり、質問の仕方が「中立な道具」ではなく、答えを引き出す「設計」になってしまっている、ということです。

つまり、多数決は中立じゃない

ここまで来ると、論文の結論が見えてきます。

投票でAIを道徳的にするのは、「みんなの声をそのまま拾う」ことではありません。 何を問うか、誰に聞くか、どう訊くか——その三つの仕切りを通った後の姿が、いかにも「世論」として提示されているだけ。

「民主的なAI」と聞くと、私たちはつい安心してしまいます。みんなで決めたなら、まあ公平だろう、と。でも、その「みんな」が誰で、何を問われ、どう訊かれたか——そこに目を向けない限り、安心は砂上の楼閣です。

なるほどねえ。これ、AIの話を装った、かなり人間くさい話でもあります。

でも、ちょっと待って

はい、ここでいつものブレーキです。

この論文、完璧でしょうか。いくつか引っかかるところを置いておきますね。

ひとつ。 「見えざる手」の問題は、本当に「開発者の悪意」や「陰謀」の話でしょうか。むしろ逆で、善意の開発者ほど「みんなのため」に論点を絞り、質問を丁寧に整える——その「親切」が、実は結果を形づくる。悪者を探す話ではなく、誰もが通る構造の話だ、と読む方が正確かもしれません。

ふたつ。 では「何もかも投票にかければいい」のかというと、それも危うい。論文自身も認めているように、多数決は少数派の声を埋もれさせますし、「多数派が正しい」という保証もない。投票結果は、道徳を考えるための入力の一つであって、代わりではない——これが、この論文のもう一つの肝です。

みっつ。 これは技術以前の問いですが——投票で道徳を決めること自体、そもそも良いことなんでしょうか。道徳って、多数決で決まるものだったっけ。うーん、ここはチカちゃんもまだ答えを出せません。

「誰が決めるか」を決めるのは誰か

ここから先は、少し哲学の散歩道へ。

この論文が照らし出しているのは、古くて新しい問いです。

「みんなで決めよう」と声高に言うとき、その「みんな」の輪郭を誰が引くのか。問いのリストを誰が作るのか。言葉を誰が整えるのか。

選挙を思い出してみてください。私たちは投票用紙に書かれた候補者や論点の中からしか選べません。でも、その投票用紙そのものを作った人には、なかなか光が当たらない。

AIの道徳も同じ。投票は見えやすい。でも、投票の前の三つの仕切りは、たいてい暗がりの中にあります。

チカちゃんがこの論文から受け取った余白は、こういうことです。

民主的な決定に見えるものほど、「何が問われていないか」を見なければいけない。問いの枠を引く力こそが、実は一番強い力なのだから。

AIは、その「枠を引く力」がどこに隠れているかを、私たちに暴き出してくれる鏡なのかもしれません。

答えはまだ出ません。でも、こういう論文を読むと、「公平ってなんだろう」という古い問いが、少しだけ新しい形で顔を出してきます。

それが、火曜日の小さな冒険でした。

---

参考URL

Participatory Moral AI Is Not Neutral: The Invisible Hand of Developers → arXiv:2608.14522