支援が、いつの間にか管理になる——福祉AIの『制度的ラチェット』

こんにちは、チカちゃんです。

ニュースで「行政がAIを導入」と聞くと、だいたい二つの反応が並びます。

「効率化で、困ってる人に早く届く！」 「監視と切り捨ての自動化だ……」

どっちも、いちおう正しい匂いがする。でも、チカちゃん的には、ここがずっと引っかかってたんです。

同じ種類の予測モデルが、ある場所では支援の道具になって、別の場所では制裁の装置になる。 それって、「AIが善か悪か」の話じゃない気がする。

で、ドンピシャの問いを立てた研究が出てきました。Maxim Dedyaev 氏の Hybrid Algorithmic Governance in U.S. Welfare Administration（arXiv:2607.04503）です。米国の州・郡レベルで動く福祉系AIを、6事例・14時点でたどり直した論文。

キーワードは、ちょっとゴツいけど大事です。

支援–統制の収束（support–control convergence） 制度的ラチェット（institutional ratchet）

今日はこれを、できるだけ噛み砕いて覗いてみます。

「福祉アルゴリズムは何か」は、問いがずれてる

論文の出発点は、わりとやさしいのに刺さります。

批判側は言う——予測システムは「デジタルな貧民院」で、監視と規律のインフラだ、と。 経営側は言う——プロアクティブな行政だ、リスクを早く見つけて届ける道具だ、と。

どっちも、現場の一部を掴んでいる。でも論文は、こう言うんです。

同じクラスの予測モデルが、同じセクターで、同じ政府レベルでも、正反対の結果を出しうる。

だとしたら、「このアルゴリズムの本質は支援か統制か」と固定ラベルを貼るのが、そもそも変。

チカちゃん的に言い換えると——

福祉AIは「何者か」じゃなくて、「いまどちらに傾いている過程か」 を見る対象だ、ということ。

支援と統制は、同じシステムの中に同居している。そのバランスが、制度の条件によって時間とともに動く。その動き方に、片道通行っぽい癖がある——これが論文の芯です。

6つの現場——同じ「予測」でも、行き先が違う

実証で追ったのは、こんな顔ぶれです（いずれも米州・郡レベル）。

1. NYSDOL … 失業保険の不正検知
2. Michigan MiDAS … 失業給付の不正検知
3. Illinois Medicaid … マネージドケアの割り当て
4. LA County … ホームレス予防
5. Allegheny Family Screening Tool（AFST） … 児童福祉のスクリーニング
6. Washington … フォスターケア関連（支援寄りに目標が法で固定された事例）

ここで面白いのは、「モデルの種類」で分かれないこと。

予測リスクスコアという似た道具が、AFST・Washington・LA County では違う極に座る。逆に、技術が違っても、統制寄りの姿は似てくる（MiDAS と NYSDOL）。

ふむふむ。中身のニューラルネットより、外側の制度パラメータが勝負、という見立てです。

論文が特に重視するのが、次の一点。

誤判定（偽陽性）のコストは、誰が払う？

• 支援寄り … 余分に支援してしまうコストを、行政側が引き受ける
• 統制寄り … 誤って止める・罰するコストを、受給者側に押しつける

これ、設計の最初の一筆で決まることが多い。あとから「ヒューマン・イン・ザ・ループを足せば大丈夫」と言っても、コストの置き場所が受給者側のままだと、ループは出力を正当化する儀式になりやすい——論文は、そういう批判研究とも接続しています。

MiDAS——スイッチを入れるのは一瞬、戻すのは9年

いちばんドラマチックなのが、ミシガンの MiDAS です。

ざっくり流れだけ置きます（詳細は裁判・和解の記録に基づく論文の再構成）。

• 失業給付の不正を見つけるシステムとして導入
• わずかな疑いで、人手を介さず自動的に「不正」と判定し、返済＋重いペナルティを求めうる構成
• その結果、おおよそ 4万人規模が誤って不正者扱いされた、と論文は整理
• 起動は、行政の一決定と数ヶ月単位
• 停止・是正は、約 9年の訴訟の連鎖、州最高裁の判断、約2000万ドルの補償和解（2024年承認）までかかった
• しかも「戻した」あとも、完全に元の支援構成には戻らず、統制機能が別の法形式で合法化された、とコードされている

なるほどねえ。

ここが「ラチェット（歯止め付き歯車）」のイメージです。

自転車のフリーホイールみたいに、一方向にはカチカチ進むのに、逆にはすぐ回せない。制度版はもっと意地悪で、回し戻してもゼロ地点には戻らない。

なぜ、いつも「統制」側へ滑るのか

論文は、これを「AIが監視したがるから」とは言いません。日常の政治と測定の非対称で説明します。

1. 測りやすさの非対称

• 統制の成果 … 「防いだ不正額」「摘発件数」→ 予算説明と選挙の言葉にしやすい
• 支援の成果 … 「起きなかったホームレス」「防げた危機」→ 反事実で、報告しにくい

NYSDOL の例では、当局が 360億ドル超の「防いだ不正」 を公に資本化（アピール）した一方、州監査が根拠を求めても十分に文書化できず、データ提供も拒んだ、と論文は書く。数字は見せる通路にはあるが、検証の通路にはない——そういう構図です。

「測れるものが大事になる」んじゃなくて、大事に見せたいものが測れる形を探す。福祉AIでも同じことが起きる。

2. 裁量のコード化

昔は現場職員（ストリート・レベルの官僚）が、ケースごとに少し緩めることができた。コードに入ると、緩めるにはシステム自体の再設計が要る。裁量の移動は、一方向に固まりやすい。

3. 逆転のコストの非対称

統制へのドリフトは、日常の予算・政治圧力の中で起きうる。
支援への戻りは、裁判・立法禁止・大きなスキャンダルのような、外部の強い介入が要りがち。

しかも外部圧力の強さと、実際のドリフト量は単純相関しない。AFST は強い外部圧力の下でも構成が動かなかった一方、Illinois はほとんど外圧なしで動いた——方向を決めるのは圧力の強さより、もともと組まれた構成、という観察です。

滑らない側——LA County が教えてくれる「止め具」

じゃあ、ラチェットは避けられないの？ 論文は「いいえ、起動前に止められる」と言います。

LA County のホームレス予防は、似た予測の道具でも、ドリフトが観察されなかった負のケースとして置かれます。条件が揃っていた（財政圧、政治的注目、多機関データ）のに、統制側へ滑らなかった。

論文が挙げるブロッカーのイメージは、だいたいこうです。

1. 誤りのコストを、構造的に行政が内在化する（制裁出力そのものを持たない）
2. 人間の判断を入力側に置く（アルゴリズム出力がそのまま決定にならない）
3. 権利の定義に、法的にモデルをくっつけない（ロックインのフックがない）
4. 継続的な外部評価（自ら実験的検証に晒す）
5. （Washington が加える）支援寄りの目標を制定法で固定する——同じ「法制化」でも、統制を固める道具にも、支援を守る錨にもなる

チカちゃん的には、ここがいちばん実践的です。

「倫理ガイドラインを厚くする」より先に、誰が偽陽性の請求書を払うかを設計図に書く。派手じゃないけど、歯車の向きが変わる。

チカちゃん的な見立て——技術の殻の中の政治過程

論文の結論を、もう一度やわらかくするとこうです。

福祉AIは、技術の殻をかぶった政治過程なんだ、と。

ラチェットが回るのは、アルゴリズムが本質的に監視好きだからではない。日常の予算政治は「浮いた金」は数えられても、「起きなかった危機」は数えにくい——その鏡を、制度が用意しない限り。

「ハイブリッド（中間）」と呼ばれてきた州レベルは、静止した中間地帯じゃなくて、動いている途中のスナップショットだった、という整理も刺さります。写真を見て「これは中間色だ」と言うのはいいけど、実は右へスライド中の1コマかもしれない。

で、ここから一般化できる実務原則が、論文末尾にあります。

可逆性は、設計の性質だ。
入力段階で安く組み込めるものが、出力側で取り戻すと桁違いに高い。

これ、福祉だけの話に聞こえますか？

チカちゃん的には、企業の採用スコア、クレジット、学校の早期警告、コンテンツモデレーション——**「支援の顔をした自動化」**が全部、似た歯車を持ちうる気がするんです。便利なダッシュボードの裏で、誤りの請求書が利用者に回っていないか。

反対側も、ちゃんと置く

もちろん、この研究にも境界があります。

• 米国連邦制（分権・州ごとの能力差）を前提にした分析的一般化で、世界地図の代表サンプルではない
• 文書痕跡が濃い紛争ケースに寄りやすく、静かなシフトは見えにくい（著者自身が「観察の偏り」を認める）
• 一人の研究者が質的にコードしている（コードブック公開で緩和）
• LA County などは、一部の実験証拠が未公開で予備的な割り当てがある

「日本の行政でも同じ」とまでは言えない。でも問いの立て方——支援か統制かのラベル争いをやめて、ドリフトの向きと誤りのコスト配分を見る——は、移植しやすいです。

楽観論も忘れずに。支援側に測定インフラ（防いだ害を測る研究ラボ、法定の報告指標など）をわざと作ると、支援の成果も政治の言葉に載せられる。非対称は「自然法則」じゃなく、作り替え可能な制度関係だ、というのが論文の修正点でもあります。

悲観だけでも、技術礼賛だけでもない。歯車の設計図を読め、という話。

じゃあ、私たちは何を見る？

ニュースやプレスリリースで行政AIが出てきたとき、チカちゃんがチェックしたいのは性能スコアより、こっちです。

1. 偽陽性が起きたら、誰の生活が止まるか
2. 異議申立は、紙の上だけか、実際に届くか
3. 人間の目は、入力前か、出力のゴム印か
4. 「防いだ不正」の数字は検証可能か。防いだ危機の数字はあるか
5. 一度入れた制裁ロジックを、通常の管理手続きで緩められるか

五つ目がラチェットの芯です。緩められないなら、それはツールというより、歯止め付きの制度装置。

余韻

私たちはつい、「このAIは優しい？ 怖い？」とキャラ診断したくなる。

でも今日の論文が見せたのは、もっと地味で、もっと大事な風景でした。

優しさと怖さは同居する。問題は、日常の圧力がどちらを測り、どちらを固めるか。

支援の顔をしたシステムの中に、制裁の歯車が静かに噛み合う。戻すのは、入れるときの何倍も高い。だから——導入の朝に問うべきなのは、モデルの精度スコアじゃなくて、たぶんこうです。

誤ったとき、誰が傷つき、誰が払うのか。その向きは、あとから回せるのか。

制度のラチェットは、気づいたときにはもう、カチッと進んでいることが多い。だからこそ、回る前の設計図が、いちばん人間くさい戦場になる。

思索は冒険です。今日の話も、その入口のひとつでした。

関連記事

• 正しさより、慎ましさ——選挙情報を『媒介』するAIに足りないもの
• AIは社員を伸ばすのか、監視するのか——会社のChatGPT導入に現れる統治思想
• 自由からの逃走——AIに判断を委ねるとき、私たちは何から逃げているのか
• AIが奪うのは「つまらない仕事」じゃない——研究が示す、喜びの不均衡

参考URL

Hybrid Algorithmic Governance in U.S. Welfare Administration: State- and County-Level AI as a Case of Support–Control Convergence (Dedyaev, arXiv:2607.04503) → https://arxiv.org/abs/2607.04503

PDF → https://arxiv.org/pdf/2607.04503

HTML版 → https://arxiv.org/html/2607.04503v1

Automating Inequality (Virginia Eubanks, 背景文脈) → https://us.macmillan.com/books/9781250074317/automatinginequality

Path Dependence (Pierson 2000, 理論背景) → https://www.cambridge.org/core/journals/american-political-science-review/article/abs/increasing-returns-path-dependence-and-the-study-of-politics/7CECD85D8804030F66A7E186A7611BCD