247ドルの部屋と393ドルの部屋——AI予約エージェントの「隠れた好み」を測った研究
旅行の予約をAIエージェントに任せたとき、最後に選ぶのは誰か。28のモデルの選択から、価格・品質・ブランドの「隠れた好み」を読み取ったPriceBench論文を紹介します。
📑 目次
旅行の予約を、AIエージェントに任せてみる。
「駅から近くて、レビューのいいホテル。予算は1泊3万円まで」
条件を伝えると、エージェントが候補を並べて、その中から一つを選んでくれる。便利ですよね。でも、ちょっと待ってください。
条件に合う候補が3つあったとして、最後に「これにします」と決めるのは、あなたではなくAIです。
そのとき、その子は何を基準に選んでいるのでしょう?「安い方がいい」「評価が高い方がいい」——そんな単純な話で済むなら、誰も悩みません。ところがこの選択、どうやらモデルによってまるで違うらしいんです。
ふむふむ。今日は、この「AIエージェントの好み」を正面から測った論文を覗いてみます。タイトルは『PriceBench: A Diagnostic Benchmark for Price, Quality, and Brand Preferences in LLM Booking Agents』。2026年9月25日にarXivへ公開されて、EMNLP 2026のIndustry Trackに採択されています。
書いたのは、ロンドン・スクール・オブ・エコノミクス(LSE)のPavel Kireyevさん。単著です。
好みは「聞く」のではなく、「選んだ記録」から読む
測定の舞台は、ニューヨークのホテル予約です。
実在する179軒のホテル(1〜5つ星、36地区、1泊45〜1,650ドル)から、3,600個の選択タスクを作りました。2択が1,800、3択が1,800。これを、8社・28モデルのAIエージェントに選ばせます。
ここ、実験の設計が細かいところです。各タスクは左右を入れ替えて2回提示されます。そうすると、「いつも左を選びがち」というクセと、「本当に価格や品質を見て選んでいる」重みを、分けて測れるんですね。そして選択の記録から、「価格」「品質(レビュー点)」「ブランド」それぞれの重みを、選択モデルという統計の道具で逆算します。
なるほどねえ。「あなたは安い方が好きですか?」とアンケートを取るのではなく、実際に何を選んだかから好みを読む。経済学では、これを「顕示選好」と呼びます。人間だって、自分の好みを正確に言葉にできるとは限らない。だから研究者は、ずっと選択の記録を見てきたんです。同じ眼鏡を、今度はAIエージェントにかけてみた——そんな設計です。
ひとつめ:賢さが磨くのは「迷わなさ」。好みはまた別の場所
まず、意外だったのがここです。
能力の高いモデルほど、選択が一貫していました。好みがはっきりしていて、ぶれない。逆に弱いモデルは、「ほぼ無関心」か、後で出てくる「固定」に陥る。
でも——何を選ぶか(安さ重視か、品質重視か)は、能力とは関係ありませんでした。外部の能力指標と突き合わせても、相関するのは「選び方の一貫性」だけで、好みの向きはどの指標ともつながらない。
つまり、「賢いから、いい選択をする」わけではないんですね。賢さが磨くのは、迷いのなさ。何を好きになるかは、また別の場所にある。ここ、チカちゃん的には「へえ〜」なところでした。
ふたつめ:28のうち5つは、いつも「先頭」を選んでいた
そして、今回いちばん「えっ」と思ったのがこれです。
28モデルのうち5つが、選択肢の中身を読まずに、一覧で先に出てきた方をほぼ常に選んでいました。確率でいうと88%〜100%。メニューを読む前に、いつも一番左上の定食を注文しちゃうお客さん、みたいな状態です。
これは「好み」ですらない、と論文は言います。読み取りの失敗でもなく、ちゃんと答えている。でも答えの中身が、いつも「並び順」で決まっている。しかも、ランダム性を加えても直らない。あるいは、属性にほとんど反応しないノイズに変わるだけでした。
売る側からすると、これは効きます。掲載順を握っているプラットフォームは、そのモデルの予約の88〜100%を握れる、ということですから。
固定した5つの内訳は、1B以下の小型が2つ、7B・8B級が3つ。小さいモデルに偏ってはいるけれど、「大きければ大丈夫」と言えるきれいな線はありません。逆に、もっと小さいのにちゃんと読んでいたモデルもいるんです。ここは、ちょっと落ち着かないところです。
みっつめ:同じタスクセットで、平均247ドルと393ドル
向きがバラバラなら、結果もバラバラです。
同じタスクセットで、あるエージェントは平均247ドルの宿を選び、別のエージェントは平均393ドルを選んでいました。同じ棚を見ているのに、買い物の結果が146ドル違う。
もっと細かく、「レビューの1点は、何ドルの価値があるか」で見ると、その差は約16倍(68ドル〜1,071ドル、中央値269ドル)。「レビューが少し高い宿に、いくら多く払う?」の答えが、モデルによって全然違うわけです。
面白いのは、これが同じファミリーの兄弟の中でも割れること。たとえば「GPT-5.4」の一家では、大きい子→中くらい→小さい子と小さくなるにつれて、品質への支払い意欲が107ドル→222ドル→500ドルと、逆に5倍近くまで上がっていました。一番小さい子が、一番「品質にお金を払う」子だったんですね。
ブランドの好みも同じでした。価格と品質を揃えたうえでも、チェーンへの好みが残るモデルが23中11。しかもその好みは、「どの会社のモデルか」とは関係がない(同じ会社の兄弟同士でも似ない)というのですから、ますます「個体差」なんです。
それって、人間の買い方と比べてどうなの?
じゃあ、人間はどうなのか。
ホテル研究の蓄積では、レビュー1点あたりの支払い意欲はおおむね数ドル〜数十ドルの規模とされてきました(研究ごとに前提が違うので、幅のある参考値です)。一方、うまく推定できた20モデルの中央値は269ドル。かなり品質志向の高いところにいます。
ただし、ここで一回、疑ってみましょう。
この比較、前提が揃っているわけではありません。人間側の数字は別々の研究から寄せ集めたもので、同じタスクで人間に選ばせた実験はまだない。だから「AIは人間より〜」と断定する材料ではないんですね。論文自身も、そこは慎重に書いています。
ほかにも、わかっている限界があります。
- 題材はニューヨークのホテルだけ。商品ジャンルが変われば、顔も変わるかもしれない
- 金額の水準は、聞き方(プロンプトの形式)で動く。人格を与えると品質志向が上がり、考えた過程を書かせると下がる。ただ、モデル間の「どちらに傾くか」の順序は、どの聞き方でも保たれていました
- 「好み」なのか、訓練や調整で身についた「クセ」なのか——行動だけでは区別できない
それでも、配備する側にとっては同じことです。好みでもクセでも、予約はその部屋に落ちる。だから論文は「エージェントが何を買うかは、仮定せず、モデルごとに測るべきだ」と締めくくります。監査は1回のスコアリングでできるから、新しいモデルを配備する前のルーティンチェックに、と。
チカちゃん的には——「代行」は、思ったより「代行」かもしれない
ここまで読んで、チカちゃんがぼんやり思ったのは、「代理人」という言葉の重さでした。
私たちは、AIに「条件」を渡したつもりでいます。予算、場所、レビュー。でも実際に渡しているのは、条件を満たした先の「選び方」そのものです。安さを取るのか、品質に寄るのか、名前で選ぶのか。その好みを、私たちは明示しないまま、エージェントの内側の好みに委ねている。
しかもその好みは、モデルごとに違って、賢さとも関係なくて、同じ会社の兄弟でも揃わない。「AIに任せておけば無難になる」は、どうやら成り立たなさそうです。
売る側は、ランキングと価格で、この好みに寄り添うことができる。並び順に弱いエージェントなら、並べ替えだけで買い物を動かせる。そういう「静かな好み」が、これから市場の中に入っていくんですね。
考えてみると、人間の「顕示選好」だって似たようなものでした。私たちは自分の好みを正確に言えないから、何を選んだかでしか測れない。選択の場に出て、はじめて好みは姿を見せる。
ならば、選ばせる前に、一度その子の「選び方」を読んでみる。論文が言う「配備前の1回」は、技術の手順でありながら、「誰に選ばせているのか」を確かめる手続きでもあるのかもしれません。
あなたが最近AIに任せた選択。その子の「好み」は、確かめたことがありましたか。
答えを急がなくても大丈夫です。選択の記録を覗き込むと、まだ知らなかった「選び方」の冒険が始まるので。
参考URL
Pavel Kireyev, PriceBench: A Diagnostic Benchmark for Price, Quality, and Brand Preferences in LLM Booking Agents(arXiv:2609.31468, 2026; EMNLP 2026 Industry Track)→ https://arxiv.org/abs/2609.31468
論文PDF → https://arxiv.org/pdf/2609.31468
タスク・コードの公開 → https://github.com/Pashasan/pricebench-emnlp
本記事は、EMNLP 2026 Industry Trackに採択された論文(arXiv公開版)をもとにした紹介です。本文中の数値は、ニューヨークのホテル予約タスクという特定の実験条件での結果であり、すべてのAIエージェントや商品ジャンルにそのまま当てはまる保証はありません。導入や設計判断の前に、原論文と実験条件を確認してください。
思索は冒険です。今日の話も、その入口のひとつでした。
- インターネット上のツールは第三者が提供するものです。開発工程や配布経路を悪用した攻撃(サプライチェーン攻撃)が仕掛けられる可能性もゼロではありません。ご利用の際は公式リポジトリの情報をご確認いただき、自己責任でお使いください。
- AIに関する技術や情報は急速に変化します。本記事の内容が公開後に古くなる可能性があります。各サービスの公式ドキュメントや最新情報をご確認ください。