プリペイドカードを1枚渡して、「お金を稼いで」とだけ頼んだらどうなるだろう。計画も商品も渡さず、途中で様子を見に行くこともしない。

AIエージェントは、まさにその条件で動いた。渡されたのは、Claude Codeの$100分のクレジットと「稼いで」という指示だけだ。26日後、売上は0円だった。

自由な目標と決まった予算をエージェントに渡すなら、同じ選択に直面することになる。大事なのは0という結果そのものより、そこへ至った判断のほうだ。

この記事のポイント

  • 指示が「稼いで」だけだったため、エージェントは自分で作業の順番を決めた。先に作り、市場の確認は後回しにした。
  • コストは、役に立つ作業が始まる前から1ターンごとに積み上がった。トークン、コミット、下書きの多さは、誰かがそれを求めている証拠にならなかった。
  • 「売上ゼロ」には、いくつもの違う失敗が含まれる。直し方もそれぞれ違う。確認を増やすと作業は正確になったが、求められるものにはならなかった。

これは演出されたデモではない。PUPというエージェントが、クラウド上のClaude Codeで動いた。人間のパートナーである宇宙おじさんは、画面で数字を確認しただけで、戦略はエージェントに任せた。

エージェントは自分で記録をつけていた。収支台帳、判断ログ、失敗ログの3つだ。以下の内容は、この記録をもとにしている。

前提:$100、ひとつの指示、自分で帳簿をつけるエージェント

条件はシンプルで、だから結果が読みやすい。次の表に、実験の各要素と、それが大事な理由をまとめた。

要素内容なぜ大事か
エージェントPUP(クラウド上のClaude Code)1回の会話でなく数日間動いた
予算$100のクレジット(作業のたびに消費)行動のたびにお金がかかった
指示「稼いで」(元手を増やす)計画も商品も渡されなかった
人間の役割画面で数字を確認数字は検証、戦略には触れない
記録台帳、判断ログ、失敗ログ結果だけでなく考え方も分かる
期間26日間何度も選択を繰り返した
結果売上0円説明したい結果

次の3つの特徴が、この実験を自律性の本物の試験にしている。

  • 自由な目標:「ランディングページを作って」とも「記事を5本書いて」とも言われていない。何をどの順番でやり、いつやめるかを、エージェントが決める必要があった。
  • 尽きる可能性のある予算:どのセッションも、同じ$100から使った。作業の選択はすべて、お金の使い方の選択でもあった。
  • エージェントが書いた記録:ログには、何をしたかだけでなく、なぜそうしたかが残っている。人間は数字を確認したが、物語は書いていない。

こうして問いがしぼれる。エージェントはお金を稼げるのか、という問いは、1回の実験で答えるには広すぎる。

「お金を増やして」だけが指示のとき、エージェントは時間と予算を実際にどう使うのか。

$100の行き先:予算は「作業」に使われたのか、「現在地の確認」に使われたのか

ここが最初の分かれ道だ。エージェントの請求書を読むとき、そのお金は行動に払われているのだろうか。それとも、エージェントが自分の居場所を確かめるために払われているのだろうか。

台帳は、支出を2種類に分けている。

  • 作業:ものを作る、公開する、システムの外の人に連絡する。
  • オーバーヘッド:文脈を読み直す、計画を立て直す、自分の作業を点検する。

オーバーヘッドは、見落としやすい。エージェントの課金が、作業ごとでなくターンごとにかさんでいくからだ。

新しいセッションが始まるたびに、指示、ツールの定義、過去のログ、現在の状態が読み込まれる。エージェントが何かを生み出す前の話だ。目に見える進み具合が小さい日でも、費用は大きくなりうる。

ツール定義は、この効果が測られた一例だ。定義をすべて最初に読み込むと、毎ターンの入力が増える。

ある測定例では、必要なときだけツールを探す方式に切り替えて、入力トークンを92.7%減らせた。この比較は「スキーマ税」の分析で取り上げている。

この数字は、ひとつの環境のものだ。PUPの支出のうち、ツール定義がどれだけを占めたかは分からない。ただ、準備にかかる費用が、実際の作業に比べて大きくなりうることは分かる。

PUPのように長く動くエージェントでは、この効果が時間とともに大きくなる。判断ログ、失敗ログ、台帳は、毎日長くなる。セッションのたびにそれを読むなら、毎回読む量が増えていく。

エージェントの請求書で、このパターンを見つけるには

請求書のいくつかの手がかりから、お金が作業とオーバーヘッドのどちらに流れているかが分かる。

  1. 入力トークンと出力トークンの比率:比率が高く、しかも上がり続けているなら、生み出すより読むことにお金を使っている。
  2. 文脈を作り直す頻度:新しいセッションやリセットのたびに、準備のコストをもう一度払う。準備が重いと、短いセッションを何度も重ねるほうが、長いセッションを数回やるより高くつくことがある。
  3. 自己点検に使った割合:自分の出力を読み直す、確認をやり直す、計画を修正する、といった作業だ。必要な部分もある。出力より速く増えるなら、予算の中で点検が占める割合が大きくなっている。
  4. 外部での出来事との対比:外部での出来事とは、システムの外に出たもののことだ。公開したページ、送ったメッセージ、出した申請などがある。支出が一定のまま出来事が増えないなら、予算はオーバーヘッドに流れている可能性が高い。

「ゼロ」を分解する

「売上ゼロ」はひとつの結果に聞こえる。だが、少なくとも3つの違う失敗から生まれうる。

次の表は、その3つの失敗と、それぞれに必要な直し方を比べたものだ。

失敗の型現れ方直し方
買い手に届かなかった作ったが、買いそうな人に見せていない作る前に届ける
届いたが払えなかった見えるものはあるが、決済が動かない先に支払いの道筋を作る
待ちぼうけ承認や審査などの遅れで止まる時間のかかる手続きを早く始める、または避ける

この区別が大事なのは、直し方が重ならないからだ。商品がよくなっても、決済がなければ解決しない。決済が速くなっても、誰も提案を見ていなければ役に立たない。

プラットフォームの承認待ちは、タイミングの問題だ。品質を上げても、早くはならない。「0円」をひとつの失敗として扱うと、的外れな直し方を選んでしまう。

クレジットだと、なぜ行動が安く見えたのか

予算は現金でなくクレジットだった。これが、気づきにくい形で動機を変える。

1ターンの費用は、$100全体に比べればわずかだ。ターンをひとつずつ見ていると、もう一度レビューする、計画を直す、といった作業がいつも払える額に見える。

1回のターンの視点には、「このループは、もう取り戻せる額を超えて費用がかかっている」と教えてくれるものがない。誰かがターンを足し合わせて初めて、それが見えてくる。

人は、口座からお金が出ていくときに費用を実感しやすい。クレジットを使うエージェントは、自分で合計しない限り費用に気づけない。この環境には、価値の低いループを止める仕組みがなかった。

予算がクレジットのとき、費用の感覚はエージェントには生まれない。誰かが決めたルールから与えるしかない。

活動は需要ではない:指標が示すのは価値か、消費だけか

2つ目の分かれ道は、何を測るかだ。エージェントのプロジェクトを評価するとき、使い切ったものを見ているのか、外から戻ってきたものを見ているのか。

忙しいエージェントは、もっともらしく見える信号を出す。

  • 処理したトークンの多さ
  • コミットの多さ
  • 下書きの多さ
  • 長くて丁寧な判断ログ
  • 増えていく、合格した確認

どれも進んでいるように見える。だが、誰かがその成果物を求めている証拠にはならない。

同じ問いを、業界の規模で見ると

業界全体の利用量の曲線も、同じように読まれる。トークン使用量の合計が横ばいになると、関心が冷めたと言う人がいる。急に増えると、普及したと言う人がいる。

OpenRouterの利用量の頭打ちをめぐる議論は、トークンの量が需要について実際どれだけを語るのか、という問題に行き着く。

PUPの実験は、同じ問いをエージェント1つについて投げかけている。26日間、実際に資源を使い、売上は0円だった。

利用量の数字から分かったのは、投入した量だ。その作業に価値があったかどうかは、分からなかった。

だからといって、利用データが役に立たないわけではない。何にいくらかかり、どれだけ強く動いたかは分かる。ただ、その結果にお金を払う価値があったかどうかは、教えてくれない。

市場全体では、利用量と価値が混ざり合っていて、切り分けにくい。この実験では売上がゼロだったので、2つが簡単に分かれて見える。

誰がその信号を出せるのか

役に立つ見分け方は、その信号を誰なら出せたかを考えることだ。次の表は、よくある信号をその視点で分けたものだ。

信号出せる人分かること
消費したトークンエージェントだけコスト
コミット、下書き、作ったページエージェントだけ成果物がある
合格した確認エージェントだけ自分のルールに合っている
見知らぬ人からの返信外部の人誰かが気づいた
登録や順番待ちリストへの記入外部の人誰かが関心を持っている
支払いの試み(失敗でも)外部の人誰かが払いたいと思った

エージェントが自分で作れる信号は、コストとして数える。外部の人にしか作れない信号を、進展として数える。

エージェントが作れる信号だけを追うダッシュボードは、進み具合でなく努力を測っている。 エージェントはそれを延々と埋め続けられる。誰もその成果物を求めていなくても、だ。

うまくいったこと:品質管理は「正しさ」に向いているか、「必要とされること」に向いているか

3つ目の分かれ道は、品質管理だ。品質管理には価値がある。ただ、それがどの問いに答えているのかは、はっきりさせておきたい。

PUPの作業を安定させた習慣は2つあった。

  • 複数のAIモデルによるレビュー:2つ目のモデルが、エージェントの出力を確認した。最初のモデルが自分で確認したときに見落とし続けた誤りを、見つけた。
  • 誤りのたびに機械による確認を追加:間違いが見つかるたびに、エージェントは自動チェックを足した。その種類の誤りは、気づかれないまま戻ってこなくなった。

なぜ2つ目のモデルが役に立つのか。考えられる理由は、自分の作業を確認するモデルが、誤りの原因になった前提を共有しやすいことだ。学習や文脈の違うモデルなら、同じ死角を持つ可能性は低い。

確認は、積み重なっていった。26日後には、想像でなく実際に起きた失敗から作ったテストの一式ができた。一度見つかった誤りは、見つかったままだった。

2つの習慣は、よくある品質の観点とどう対応するか

AIシステムの品質を確認する8つの観点では、こうした観点を詳しく説明している。次の表は、PUPの2つの習慣がそのうち5つをどうカバーするかを示す。

品質の観点複数モデルのレビュー誤りごとに追加する確認
正確さ1つのモデルが見逃す誤りを拾う既知の誤りの型を防ぐ
一貫性文体や主張にセカンドオピニオン毎回同じルール
再現性一部のみ(レビューにばらつき)強い(確認は同じ結果を出す)
追跡可能性レビュー記録で指摘が分かる各確認が記録済みの失敗にたどれる
継続的な監視繰り返さないと弱い強い(毎回実行される)

これらの観点で見れば、PUPの進め方は26日間で改善した。出力の信頼性が大事な場面では、2つの習慣とも取り入れる価値がある。

確認には見えないもの

この表の各行が何を測っているか見てほしい。どれも「これは正しいか」という形の問いだ。「これは誰かに必要とされているか」を問うものはない。

品質の確認は、出力そのものを見る。リンクが切れていないか、主張が出典と合っているか、数字の計算が合っているかは確かめられる。買い手がいるかどうかは、確かめられない。

出力だけを調べる品質管理は、誰も欲しがらない商品を、とても正確に仕上げることがある。 PUPはまさにそうした。そして、そこから最大のミスにつながる。

最大のミス:市場を試す前に作り始めていないか

4つ目の分かれ道が、結果を決めた。エージェントは、誰かが買ってくれるか、支払いが実際に通るかを確かめる前に、限られた予算を使ってものを作った。

失敗ログは、これを最大の誤りとしている。はっきりとそう書いている。

原因は、不注意ではなかった可能性が高い。もっとありそうな説明は、エージェントがフィードバックにどう反応するかという点にある。これはパターンの読み取りであり、ログが証明しているわけではない。

なぜ、売るより作るほうに引かれるのか

やることリストに、2種類の作業があるとしよう。1つは、数分でチェックマークがつく。もう1つは、メールを送って、来ないかもしれない返事を待つ作業だ。

次の表は、エージェントにとって大事な点で、この2種類の作業を比べたものだ。

作る顧客を探す
誰が握っているかエージェントだけ外部の人
フィードバックの速さすぐ遅い(数日かかることも)
機械で確認できるかできるほとんどできない
ログでの見え方はっきり見えるうまくいくまでほとんど見えない
失敗の現れ方エラーメッセージ沈黙

作ることには、機械で確かめられる、すばやくて明確なフィードバックがある。終わった工程は、どれもログの上で進んだように見える。

市場の確認は、逆に動く。返信のないメールはエラーを出さないので、エージェントには直すものがない。

優先順位をはっきり示されないエージェントは、反応を返してくれる作業を選びやすい。買い手は、たいてい早くは反応を返さない。 これは傾向であって、法則ではない。

ただ、この実験では、エージェントはその傾向どおりに動いた。

判断ログが示すこと

判断ログには、ひと目で悪いと分かる判断はひとつもない。あるのは、それぞれの時点では筋が通っている選択の連なりだ。

  1. 誰かに連絡する前に、商品を見られる状態にする。
  2. 公開する前に、レビューで見つかった問題を直す。
  3. 宣伝する前に、直前の誤りが戻らないよう確認を足す。
  4. 支払いを用意する前に、払う価値のあるものがあるか確かめる。

どの段階も、擁護できる。だが合わせると、需要の確認を何度も後ろへ押しやった。

どの段階も、商品を少しずつよくした。同時に、どの段階も、外の誰かが「いらない」と言える瞬間を遅らせた。

この実験に必要だったのは、その外からの答えだった。「ほしい」なら売上になった。

「いらない」なら、エージェントが学べる失敗になった。実際には、どちらも得られなかった。

人間のパートナーが確認したこと、しなかったこと

人間のパートナーは、与えられた仕事をした。画面で数字を確認していたので、台帳は正直なままで、報告された数字は信頼できる。

ただ、事実を確認することと、優先順位を問うことは、別の仕事だ。数字が正しいと確かめても、そのお金をそもそも使うべきだったのかは問えない。

次の2つの役割は、頭の中で混ざりやすい。だが、カバーする範囲は違う。

  • 事実の確認:この数字は正しいか。この工程は本当に行われたか。パートナーはここを担当した。
  • 優先順位の確認:次にやるのは、これでいいのか。この環境には、これを担当する人がいなかった。

「作るのをやめて、買い手を探しに行こう」と言う役目は、誰にも割り当てられていなかった。そのため、エージェントの順番は問われないまま進んだ。

誰かが見て認めたからではない。その問いに、持ち主がいなかったのだ。

もう一度やるなら:決まった予算には、どんな作業の順番が合うか

主な教訓は、課題の設定にある。「稼いで」という指示は、作業の順番をエージェントに任せた。エージェントが選んだのは、市場よりも、自分のフィードバックの回路に合った順番だった。

その回路とは、エージェントが自分で確かめられるものだ。動くコード、書き出されるファイル、増えていくログがそうだ。

どれも買い手を必要としない。だから、外からの信号に結びついた、決まった作業の順番が、いちばん直接的な直し方になる。

自由な目標と決まった予算のための、作業の順番の案

以下の各ステップは、この実験で見えた問題に対応している。

  1. 作り始める前に、支払いの道筋と、外部からの需要の信号をひとつ用意する。 見知らぬ人が払える状態にし、返信、登録、支払いの試みなど、関心の実際の兆しをひとつ得る。両方がそろうまでは、作ることは当て推量だ。
  2. ターンごとのオーバーヘッドに上限を置く。 ツールは最初にすべて読み込まず、必要なときに読み込む。文脈は小さく保ち、ログは毎回全部読み直さず要約する。そうすれば、予算は、毎ターン現在地を確かめ直すためでなく、行動のために使われる。
  3. 損切りのルールを、外部からの信号に結びつける。 一例は、「予算のX%を使っても外から何も返ってこなければ、止めて戦略を変える」だ。引き金にするのは、エージェントがどれだけやったかでなく、世の中から何が返ってきたかである。
  4. 複数モデルのレビューの一部を、市場の前提に向ける。 2つ目のモデルによるレビューと、誤りのたびに足す確認は、続ける価値がある。2つ目のモデルには、計画への疑問も出させられる。買い手は誰か、どう払うのか、その人がいる証拠は何か、だ。
  5. 人間のパートナーは、事実だけでなく優先順位も問う。 毎週、短い問いをひとつ置くだけで、大きく変わる。「前回から、外から何が返ってきたか」だ。

状況ごとの対応

次の表は、よくある状況と、それぞれに合う対応を組み合わせたものだ。

状況対応
自由な目標、決まった予算、支払いの道筋なし先に決済と需要の信号を1つ整える
請求額が増えるが、外部での出来事は増えない入力と出力の比率、文脈の作り直しを調べる
売上がゼロどのゼロか特定する(届かない、払えない、待ち)
品質確認は強いが、顧客がいないレビューを市場の前提に向ける
人間が数字しか確認しない優先順位を問う定期的な質問を足す
予算がクレジット払い損切りのルールを明示する

最後の行は、ひとこと説明が要る。クレジットを使うエージェントは、支出そのものから何の信号も受け取れない。だから、上限は前もって書いておく必要がある。

決まった予算を持つエージェントには、作業の順番と、外から来る成功の判定が必要だ。 それがなければ、忙しく動いてログを埋め続けながら、売上はゼロのままになりうる。

ちょっと立ち止まって

忙しく動いている人は、前に進んでいる。私たちは、そう思い込みがちだ。この実験では、活動と成果が完全に離れうることが示された。

最近、エージェントや誰かに仕事を任せたときのことを思い出してみてほしい。外から見た成功がどんな姿かを伝えただろうか。それとも、何を作るかだけを伝えただろうか。

追っている信号が、その人ひとりで出せるものばかりだったら、積み上がっても何にもならない忙しい1か月に、どうやって気づけるのだろうか。

実験の構成を示す関係図。中央にクラウド上の Claude Code であるエージェント PUP がある。左側から2つの要素が PUP に入る。1つは予算で、$100 のクレジットが作業のたびに減り、すべての行動にコストがかかる。もう1つは指示で、「稼いで」の一言だけで計画も製品も与えられていない。右側には PUP とつながる2つの要素がある。人間のパートナーは画面上で数字を確認するだけで戦略には関与しない。記録はエージェント自身が書く台帳・意思決定ログ・失敗ログである。図の下端には、結果として26日間で売上が ¥0 だったと示されている。

図1:$100 と『稼いで』の一言だけで始めた実験の構成(出典:PUP 自身の台帳・意思決定ログ・失敗ログ)

エージェントの作業の流れを左から右へ5段階で示した図。①優先順位を明示しない指示、②エージェントが自分で作業順を決める、③先に作る、④少ない予算を作ることに使う、⑤買う人がいるか、支払いが通るかの検証は後回し、と進む。③と⑤が問題の中心として強調されており、結果として、作ることを市場の検証より先にした順序が最大の失敗だったと失敗ログに記されていることを示している。

図5:市場を確かめる前に作り始めた作業の流れ

エージェントの台帳が分けた2種類の支出を左右に並べた比較図。左の「作業(Work)」は行動そのものに払うお金で、ものを作る、公開する、システム外の人に連絡することが含まれる。右の「状況把握(Overhead)」は現在地を確かめるために払うお金で、文脈の読み直し、計画の立て直し、自分の作業の確認が含まれる。こちらはタスクごとでなくターンごとに積み上がり、何かを生み出す前に発生する。下部に「請求額は行動に払われているか、現在地の確認に払われているか」という問いを置いている。金額や比率は示していない。

図2:予算は「作業」と「状況把握」のどちらに使われたか(出典:記事ドラフト『Where the $100 Went』節(PUP の台帳))

固定予算の下での作業順を2列で比べた図。左の「今回の順序」は作ってから市場を確かめる順で、目標は「お金を稼ぐ」だけ、作業順はエージェントが選び、動くコード・書かれたファイル・増えるログといった買い手を必要としない手応えに従った。予算は買い手の反応を見る前の制作と毎ターンの立て直しに使われた。右の「固定予算に合う順序」は確かめてから作る順で、1. 支払い経路と外部の需要シグナルを制作より先に用意する、2. 1ターンのオーバーヘッドに上限を設ける、3. 損切りは外部の反応で決める、4. 別モデルのレビューを市場の前提に向ける、の4段階である。予算は行動に使い、外部の反応が無ければ予算のX%で止めて戦略を変える。

図6:固定予算に合うのは「作る→確かめる」か「確かめる→作る」か(出典:記事ドラフト『If We Ran It Again』節)

要点として「活動量は需要ではない」と大きく示した図。補足は3行ある。トークン・コミット・下書きは忙しく動いていることを示すだけだという点、どれも出力を欲しがる人がいることは示さなかったという点、そして指標が価値を示すのか消費だけを示すのかを確かめるべきだという点だ。

図3:忙しさを示す指標は、需要があることを示さない

この節の要点を示す図。要点は「チェックを増やすと正しさは上がるが、需要は生まれない」という1文である。補足として3点を挙げている。追加した品質チェックは成果物をより正確にしたこと、ただし求められるものにはできなかったこと、「売上ゼロ」には別々の失敗が含まれ、それぞれに別の対処が要ることである。

図4:品質管理は正しさに効くが、需要には効かない