数カ月に一度、誰かがまた意外な機器でDOOMを動かしてみせる。電卓、スマート冷蔵庫、オシロスコープ、さらには妊娠検査薬の表示部まで、1993年発売のこのシューティングゲームの舞台になってきた。

お決まりの問いは同じだ。この機器は、ゲームを動かせるほど高性能なのか。

DOOMFORMERは、その逆を問う。作者はHacker Newsでこう説明した。

「DOOMを何かの上で動かそうとする代わりに、DOOM(実際にはものすごくたくさんのDOOMのゲーム)を使ってトランスフォーマーを作ることにした」。ここでは、ゲームは動かされるプログラムではない。

動かす側の機械だ。

冗談で終わる話ではない。

仕事で使うAIツールの多くは、トランスフォーマー(文章などを処理するAIモデルの基本的な仕組み)の上で動いている。このプロジェクトは、その土台が実はどれほど少ないもので足りるのかを見せてくれる。

この記事のポイント

  • DOOMFORMERは、よくあるネタを逆にした。DOOMが計算機になり、その上でトランスフォーマーが動く。
  • 鍵は、古いエンジンの癖である「ブードゥー人形」だ。トリガーや上下する床・天井と組み合わせると、マップが計算を始める。
  • 必要な計算は、多数のDOOM上のゲームの仕組みでこなす。作者の見積もりでは、ふつうのやり方より約6万5,000倍遅い。

なぜDOOMは「動かされる側」から「動かす側」になるのか

ふつうのDOOM移植は、機器を試す。DOOMFORMERは、ゲームそのものを試す。DOOMに何が動かせるのか、と問うのだ。

移植が成功すれば、その機器には本物のプログラムを動かせるだけの処理能力、メモリ、画面があるとわかる。試されるのは機器で、ゲームは物差しにあたる。

DOOMFORMERでは、試される側がゲームになる。これは大胆な主張だ。

1秒に35ティック(ゲームが1回更新される単位)で悪魔を廊下に走らせるためだけに作られた仕組みから、汎用の計算を取り出せる、と言っているのだから。

次の表は、2つの考え方を比べたものだ。

ふつうのDOOM移植DOOMFORMER
DOOMの役割プログラム計算機
試されるもの機器の融通のきき方ゲームの論理で何が計算できるか
大変な部分エンジンを合わせる作業マップの仕組みから算術を組む作業
最終的な成果遊べるゲーム動くトランスフォーマー

では、なぜこれは冗談以上なのか。ゲームのルールを、命令の集まりとして扱っているからだ。 作者は、エンジンの新しいコードを書いていない。

部品はすべて、DOOMのマップがもともと持つ振る舞いから取り出した。

だからこのプロジェクトは、一見ばかげているのに、計算機に本当に必要なものがいかに少ないかを教えてくれる。

ブードゥー人形と、シューティングゲームに隠れた機械

DOOMが計算できるのは、マップとゲームのルールの仕組みのおかげだ。C言語のコードのおかげではない。作者はほとんど余談のように、「ちなみにDOOMはチューリング完全」と書いている。

それを可能にする部品が、ブードゥー人形(voodoo doll)だ。

ブードゥー人形とは

同じプレイヤーの開始地点がマップに複数あると、ブードゥー人形が現れる。

エンジンがプレイヤーの分身を余分に出すのだ。分身は自分では動けない。本物のプレイヤーの状態につながっている。

つながり方は、おおよそ次のとおりだ。

  • ダメージ:人形が傷つくと、プレイヤーの体力が減る。
  • アイテム:人形が何かを拾うと、プレイヤーが手に入れる。
  • トリガー:人形がトリガーの線をまたぐと、プレイヤーが踏んだときと同じように作動する。

マップ作者は何年も前から、プレイヤーに見えない出来事を動かすためにこれを使ってきた。

よくあるのは、閉じた部屋のベルトコンベヤーに人形を載せる仕掛けだ。人形が運ばれていくうちに、タイマーのように出来事が次々に起こる。

演出の仕掛けから計算へ

こうした部品を十分につなげると、計算機の基本部品がそろう。それぞれ、ふつうのゲーム要素に対応している。

  • 記憶:上げ下げされたセクター(マップの区画)は、何かが変えるまでそのままだ。つまり1ビットを保てる。
  • 信号:コンベヤーに乗った人形が、出来事をある場所から別の場所へ運ぶ。
  • 分岐:ドアが開いているか、床が上がっているかで、人形が届くトリガーの線が変わる。次に起こることも変わる。
  • ゲート:リフト、ドア、押しつぶす天井(クラッシャー)が、動きを止めたり通したりする。そのため、ある信号が別の信号を制御できる。
  • タイミング:コンベヤーの長さと速さが、各出来事の起こる時刻を決める。

「チューリング完全」が約束すること、しないこと

この言葉はよく誤解される。

原理的には、汎用コンピューターができる計算ならどんなものでもこなせる、という意味だ。その計算が小さく済むか、速いか、実用的かについては、何も保証しない。

もう一つ、地味だが大事な制約がある。マップには限りがあり、状態を記憶できるセクターの数も限られる。実際のコンピューターと同じで、持っているメモリが上限になる。

だから大事なのは、DOOMでそれをやるといくらかかるかだ。できるかどうかは二の次になる。DOOMFORMERが立っているのは、「できる」と「使える」のあいだである。

すべてはゲームのティックで進む

この種の計算は、ゲームが更新されたときにしか進まない。ティックとティックのあいだには何も起こらない。どの操作も、人形が動く、セクターが動く、線をまたぐといった、それぞれ時間のかかる手順でできている。

たとえば、タイマーが鳴ったときにしか動けない料理人のいる台所を考えてみよう。どんな料理も、何回鳴れば終わるかという問いになる。この制限が、数の持ち方や、各操作にかかる時間を左右する。

ゲームの仕組みでNumPyを作り直す

トランスフォーマーの大半は、数の表を相手にした、ふつうの算術だ。作者の仕事は、その算術をゲーム内の出来事で作り直すことだった。作者はこう述べている。

「基本的に、DOOMのゲームの仕組みとブードゥー人形を使い、…それを実際の演算と入れ替えて、要するにNumPyの代わりになるものを作る必要があった」。NumPyは、数値計算でよく使われるライブラリだ。

トランスフォーマーが必要とする演算

仕事の大部分を担うのは、行列の掛け算だ。そのまわりに、いくつか別の演算がある。

  • 行列の掛け算:掛けて足す手順を大量に重ねる。モデル全体で使われる。
  • ソフトマックス:アテンションで、スコアを重みに変える。指数関数と割り算が要る。
  • 層の正規化:値を安定した範囲に保つ。割り算と平方根が要る。
  • 点ごとの非線形関数:個々の値に別々にかける単純な関数。

小数のない数

最初の問題は、数をどう持つかだ。マップの仕組みには、小数を扱う浮動小数点の値がない。値は、個数、セクターの高さ、出来事が起きた回数のような、整数の量でなければならない。

この点で、機械学習の演算をあえて整数だけに限る「整数のみの量子化」に近い。

Algebraic Integer Quantization for Machine Learning Applicationsで取り上げたとおり、その世界では精度はただではない。使うたびに減っていく予算になる。

DOOMでは、この予算が特にはっきり見える。精度を1ビット増やすたびに、マップの造りもティックも増える。 粗い数なら安く済む。

ただし、モデルの答えがおかしくなり始めるところまでだ。

演算によって難しさが違う理由

数えたり動かしたりに向く演算もあれば、向かない演算もある。次の表は、各演算がトランスフォーマーで何をするか、ゲームの出来事で作りやすいか難しいかを示したものだ。

難しさの欄は、仕組みから考えた推論であり、プロジェクトが公表した数字ではない。

演算トランスフォーマーでの役目作りやすさの理由
足し算足し込み、残差接続易しい:出来事を数えるかセクターを動かす
掛けて足す行列の掛け算中程度:足し算の繰り返しになる
比較最大値、分岐中程度:人形をどちらかへ送る
指数関数ソフトマックス難しい:数えるだけでは表せない
割り算ソフトマックス、正規化難しい:手順を何度も繰り返す
平方根層の正規化難しい:手順を何度も繰り返す

プロジェクトの公開された説明には、DOOMFORMERが難しい行をどう扱うかは書かれていない。

整数だけで推論する方式では、指数関数や正規化を近似や早見表(ルックアップテーブル)で済ませるのがふつうだ。ここでもその道が理にかなう。1ステップごとにティックを使うからだ。

ただし、これは推測であり、作者が確かめたことではない。

部品から、モデル全体へ

いくつかの基本演算が確実に動けば、あとは組み合わせの問題になる。順番は単純だ。

  1. 掛けて足す手順を一定の型で繰り返し、行列の掛け算にする。
  2. 行列の掛け算にソフトマックスを足し、アテンションにする。
  3. アテンション、フィードフォワードのブロック、正規化を組み合わせ、1つの層にする。
  4. 層を積み重ね、トランスフォーマーにする。

モデルは、自分の算術がどんなハードウェアで動いているかを知らない。頼っているのは、数が十分に正しいことだけだ。DOOMでは、その「十分」の限度は、マップが払える精度で決まる。

多数のDOOMが、1つの機械として動く

DOOMFORMERは、巨大な1つのマップではない。作者は「ものすごくたくさんのDOOMのゲーム」を使っていると強調している。ゲームの1つ1つが、計算の1単位になる。

この選び方が、ほかのすべてを決める。システムは1台の機械というより、小さな作業員のチームに近くなる。だれかが、その成果を集めなければならない。

分割した計算の流れ

資料には、パイプライン(処理の流れ)の全段階までは書かれていない。それでも、算術を別々のゲームに分ける設計なら、おおよそ次のことが要る。

  1. 演算を、1つのゲームで扱える大きさの断片に分ける。
  2. 各ゲームに入力を渡す。入力はマップの状態として書き込む。
  3. 結果が落ち着くまで、ゲームにティックごとの処理を走らせる。
  4. ゲームの外から出力を読み取る。
  5. その値を、次の段階の入力として渡す。

DOOMの中で起こるのは、3だけだ。1、2、4、5は調整役の仕事で、調整はホスト上で動くふつうのコードが担う。

DOOMの仕事はどこまでで、ホストの仕事はどこからか

ゲームの中に作った計算機なら、必ず出てくる疑問がある。計算のどこまでをゲームがやり、どこからをホストがやるのか。

答えは、つなぎのコードが何をするかで変わる。

  • 値を運ぶだけなら:算術はDOOMのものだ。
  • 途中で合計、スケール調整、集約もするなら:トランスフォーマーの一部は、ふつうのプログラミング言語で動いている。

資料は、どちらなのか、どの程度なのかを述べていない。だから公平な読み方は、この調整を結果の一部として見ることだ。無視してよい配管とは見ない。

これは帳簿づけの話であり、批判ではない。ゲームの中に作った計算機には、必ずプログラムを読み込み、答えを読み出す役が要る。

大事なのは、どの算術が境界のどちら側にあるかをはっきりさせることだ。

「6万5,000倍遅い」は何を測っているのか

作者は、この結果をNumPyの代わりになるものと呼び、約「6万5,000倍遅い」と述べている。この数字は、同じ算術にたどり着く2つの道筋の比較だ。DOOM単体の速度ではない。

次の表は、1回の掛けて足す計算がどう行われるかを比べたものだ。

道筋1回の掛けて足す計算
NumPyコンパイル済みの数値コードがCPUで直接動く
DOOMFORMERティック、動く物体(エンティティ)、作動するトリガー

この比較には落とし穴がある。

それらのティックを模擬するDOOMのエンジンも、CPUの上で動いている。つまり遅くなる分は、同じハードウェアの上に、ゲームの物理とイベント処理という層を1枚はさんで、算術を通すコストだ。

6万5,000倍は、桁でいえば5桁弱の差だ。

これほど回り道をする方法として大きいのか小さいのかは、判断が分かれる。この数字だけでは、どれだけがDOOMの仕組みのせいで、どれだけが周りの調整コードのせいなのかはわからない。

仕掛けでできたトランスフォーマーは何を再現するのか

DOOMFORMERは、トランスフォーマーの抽象的な手順を、ゲームの中の物理的な出来事に置き換える。

極端な例だが、1つの単純な事実がよくわかる。モデルの振る舞いは、算術から生まれる。実行するハードウェアは関係ない。

トークンがたどる道

ふつうのモデルでは、トークン(文章を区切った単位)ごとに隠れた状態があり、層を進むにつれて変わっていく。解釈可能性の研究は、その道筋の形を調べている。

High-dimensional layer-state trajectories reveal the internal dynamics of transformer inferenceで取り上げたとおりだ。

道筋を形づくるのは、モデルの3つの部分だ。

  • アテンション:文中の別の位置の情報を混ぜ込む。
  • フィードフォワードのブロック:各位置の状態を、それぞれ単独で変換する。
  • 残差接続:前の値を先へ運び、失われないようにする。

同じ道を、ゲームの部品で

DOOMFORMERは、それらの各段階をマップ内の出来事として組み立てる。資料の説明を大まかにまとめると、対応は次のとおりだ。

トランスフォーマーの考え方DOOMFORMERでの形
トークンの道筋の1歩セクターの動き、人形、トリガーの作動
残差ストリームの値床の高さと出来事の回数
アテンションのパターンコンベヤーの振り付け

ハードウェアは関係ない、ただし条件つきで

要点は単純だ。アテンションにシリコンは要らない。設計のどこにも、GPUを必要とする部分はない。

ただし条件が1つあり、結論はそれにかかっている。ゲーム版が元のモデルと同じように振る舞うのは、数が同じになるときだけだ。

本物のモデルは、ふつう浮動小数点で計算する。高さや出来事を数えるゲームの仕掛けは、もっと粗い値で動くかもしれない。

丸め方が違えば、出力が基準のモデルからずれることがある。資料には、DOOMFORMERの出力が標準的な実装とどこまで一致するかは書かれていない。

数が一致するなら、足し算をするのがテンソルコアでも、隠し部屋のリフトでも、モデルの振る舞いは同じだ。

原理上は見える、実際には見えない

ゲームという舞台には、珍しい種類の透明さもある。ただし、ほとんど机上の話だ。

  • 原理上は:途中の値のすべてが、マップ上の場所と時間の一点を持つ。特別な道具なしに、レベルを眺めるだけでモデルの内部状態を読み取れる。
  • 実際には:システムが大きく遅いので、ほぼ理論上の話にとどまる。順伝播(入力から出力までの1回の計算)を丸ごと、セクターごとに見守る人はいないだろう。

それでも、この絵は役に立つ。隠れた状態という抽象的な考え方も、数の一つ一つが「何かが置かれている場所」「何かが動く場所」になると、つかみやすい。

常識外れの工作が教えてくれること

DOOMFORMERは、わざと実用性を捨てた工作の長い伝統に連なる。役に立つことは狙っていない。なじみのある考えのどの部分が本当に大事かを、見せてくれる。

人は、Minecraftのレッドストーン、表計算の数式、コンウェイのライフゲーム、カードゲームのルールで、動くコンピューターを作ってきた。

どれも本物のコンピューターには勝てない。それぞれが、計算機に実際に必要なものがどれほど少ないかを示している。

トランスフォーマーが必要とするもの

手ごわい場所でトランスフォーマーを動かしてみると、必要なものと、ただの習慣とが仕分けられる。

浮動小数点、ベクトル演算器、高帯域のメモリのおかげで、トランスフォーマーは速く、手頃に動く。DOOMFORMERは、それらがなくても動くことを示した。

そうした便利なものを外すと、トランスフォーマーの必要条件は短いリストに収まる。

  • 確かな算術:足し算と掛け算が、毎回同じ答えを返すこと。
  • 少数の非線形関数:正確なものが手に入らなければ、近似でよい。
  • 値を運ぶ方法:ある段階の結果を、次の段階へ届ける必要がある。
  • 時間:遅い土台の上では、1ステップごとにずっと長くかかる。

忘れやすい点だ。AIの話題の多くは、専用チップと巨大なデータセンターに集まる。

ハードウェアが決めるのは、モデルがどれだけ速く、安く動くかだ。モデルが何であるかまでは決めない。

日々の仕事への手がかり

ほとんどの読者は、ゲームエンジンの中に何かを作ることはない。それでもこのプロジェクトは、AIツールをめぐる日々の判断に持ち帰れる考え方をいくつかくれる。

  1. 計算と機械を切り分けて考える。 新しいモデルやチップの発表には、計算そのものについての主張もあれば、どれだけ速く安くできるかについての主張もある。この2つは種類が違う。
  2. 遅さは、余計な手間の大きさとして読む。 6万5,000倍という数字は、考え方が壊れているという意味ではない。1つの演算と、それを実行するハードウェアのあいだに、どれだけ余計な仕掛けがはさまっているかを示す。
  3. 精度は予算と考える。 DOOMFORMERは整数だけで動いた。これは極端な例だ。量子化したモデル(コストを下げるため、低い精度の数で動かすモデル)も、穏やかな形で同じ限界に向き合う。どちらでも、丸めと途中の合計には計画が要る。
  4. つなぎの部分を探す。 変わった計算環境では、ホストの側が仕事の一部をしていることが多い。奇抜な土台に手柄を全部渡す前に、どの部分かを知っておく価値がある。
  5. 作ることで見えるものに気づく。 きびしい制約のもとで基本の演算を組み上げると、その仕組みがわかる。親切なハードウェアで使うだけでは、その細部は隠れたままだ。

ちょっと立ち止まって

このプロジェクトのどこかで、ブードゥー人形がコンベヤーに乗って、トリガーの線を通り過ぎる。それで床が上がる。床の高さは、モデルが処理している文の中の、ある数の一部にあたる。

人形は言葉について何も知らない。床はアテンションについて何も知らない。それでも一歩ずつ、システムはトランスフォーマーの出力を作り出す。

今夜データセンターで動いているどのモデルも、見えにくいだけで同じだ。トランジスタは、人形以上に理解しているわけではない。DOOMFORMERは、部品と結果のあいだにある幾重もの層を、無視できなくしたにすぎない。

試してみたい思い込みは、これだ。理解をしている何かでできていなければ、理解のように見えることはできない、という思い込み。

あなたの仕事で、答えがすぐ返ってくるからという理由を中心に信頼しているツールは、どれだろうか。そのうちの1つが、1歩ずつ眺められるほど遅くなったら、見え方は変わるだろうか。

ボードゥー人形が生まれ、計算に使われるまでを5段階で縦に並べた流れ図。1. マップに同じプレイヤーのスタート地点を複数置く。2. エンジンがプレイヤーのコピーであるボードゥー人形を生成する。3. 人形は自分では動けず、本物のプレイヤーと連動する。たとえば人形が傷つくとプレイヤーの体力が減る。4. 人形をトリガー線、床や天井の昇降、コンベアと組み合わせる。5. 記憶・信号・分岐がそろい、DOOMのマップが計算を行う(チューリング完全)。最後の段階を強調している。図の下部には、計算の土台がエンジンのCコードではなく、マップとゲームのルールであると書いてある。

図2:ボードゥー人形とマップの仕組みで計算が成り立つ流れ(出典:作者によるHacker News投稿の説明)

DOOMFORMER の構成図。左に多数の DOOM ゲームが縦に並び、それぞれが tick ごとの処理で演算の 1 単位を担う。中央の統括役(ホスト)は双方向の矢印で各ゲームとつながり、演算を分割して入力をマップの状態として書き込み、ゲームの外から出力を読み取って次の段へ渡す。右の Transformer の計算へ矢印が伸び、各段の出力が次の段の入力になって計算が進む。下部には、DOOM の中で起きるのは tick ごとの処理だけで、分割・入力・読み出し・受け渡しはホストの通常のコードが担うという注記がある。

図3:多数のDOOMインスタンスを束ねてTransformerを動かす構成

従来のDOOM移植とDOOMFORMERを4つの観点で比べた2列の表。従来の移植は「このデバイスでDOOMは動くか?」を問い、DOOMはプログラムの役割で、試されるのはデバイスの柔軟性、難しい作業はエンジンの移植、成果は遊べるゲームである。DOOMFORMERは「DOOMの上で何が動くか?」を問い、DOOMはコンピュータの役割で、試されるのはゲームロジックで何が計算できるか、難しい作業はマップの仕組みから演算を組み立てること、成果は動作するTransformerである。

図1:従来のDOOM移植とDOOMFORMERの違い