pxpipe、静的コンテキストのPNG化でトークンコスト59〜70%削減

Steven Chongが開発したオープンソースのローカルproxy「pxpipe」は、システムプロンプトやツール仕様書、過去のチャット履歴といった静的なコンテキストを単一の高密度なPNG画像に変換する。Anthropicは文字数ではなくピクセルサイズで画像の課金を行うため、これにより約25,000テキストトークンが約2,700画像トークンへと圧縮される。開発者はFable 5やGPT 5.6のセッションを同proxy経由でルーティングすることで、平均59〜70%のコスト削減が可能だ（あるデモでは42.21ドルから6.06ドルへ低下）。ただし、ハッシュ値のような正確な文字列が文字化けするリスクや、ビジョンエンコーダーの処理による遅延といった代償を伴う。

出典： the-decoder.com ↗

テキストは1文字あたりおよそ1トークンかかるが、画像は含まれるテキストの量にかかわらず、そのピクセル寸法に基づいて固定数のトークンがかかる。

the-decoder.com

なぜ重要か

→ 画像トークンの裁定取引によりLLM APIコストを59〜70%削減する。
→ 密度の高い静的コンテンツ向けにAnthropicのピクセルベースの料金モデルを悪用する。
→ 大幅なコスト削減と引き換えに、精度が低下し、推論が遅くなるトレードオフだ。

トークンよりもピクセルだ