Liquid AI、DSparkドラフトモデルでLFM2.5推論を3.18倍高速化
Liquid AIは、3つのLFM2.5モデル向けに約3億パラメータのDSparkドラフトチェックポイントをリリースした。同社によると、H100で最大3.18倍、M4 Max MacBook Proで2.27倍（61から139トークン/秒）のスループット向上を実現し、投機的デコーディングによるgreedy出力はターゲットモデルと完全に一致するという。LFM2.5-2.6Bでは関数呼び出しのレイテンシが平均57%低下し、ノートPCでのオンデバイスなエージェントループの実行が現実味を帯びてきた。ただし、これらは同社ブログで公開されたベンダー独自のベンチマークであり、リリース初日からのllama.cppおよびSGLangサポートは現在オープンなPRとして進行中である。
出典： huggingface.co ↗
LFM2.5-2.6Bの場合、MacBookでの高速化は特に顕著だ。これは、ユーザーが享受できるインタラクティブ性のレベルを、ほとんどのプロプライエタリなクラウドモデルが提供するスループット（データセットによるが約140トークン/秒程度）をはるかに超えて押し上げるからである。
Liquid AI
なぜ重要か
- → Speculative decodingはH100で3.18倍、MacBookで2.87倍の推論レイテンシを削減し、ローカルとクラウド間の差を縮小する。
- → Function-callingはLFM2.5-2.6Bでレイテンシを57%削減し、これによりオンデバイスでのエージェントループが実現可能になる。
- → llama.cpp + SGLangの初日からのサポートにより、プロダクションスタックでの導入の障壁が低減される。
Speculative decoding、エッジに到達