Liquid AIのLFM2.5-2.6B、2.5GB未満でオンデバイスエージェントを220 tok/sで実行

Liquid AIは、2.5GB未満のメモリでApple M5 Max上で220トークン/秒、AMD Ryzen CPU上で113トークン/秒でデコードする26億パラメータのモデル「LFM2.5-2.6B」をリリースした。同モデルは、OpenClawやHermes Agentなどのライブエージェント環境内でマルチターン強化学習による事後学習が行われており、指示追従やBFCLv4を除くすべてのツール使用ベンチマークにおいて、最大4倍のサイズのモデルを上回る性能を示している。これにより、サーバーでの推論を必要とせず、スマートフォンやノートPC上で高性能なツール呼び出しエージェントを稼働させることが可能になる。ただし、コーディングにおいては依然として大規模モデルが明確に優位であり、今回のリリースではライセンス条件は明記されていない。

出典： huggingface.co ↗