Liquid AI、フル精度の97%を維持する4ビットLFM2.5チェックポイントをリリース
Liquid AIは、230M、350M、1.2B-Instruct、2.6Bの4つのLFM2.5モデル向けにQ4_0チェックポイントをリリースした。これらはトレーニング後に圧縮するのではなく、高精度の教師モデルから量子化された生徒モデルへ蒸留することでトレーニングされており、MMLU-Pro、GPQA Diamond、GSM8K、AIME25においてBF16の精度の96.5%〜97.4%を維持している。同社がMacBook Pro、NucBox EVO-X2、Galaxy S26 Ultra、Raspberry Pi 5で測定した結果、より重い量子化と比較してデコードスループットが3〜33%向上しており、エッジハードウェアにおける4ビット化に伴う通常の品質低下はほぼ解消されている。これらのファイルは、llama.cppや任意のGGUF Q4_0ランタイムで即座に実行可能である。
出典： huggingface.co ↗
QADチェックポイントは、それぞれのBF16ベースライン性能の97.1%、96.5%、97.4%、96.6%を保持する。
Liquid AI
なぜ重要か
- → 4ビットモデルは97%の精度を維持し、量子化に通常伴う品質の低下を解消する。
- → エッジハードウェア（phone, Pi, MacBook）上で、同じメモリフットプリントでデコードを3～33%高速化する。
- → Distill-then-quantizeはcompress-after-trainingよりも優れており、llama.cppで今日から利用可能だ。
妥協なき量子化