ZML、5種のチップファミリでオープンソースLLMを実行可能な無料推論サーバをリリース

パリを拠点とする従業員20人のスタートアップZMLが提供する「ZML/LLMD」は、無料（オープンソースではない）の推論サーバであり、NVIDIA、AMD、Google TPU、Apple Metal、Intel Arcをまたいで単一のサーバからオープンソースモデルを実行できる。開発者は単一ベンダーのGPUスタックに依存せず、複数ベンダーが混在する環境でLLMを提供できるようになる。ただし、同社は最高性能の主張を裏付けるベンチマーク数値を公開していない。

出典： techcrunch.com ↗