HuggingFace Jobs、コマンド1つでオープンウェイトモデルのvLLM推論に対応

HuggingFace Jobsは、サポート対象の任意のオープンウェイトモデルに対し、OpenAI互換のvLLMサーバーをCLIコマンド1つで起動できるようになった。料金は分単位の課金制で、A10G利用時は1時間あたり1.50ドルとなり、テンソル並列処理によって100B以上のモデル向けにH200を2基まで拡張できる。オートスケーリング機能は備えておらず、評価、バッチ生成、セルフホスト型コーディングエージェントのバックエンド用途に適している。本番環境向けには、引き続きInference Endpointsが推奨される。

出典： huggingface.co ↗

hf jobs runは、HFインフラのためのdocker runだ。

HuggingFace Jobsドキュメント

なぜ重要か

→ 任意のモデルのvLLM推論をコマンド一つで、インフラ設定なしで起動できる。
→ 1分単位の従量課金制（A10Gの場合1時間あたり1.50ドル）により、評価やバッチジョブのコストを削減する。
→ OpenAI互換APIにより、既存のツールがコード変更なしでモデルにクエリを送信できる。

コマンド一つでモデルを提供