Hugging FaceがPapersWithCodeを刷新、複数指標のリーダーボードと3000超のモデル評価を提供
Hugging FaceのNiels Roggeは、paperswithcode.coにてPapersWithCodeをリニューアルした。WERとRTFxを単一のテーブルに表示する複数指標のリーダーボードや、先行・後続研究を追跡する論文の系譜バナー、AIで強化されたタスクおよび手法タグをサポートし、ローンチ時点で3000件以上のTransformersモデルの評価が既に搭載されている。この3000件の評価はTransformersがサポートするすべてのモデルを網羅している。これにより開発者は、別のリーダーボードサイトを相互参照することなく、論文や元のGitHubリポジトリに直接紐づく複数指標のベンチマーク数値を検索できるようになった。
出典： huggingface.co ↗
リーダーボードは複数のメトリクスに対応するようになった。例えば、自動音声認識の Open ASR Leaderboard は Word Error Rate (WER) と Inverse Real-Time Factor (RTFx) メトリクスの両方をサポートしている
Niels Rogge, Hugging Face
なぜ重要か
- → 開発者は複数の異なるサイトを交差参照する代わりに、統一されたマルチメトリクスリーダーボードを使用してモデルを論文と比較ベンチマークできるようになった。
- → 3,000以上のプリロード済みモデル評価により、研究者は Transformers 対応モデルが公開ベンチマークでどのようなパフォーマンスを発揮するかを即座に確認できる。
- → 論文の系統追跡により前任者と後続研究が可視化され、各分野における研究の軌跡が明確になる。
研究インフラが再構築された