Sentence Transformers v6.0、ColBERT型Retriever学習用MultiVectorEncoderを追加
Sentence Transformers v6.0がLate Interaction検索向けのMultiVectorEncoderを提供開始した。Tom AarsenによるHugging Faceのガイドでは、モデル、データセット、損失関数、評価器、そしてトークンプーリングと量子化によるインデックス圧縮に至るまでの全手順を解説している。同氏がファインチューニングした「mLateOn-medical」は、MIRIAD 200k医療ベンチマークにおいてNDCG@10で0.9139を達成した。これは最強のゼロショットモデルを約0.062上回り、Rank-1精度は75.8%から84.9%に向上している。単一のRTX 3090を用いて14.5時間で学習されており、ドメイン特化型Retrieverの構築は今やコンシューマー向けGPU1基で一晩で完了する作業となった。さらに注目すべき発見は、アーキテクチャではなくドキュメントの切り捨てが性能を左右するという点だ。公開されているチェックポイントに組み込まれた180〜512トークンの上限は、平均941トークンのパッセージにおいてNDCG@10を最大0.24低下させている。
出典： huggingface.co ↗
私の医療評価で、平均941トークンのパッセージを使ったところ、この切り捨てが最大0.24 NDCG@10のコストを招くことが測定された。これはモデルアーキテクチャ間のいかなる違いよりもはるかに大きい。
Tom Aarsen, Hugging Face
なぜ重要か
- → Domain retrievers は今や1つのコンシューマー向けGPUで一晩で訓練でき、あらゆる組織にとって専門的な検索を実用的なものにしている。
- → ドキュメントの切り捨て（アーキテクチャではない）が性能を左右し、リリースされたモデルは長いパッセージの70%を密かに破棄している。
- → トークンレベルのマッチングは、シングルベクター圧縮では平均化されてしまうきめ細かい信号を保持する。
切り捨て、アーキテクチャではない