Sentence Transformers v6.0、ColBERTスタイル検索向けMultiVectorEncoderをリリース
Sentence Transformers v6.0にMultiVectorEncoderが追加された。これはドキュメントを1つのembeddingに圧縮するのではなく、トークンごとに1つのベクトルを保持し、PyLateやStanford ColBERTの任意のチェックポイントを直接読み込むことができる。その優位性は確かだがわずかだ。NanoBEIRにおいて、同じモデルサイズでDenseOnのNDCG@10が平均0.6764であったのに対し、LateOnは平均0.6868を記録し、13件のデータセット中9件で上回った。コストとなるのはインデックスサイズである。4,874件のパッセージが608,414個のトークンベクトル（311.5MB）となり、denseインデックスの約42倍に膨れ上がる。そのため、実運用にはトークンプーリングやPLAID圧縮の導入が不可欠となる。
出典： huggingface.co ↗
脚の違う緑色のソファは、実際に求めたものに近い場所に置かれることになる。
Sentence Transformers v6.0 ドキュメント
なぜ重要か
- → Late interaction retrievalはトークンレベルのマッチングを維持し、完全一致およびmにおいてシングルベクトルモデルを上回る。
- → インデックスサイズは非圧縮時で約42倍に増加するが、PLAID quantizationを用いることで競争力のあるレベルまで圧縮される。
- → 統合APIは、PyLate、ColBERT、およびColPaliのチェックポイントをフォーマット変換なしで相互に読み込む。
Denseに競合が現れる