🧠

RAGの「リランキング」を10倍速くする「MixLM」

に公開2件

本記事では、RAGの応答速度を速くするための「MixLM」という手法について、ざっくり理解します。

株式会社ナレッジセンスは、「エンタープライズ企業の膨大なデータを掘り起こし、活用可能にする」プロダクトを開発しているスタートアップです。

この記事は何

この記事は、RAGで必須の手法「リランキング」の速度を飛躍的に高める「MixLM」の論文[1]について、日本語で簡単にまとめたものです。
https://arxiv.org/abs/2512.07846

今回も「そもそもRAGとは?」については、知っている前提で進みます。確認する場合は、こちらの記事もご参考下さい。

本題

ざっくりサマリー

「MixLM」は、RAGの応答を高速にするための手法です。LinkedInの研究チームによって2025年11月に公開されました。
RAGで必須の「リランキング」を10倍速くする「MixLM」

通常のRAGでは、リランキングという手法がよく使われます。これは何かというと、ベクトル検索で取ってきた文書を「ユーザーの質問との関連性」で並び替え、上位のX件をLLMに渡して、回答生成させるという仕組みです。

しかし、「リランキング」という手法は、「精度はいいけど、速度は遅い」 ことで知られています。(※遅いと言っても「数秒」ですが... 検索の世界では、「数秒」の待ち時間は、致命的な遅さです。)

そこで、MixLMという手法では、文書ソースを事前に、「リランキング用にベクトル化」して保存しておく、という提案をしています。そして、動かすときには、このベクトルと、ユーザーの質問をリランキングモデルに渡すことで、10倍以上の高速化が実現します。

問題意識

RAGでは、「リランキング」という手法が必須です。これは、一般的なRAGのベクトル検索(※Bi-Encoder)の弱点を補う手法です。

ただし、リランキングは一般的に、かなり遅いです。並べ替えるチャンクが長いほど、またチャンク数が多いほど、レスポンスが遅くなります。

例えば、有名なリランキングモデル(Cohere Rerank)では、約2,000文字のチャンク、96件を並べ替えるために、4秒弱の時間を要します[2]。これは致命的に遅いので、プロダクトでは使えません。

手法

MixLMは、RAGチャンクを、予め 「リランキング用のベクトルに変換しておく」 という手法です。これにより、精度を維持しつつ、リランキングを10倍高速にしています。

RAGで必須の「リランキング」を10倍速くする「MixLM」

【事前にやっておくこと】
通常RAGに使われる「ベクトル」とは別で、「リランキング用のベクトル」を作ります↓

  1. 「リランキング用のベクトル」を作る
    • Encoder LLM(変換器のようなイメージ)に各チャンク(数千トークン)を投入
    • 出力の最後の数トークン分のベクトルだけを保存(例:1〜2トークン)
    • (※以下、これを「リランキング用のベクトル」と呼ぶことにします)

【ユーザーが質問を入力して来たとき】

  1. 普通にベクトル検索
    • ベクトル検索(Bi-Encoder)で、参考文書を検索(ここでは例えば、候補を100チャンクくらいに絞り込む。ここは通常のRAGと同じ)
  2. 各チャンクとユーザーの質問を結合
    • 1で絞り込まれたチャンクそれぞれについて、事前に作っておいた「リランキング用のベクトル」があるので、それらとユーザーの質問を結合します
  3. 結合クエリをリランキングモデルに入れる
    • リランキングモデルに 2を投入して、スコアを出す
    • 「このチャンクはユーザーの質問に、どれくらい関連するか?」を判定

この手法のキモは、「Encoder LLM」です。人間が読むなら本来「数千トークン」あるような文章でも、LLMが理解するために圧縮すると「1-2トークン」で済むのではないか?、という発想です。

成果

  • 従来の強力なベースライン(要約テキストを使用する手法)と比較して、同じレイテンシ予算内で10.0倍のスループットを達成
  • 精度維持(フルテキストLLMとほぼ同等の精度。NDCG@10で0.02ポイント差)
  • LinkedInの求人検索で本番デプロイした結果、Daily Active Usersが0.47%向上

まとめ

弊社では普段、エンタープライズ企業向けにRAGサービスを提供しています。

エンタープライズRAGでは、回答速度と精度をどのようにバランスするか、ということが、非常に重要です。

例えば、RAGに「AIエージェント」を使うと、回答精度は上がりますが、ユーザーの待ち時間は遅くなります。

そこで最近は、「人間にとって分かりやすい文章は、LLMにとっては冗長なので、もっと圧縮してLLMに渡すべき」という研究が進んでいます。(例えば、Meta社も、「REFRAG」という同じような発想の論文を出しています)

こうした研究が進むことで、今は非常に遅い「AIエージェント」も、実はAIエージェント同士の会話であれば、一瞬で済んでしまう、という未来になりそうです。

ぜひ、みなさまが業務でRAGシステムを構築する際も、選択肢として参考にしていただければ幸いです。今後も、RAGの回答精度を上げるような工夫や研究について、記事にしていこうと思います。我々が開発しているサービスはこちら。

脚注
  1. "MixLM: High-Throughput and Effective LLM Ranking via Text-Embedding Mix-Interaction", Li et al. ↩︎

  2. https://docs.oracle.com/en-us/iaas/Content/generative-ai/benchmark-cohere-rerank-3-5.htm ↩︎

ナレッジセンス - 生成AIとRAGの実装戦略・技術ブログ

Discussion

GuoyaoLiGuoyaoLi

thanks for reposting our paper in japanese research/engineering community! And thank you for noticing the value of this paper.
If have any questions/feedback. Please feel free to let us know in our official announcement post on LinkedIn, and I'll respond for sure
日本の研究/エンジニアリングコミュニティで私たちの論文を再投稿してくださり、ありがとうございます!また、この論文の価値に気づいていただけたことにも感謝します。
ご質問やフィードバックがありましたら、LinkedInの公式発表投稿にてお気軽にお知らせください。必ず私が返信します
https://www.linkedin.com/feed/update/urn:li:activity:7404424614870691840/

1
Atsushi KadowakiAtsushi Kadowaki

Hi Guoyao. Thank you for reaching out, and I really appreciate your note. I enjoyed reading the paper and was excited to introduce it to the Japanese community.
If I come up with questions or feedback, I’ll leave them on the official LinkedIn post as you suggested.
Thanks again, and I’m looking forward to your future work.

1