メインコンテンツへスキップ

RAGとロングコンテキスト

    生成ai関連に手を出してるコンサルティングファームは、だいたいエージェント技術とRAGと聞いたことがある。AIエージェントの方が個人的に関心も強くてまぁまぁ書いてるけど

    もう1つのアプローチ、RAGの方も改めて理解しておかないとな状況だったので、これまでの情報も集約しつつ、このページを立てました。

    RAGってなに&なぜ

    RAG(Retrieval Augmented Generation)は、大規模言語モデル(LLM)の性能を向上させるための技術であり、LLMが回答を生成する際に、LLM自身が学習してない情報を、外部のデータベース等から取得し、それを基に回答を生成するアプローチ。
    LLMを社内業務で使ってイマイチに感じる一番の理由は、LLMが学習した一般的な知識だけでは自社固有の課題に応えないから。そこで自社データを読み込ませて使えるようにするのがRAG(外部知識検索による強化)ということ

    そして、実務におけるRAG もだいぶ進歩してきた。ザックリ概観

    LLMによるテキストのデータ拡張の分類

    Simple/Prompt-based/Retrieval-based/Hybridの4つに手法を分類したサーベイ論文。

    Long-Context(LC)とRAGの比較では、Wikipediaや物語形式のコンテキストではLCが優勢、対話形式データではRAGが有利だとか

    とはいえ、長文コンテキストLLMのベンチマークNoLiMaでは、どのLLMでもコンテキスト長が大きくなると精度が低下する傾向、それはそう。。。

    RAGで「無関係な」文書を入れると、逆に精度が上がるってのは面白い

    その他、個別技術まとめ

    ナレッジグラフを使ったアプローチ

    は少しまとめておく。直近で僕自身が使うかは別として。

    評価の仕方

    についても進展しているので最後に

    あとはRAGすることで逆に性能が落ちるテキストとか、よろしくない入力を防ぐ「ガードレール」とかRAGの実践的な使い方について

    他にも良い情報があれば適時このページに追加していく予定です

     
     
    データ利活用まわりでサービス企画してるチーフなんたらサイエンティスト。なおX/twitterもnoteも私個人の意見であり、所属する組織の見解ではありません。 ( 厂˙ω˙ )厂うぇーい …… ○┼ バタッ

    あなたへのおすすめ