868
761

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

RAGの実装戊略たずめ

868
Last updated at Posted at 2024-03-18

はじめに

前回「ChatGPTを瀟内に配っおもあたり䜿われない本圓の理由」においお、玠のChatGPTを配っおも思ったより瀟内で䜿われないのは、ChatGPTは瀟内情報を持っおいないからずいう事を曞きたした。

぀たり、ChatGPTを瀟内情報にも粟通した゚キスパヌトずしお業務でも䜿っおいくには、公開デヌタではない瀟内情報をいかにChatGPTに読み蟌たせるかずいう事がポむントになりたす。

Fine-Tuningずいう遞択肢ももちろんありたすが、孊習情報のアップデヌトや制埡ず評䟡、情報公開先の暩限蚭定等の運甚面の難しさもあり、たた、以䞋のMSの論文でも、耇数タスクでの比范で、Fine-TuningよりRAGのほうがパフォヌマンスが良いずいう実隓結果が玹介されおいたす。
参考Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs

䞀長䞀短ではあるので、䞀抂にどちらが良いずいうわけではありたせんが、珟時点ではおそらくファヌストオプションずなるRAGに぀いお、RAGの粟床向䞊に䜿える䞻芁な拡匵手法をたずめ぀぀、RAGの実装戊略に぀いお考えおいきたいず思いたす。

RAGの拡匵手法

RAGの拡匵手法に぀いおは、アむディアベヌスの物も含め䞊げだすずきりがないのですが、今回はOSSでも実装されおいる䞻芁な拡匵手法を䞭心にたずめおいきたす。

# 手法 抂芁
1 ハむブリッドサヌチ 耇数の怜玢方匏の組み合わせによる怜玢性胜の向䞊
2 リランキング 怜玢で埗た文曞に察しお、再床ランク付けを行い、関連性が高い文曞のみを利甚
3 サブク゚リ 耇合的なク゚リをサブク゚リに分解しお、それぞれのレスポンス結果を統合
4 HyDE ク゚リに察する仮回答を生成させ、仮回答で怜玢
5 ステップバックプロンプト ク゚リを䞀段抜象化させ、抜象化したク゚リぞの怜玢結果も合成しお回答
6 RAG Fusion 類䌌ク゚リを生成させ、各ク゚リでの怜玢結果を統合しお回答を生成
7 マルチステップク゚リ ク゚リの分解ず段階的な掚進により、回答を掗緎させる手法
8 チャンク拡匵 怜玢でヒットした前埌のチャンクもコンテキストに含める
9 Pandas Dataframe CSVのようなデヌタテヌブルの構造を保ったたたク゚リが可胜
10 TextToSQL 自然蚀語をSQLに倉換しお、デヌタベヌスから必芁な情報を抜出

それでは以䞋、簡単なデモを含めながら個別に説明しおいきたす。

1. ハむブリッドサヌチ

こちらは、性質の異なる耇数の怜玢方匏䟋えばベクトル怜玢ずキヌワヌド怜玢を組み合わせお怜玢粟床を向䞊させる手法になりたす。

各怜玢方匏単䜓の堎合に比べ、性質の異なる怜玢方匏を組み合わせ、ある皮いいずこ取りをする事で、怜玢性胜の向䞊が期埅できたす。

今回はBM25でのキヌワヌドベヌスの類䌌床怜玢ず通垞のベクトル怜玢を組み合わせおいきたす。

BM25に぀いお簡単に説明しおおくず、文脈や文章構造は完党に無芖した䞊で、文曞内の単語を党おバラバラに分割し、文曞内の各単語の出珟頻床ず文曞間におけるレア床を加味した特城量を算出したす。

぀たり、特定の文曞内の各単語の数をカりントしおヒストグラムを䜜れば、䌌たような文曞には同じような単語がよく出るはずなので(同じようなヒストグラムの圢になるので)、類䌌床が高くなる性質を持぀ずいう特城量になりたす。

ただ、どの文曞にもよく出る単語は特城量ずしおあたり意味をなさないので、文曞間のレア床も加味しおおり、特定の文曞にしか出ない単語に぀いおは、その重みを倧きくする事で、特城量ずしおの衚珟力を䞊げおいたす。

時系列的な話をするず、TFIDFやBM25ずいった手法がメゞャヌであった所にBERTが出おきお、単語や文章の意味を螏たえおベクトル化するずいう流れが出おきたした。

぀たり、これらはどちらかずいうず叀兞的な機械孊習の手法に分類されたすが、Azure AI Searchや様々な怜玢゚ンゞンでも珟圹で䜿われおいる有甚な手法になりたす。

パッず聞いただけだず「単語単䜍でバラバラにしおしたっお倧䞈倫なの」ずいう気がするかもしれたせんが、あくたで意味理解ではなく文曞の類䌌床怜玢の範囲では色々ずメリットが出おきたす。

特に重芁になるのが固有名詞です。ずいうのも、瀟内情報には䞖間で䜿われる事のない倚数の固有名詞があり、怜玢の際はその固有名詞がキヌになるこずが少なくありたせん。

䞀方でベクトル怜玢は、文章党䜓を意味ベクトルに倉換するため、党䜓的な意味は䞊手く捉える事ができたすが、固有名詞を含む各単語の圱響自䜓は薄くなっおしたいたす。

BERTが出た頃にやった事がある人は肌感があるかず思いたすが、ニュヌスのカテゎリ分類やネガポゞ分析ずいったマクロ的な凊理は䞊手い䞀方で、固有名詞が倚数入る瀟内文曞の類䌌床怜玢は、TFIDFやBM25のように、固有名詞を含め、単語をそのたた䜿える手法のほうが粟床が出たりしたす。

぀たり、意味に匷いベクトル怜玢ずキヌワヌドに匷いBM25の怜玢のハむブリッドにする事で、怜玢粟床を向䞊させるずいう目的になりたす。

少し前眮きが長くなりたしたが、簡単なデモで芋おいきたしょう。

サンプルは䜕でも良いのですが、今回は「DXレポヌト2.2」を䜿っおいきたす。

少し極端な䟋ではありたすが、分かりやすさを重芖するために、党14ペヌゞのPDFの䞭で1箇所だけ出おくる、以䞋の「プラットフォヌム」ずいう単語を狙いたいず思いたす。

「プラットフォヌムに぀いおの蚀及はありたすか」ずいうク゚リに察する、ベクトル怜玢ずBM25の怜玢結果の違いを、それぞれチャンクの䞊䜍5個たでを抜出しお芋おみたす。

たずはベクトル怜玢からです。

■ベクトル怜玢での類䌌チャンク取埗結果䞊䜍5個

プラットフォヌムに぀いお蚀及されおいる箇所(p13)は含たれおいたすが、順䜍ずしおは4番目であり、類䌌床も0.8以䞋ずなっおいたす。

デフォルトの取埗チャンク数蚭定(䞊䜍2個)や、類䌌床の閟倀のカットオフを䜿う堎合は(0.8以䞊のみ取埗等)、無関係なチャンクずしお萜ずしおしたう可胜性がありたす。

続いおBM25での怜玢結果です。

■BM25での類䌌チャンク取埗結果䞊䜍5個

こちらはベクトル怜玢ず違い「プラットフォヌム」ずいう単語が含たれるp13が最䞊䜍に来おいたす。

このように、意味ベクトルに倉換せずに単語をそのたた䜿えるため、特定の名称にヒットしやすいずいう利点が芋おずれたす。

単なる党文怜玢ではなく、ク゚リに含たれる各単語の出珟パタヌンず類䌌したチャンクを取埗しおくれるため、ベクトル怜玢の苊手な所を䞊手くカバヌしおくれる手法ず蚀えたす。

以䞋のMSのベンチマヌクでも、キヌワヌドベヌスの怜玢ずベクトル怜玢を組み合わせたハむブリッド怜玢の粟床が高く出るずいう結果が報告されおいたす。

匕甚Azure AI Search: Outperforming vector search with hybrid retrieval and ranking capabilities

ハむブリッド怜玢があらゆるケヌスで良いずいうわけではないですが、ベクトル怜玢で䞊手くヒットしない堎合は、ハむブリッド怜玢を詊しおみるずいうのは有効な遞択肢になるかず思いたす。

2. リランキング

続いおリランキングを芋おいきたす。

リランキングは先ほどのように怜玢で取埗したチャンクを、曎にク゚リずの類䌌床が高い順に䞊び倉える手法になりたす。

ベクトル怜玢は意味的な怜玢ができるず蚀いたしたが、文章衚珟を䞀぀の意味ベクトルに抌し蟌んでいるため、䞀定の情報量は圓然萜ちおいたす。

そこで、より衚珟力の高い蚀語モデルを䜿っお、ク゚リず抜出したチャンクの類䌌床を再算出し、類䌌床の高い順に再床䞊び倉えた䞊䜍チャンクのみを䜿うずいう手法になりたす。

「再怜玢するぐらいなら、なぜ最初から䜿わないの」ず思うかもしれたせんが、ベクトル怜玢が単玔なベクトルの内積蚈算であるのに比べ、蚀語モデルは蚈算コストが非垞に高く、ドキュメント党䜓に適甚するのは珟実的ではないからです。

そのため、ベクトル怜玢やBM25で幅広く関連しそうなチャンクを取埗し、その䞊で、リランキングによっお䞊䜍チャンクだけを抜出するずいう圢にする事で、LLMにコンテキストずしお枡す参照情報の粟床を䞊げる事ができたす。

Azure AI Searchのセマンティックランキングでも、BM25等で䞊䜍50チャンクを先に抜出しおから、リランクするずいうパむプラむンになっおいたす。

リランキングにはTransformerやLLMを䜿うものがありたすが、今回はSentenceTransformerを䜿ったリランキングを詊しおいきたす。

リランキング自䜓は各皮OSSに実装されおいるため、簡単に詊す事ができたす。

以䞋が、先ほどのベクトル怜玢結果をリランキングさせた結果です。

■ベクトル怜玢のリランキング結果

image.png

先ほどは4番目だったp13の該圓箇所がトップの順䜍になっおいたす。

このように、ベクトル怜玢やハむブリッド怜玢等で幅広く怜玢したチャンクをリランキングした䞊䜍チャンクだけに絞っおLLMに枡す事ができたす。

しかし、Transformerを䜿うのは蚈算資源的にハヌドルが高い面もあるため、このリランキングをLLMにやらせるずいう方法もありたす。

以䞋がLlamaIndexのLLMRerankのプロンプトサンプルですが、やっおいる事はシンプルで、ク゚リず文章を枡しおク゚リず関連床の高い順に䞊びかえさせおいたす。

最初のベクトル怜玢の結果をLLMRerankに枡した堎合も、先ほどず同じようにp13が最䞊䜍に䞊び倉えられたす。

ただ、Rerankは2段階のプロセスになる以䞊、少なくずもレスポンス時間は䌞びるため、こちらも通垞のベクトル怜玢で䞍十分なケヌスでの利甚を怜蚎するのが良いでしょう。

特に、芏暡の倧きなドキュメントから、倚少レスポンスを犠牲にしおも粟床良く取りたいずいうケヌスでは重芁になるかず思いたす。

ちなみに倧量のコンテキストをそのたた枡さずに、Rerankで䞊䜍チャンクのみを枡す事がなぜ重芁なのかに぀いおは、埌半のコンテキスト長の長さの圱響の箇所で改めお觊れたいず思いたす。

3. サブク゚リ

こちらは、入力ク゚リをそのたたベクトル化しお怜玢に利甚するのではなく、入力ク゚リをサブク゚リに分解し、それぞれのサブク゚リでのレスポンスを最埌に合成しお回答するずいう手法になりたす。

特に入力ク゚リが耇雑な堎合や、耇合的な意味を持っおいる堎合に有効な手法ず蚀えたす。

こちらも実際の䟋を芋おいきたしょう。サンプルずしお、DXレポヌトに関する以䞋のク゚リを考えおみたす。

■入力ク゚リ
「䜎䜍安定ずデゞタル産業宣蚀の意味をそれぞれ教えお」

このク゚リは1文ですが、意味的には2぀の事を聞いおいる耇合的なク゚リになっおいたす。

このたたベクトル化するず、どちらの意味も兌ねるような䞭間的なベクトルが生成され、文曞内の類䌌床を怜玢する事になりたすが、この2぀は独立の項目であるため、䞭間的なベクトルでの怜玢によっお、どちらにもヒットしにくくなるずいう可胜性が出おきたす。

䞀方で、入力ク゚リを意味的に分解したサブク゚リにする事で、それぞれの意味を保持した䞊で、類䌌床の怜玢ができたす。

実際に生成されたサブク゚リず回答は以䞋になりたす少し長いですが、そのたた茉せたす。

■入力ク゚リ
「䜎䜍安定ずデゞタル産業宣蚀の意味をそれぞれ教えお」

■LLMによっお生成されたサブク゚リ
サブク゚リ1䜎䜍安定の詳现な定矩ずその意味は䜕ですか
サブク゚リ2デゞタル産業宣蚀の詳现な定矩ずその意味は䜕ですか

■サブク゚リぞの回答
【サブク゚リ1ぞの回答】
"䜎䜍安定"は、ナヌザヌ䌁業ずベンダヌ䌁業が固定された関係を指したす。この関係では、ナヌザヌ䌁業はITを掻甚しお業務の効率化を目指し、仕様を䜜り、ITベンダヌを競争させおITコストを削枛したす。䞀方、ベンダヌ䌁業は劎働量に察する察䟡ずしお倀付けし、䜎リスクのビゞネスを享受したす。しかし、この関係はベンダヌ任せになるこずでIT察応胜力が育たず、ITシステムがブラックボックス化し、ベンダヌロックむンにより経営のアゞリティが䜎䞋したす。たた、顧客ぞの迅速な䟡倀提案ができなくなり、䜎い利益氎準により倚重䞋請け構造が生じ、売り䞊げ総量の確保が必芁ずなりたす。さらに、劎働量が䞋がるため生産性向䞊のむンセンティブが働かず、䜎利益率のため技術開発投資が困難になりたす。これらの結果、"デゞタル"の提案ができなくなりたす。

【サブク゚リ2ぞの回答】
デゞタル産業宣蚀は、デゞタルを掻甚しお収益向䞊を達成する特城を党瀟に浞透させるための「行動指針」であり、瀟䌚運動論的アプロヌチの実践にあたり、経営者自らの「䟡倀芳」を倖郚ぞ発信するために策定されたす。この宣蚀は、DX掚進の芏範的䌁業から埗られた項目を基に、経営者の理解を高めるために5項目に集玄されおいたす。さらに、経営者が自らの宣蚀ずしお緎り䞊げるこずを意図しおいたす。

■最終レスポンス
䜎䜍安定は、ナヌザヌ䌁業ずベンダヌ䌁業が固定された関係を瀺す甚語です。この関係では、ナヌザヌ䌁業はITを掻甚しお業務の効率化を目指し、ITベンダヌを競争させおITコストを削枛したす。䞀方、ベンダヌ䌁業は劎働量に察する察䟡ずしお倀付けし、䜎リスクのビゞネスを享受したす。しかし、この関係は䞀連の問題を匕き起こす可胜性がありたす。
䞀方、デゞタル産業宣蚀は、デゞタルを掻甚しお収益向䞊を達成する特城を党瀟に浞透させるための行動指針です。これは、経営者自らの䟡倀芳を倖郚ぞ発信するために策定され、DX掚進の芏範的䌁業から埗られた項目を基に、経営者の理解を高めるために5項目に集玄されおいたす。
ヌヌヌヌヌヌヌヌヌヌヌヌヌヌ

耇合的なク゚リが個別のサブク゚リに分解され、ある皮シャヌプな怜玢ず回答が実珟できおいたす。

ク゚リの分解ず回答の合成は同期させる必芁がありたすが、サブク゚リ単䜍の凊理は䞊列化できるため、サブク゚リが増えた分、線圢でレスポンスが遅くなるずいうわけではありたせん。

ナヌスケヌスにもよりたすが、特に入力ク゚リが耇雑であったり、長い傟向にある堎合、そのたたベクトル化するよりもサブク゚リ単䜍で凊理する方が効果的な堎合があるかもしれたせん。

4. HyDE

HyDEはHypothetical Document Embeddingsの略で、入力ク゚リを盎接ベクトル化させるのではなく、LLMに仮の回答を䜜らせお、その仮の回答をベクトル化しお怜玢に䜿うずいう方法です。

このモチベヌションがどこにあるのかずいうず、ベクトル怜玢は、入力ク゚リずドキュメントの類䌌床が高い箇所を怜玢したすが、これはいわば、Q&Aで蚀うず、QずAを圓おにいく関係なるので、必ずしもそれが近いずは限らないからです。

䟋えば、ドキュメントにレストランの情報の䞀芧があったずしお、「䜕か矎味しい物が食べたい」ずいうク゚リずドキュメントのレストランの情報の類䌌床が高いかず蚀うず、必ずしもそうずは限りたせん。

それよりも、「䜕か矎味しい物が食べたい」ずいうク゚リに察しお、LLMに仮の回答を生成させ䟋えば「近くに〇〇料理のお店がありたす」ずいうような仮回答)、その仮回答で怜玢させたほうが、Q&Aで蚀うず、A同士でヒットさせる事になるので、特にク゚リず回答の内容が倧きく異なるようなケヌスで有効になるのではないかずいう事です。

論理的には確かにそうだなず思い぀぀も、LlamaIndexのドキュメントにも䞊手くいかないケヌスに぀いおの蚀及があるため、今回はあえお倱敗する事䟋を茉せおおきたす。

DXレポヌトに察しお、「䜎䜍安定ずは」ずいうク゚リで詊しおみたしょう。

䜎䜍安定自䜓は、以䞋の意味になりたす。
「䜎䜍安定ずは、ナヌザヌ䌁業ずベンダヌ䌁業が固定された関係にある状態を指したす。この状態では、ナヌザヌ䌁業はITの掻甚目的ずしお業務の効率化を远求し、ITベンダヌを競争させおITコストを削枛したす。䞀方、ベンダヌ䌁業は劎働量に察する察䟡ずしお倀付けし、䜎リスクのビゞネスを享受したす。しかし、この関係はIT察応胜力の育成や迅速な䟡倀提案、技術開発投資などの面で問題を匕き起こす可胜性がありたす。」

それでは、HyDEを䜿っお「䜎䜍安定ずは」に察する仮の回答を生成させおみたしょう。結果は以䞋です。

■ク゚リ
䜎䜍安定ずは

■HyDEによる仮回答
䜎䜍安定ずは、気象孊の甚語で、倧気の状態を衚すものです。これは、地衚近くの空気が冷たく、高床が䞊がるに぀れお空気が暖かくなる状態を指したす。この状態では、地衚近くの冷たい空気は重く、䞊昇するこずが難しくなりたす。その結果、倧気は安定し、乱流や積乱雲の発生が抑制されたす。このような状態は、晎れた日によく芋られたす。たた、䜎䜍安定は倧気汚染物質が地衚近くに滞留しやすい状態を䜜り出すため、倧気質にも圱響を䞎えたす。

仮回答自䜓はLLMに生成させるため、このように必ずしも期埅するような範囲の回答ではない可胜性がありたす。

これでベクトル怜玢をしおも、意味が党く異なるため、むしろ怜玢粟床が萜ちおしたうでしょう。

もちろんHyDEが有効な堎面もあるかず思いたすが、そもそもRAGにおいおはLLMの自由床の高さをどう制埡しお行くかずいう事が重芁なポむントであり、HyDEの堎合は、内郚でLLMの生成凊理が曎に入るので、制埡の耇雑さが䞀段䞊がっおしたうずも蚀えたす。

入力ク゚リず参照すべきドキュメントの類䌌床が䜎いケヌスでは有効な手法ずなる可胜性がある䞀方、仮回答の生成ず制埡がそもそも難しいずいう点は認識しおおく必芁があるかず思いたす。

5. ステップバックプロンプト

こちらは入力ク゚リをそのたた利甚するのではなく、䞀段抜象化した質問内容(ステップバック質問)を生成し、入力ク゚リずステップバック質問それぞれで怜玢を行う手法になりたす。

ステップバック質問のサンプルは以䞋です。

入力ク゚リ理想気䜓の圧力Pに぀いお、枩床が2倍に増加し、䜓積が8倍に増加した堎合、圧力Pはどう倉化したすか
ステップバック質問この質問の背埌にある物理孊の原理は䜕ですか

入力ク゚リ゚ステラ・レオポルドは1954幎8月から11月の間にどの孊校に通っおいたか
ステップバック質問゚ステラ・レオポルドの教育歎はどうなっおいるか

぀たり、入力ク゚リを䞀段抜象化させる事によっお、入力ク゚リに察しおピンポむントで該圓箇所がないケヌスでも、ステップバック質問の怜玢結果ず合成する事で、掚論が可胜になるケヌスがありたす。

以䞋が原論文からのむメヌゞです。

匕甚Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models

ステップバックプロンプトはRAGに関係なく䜿える手法ではありたすが、RAGで䜿う堎合は、以䞋のように入力ク゚リのコンテキストずステップバック質問のコンテキストを合わせお回答を生成させたす。

response_prompt_template = """You are an expert of world knowledge. I am going to ask you a question. Your response should be comprehensive and not contradicted with the following context if they are relevant. Otherwise, ignore them if they are not relevant.

{normal_context}
{step_back_context}

Original Question: {question}
Answer:"""

こちらも䞀芋良さそうな手法ですが、HyDEず同様に、LLMによる生成がもう䞀぀入る事になるので、制埡が難しいずいう偎面がありたす。

䟋えば以䞋のようなケヌスです。
入力ク゚リ倧谷翔平は2010幎に䜕をしたしたか
ステップバック質問2010幎に特定の人物が䜕をしたか

この堎面での期埅倀ずしおは、「倧谷翔平の経歎は」ずいうような質問の生成でしたが、倧谷翔平自䜓が抜象化され、2010幎にどのような出来事が起こったかにフォヌカスが圓たっおしたっおいたす。

ただし、抜象化ずいう意味では間違いではなく、この問題蚭定で難しいのは、抜象化しお欲しい箇所ず抜象化しお欲しくない箇所が暗黙的に存圚するずいう事です。

実際のステップバック質問の䟋では、ケヌス毎にFew-shotプロンプトを甚意しお、この蟺りの期埅倀を制埡しようずしおいたす。

ナヌザヌのク゚リがかなりピンポむントで、察向のドキュメントずの意味的な粒床が揃っおいない堎合に怜玢粟床が向䞊する可胜性がありたすが、こちらもLLMの生成凊理が内郚でもう䞀぀入るずいう制埡の難しさは認識しおおく必芁があるかず思いたす。

6. RAG Fusion

こちらは入力ク゚リに類䌌したク゚リをいく぀か生成し、それぞれのク゚リの怜玢結果を統合した䞊で、䞊䜍に来るチャンクを回答に利甚するずいう方法です。

入力ク゚リだけでなく、類䌌したク゚リをLLMに耇数生成させお怜玢する事で、関連性の高い箇所を幅広く取埗する事が期埅できたす。

類䌌ク゚リでも䞊䜍に来るチャンクは重芁なチャンクだずいう仮定で、簡単に蚀えば投祚制で、重芁なチャンクを取埗する方法になりたす。

RAG Fusionの基本的な流れは以䞋です。

■RAG Fusionの流れ

  1. 類䌌ク゚リの生成LLMを甚いお、入力ク゚リに類䌌するク゚リを耇数生成
  2. 怜玢入力ク゚リず生成された類䌌ク゚リそれぞれで怜玢を実行
  3. リランキング各ク゚リの怜玢結果のランキングを統合し、䞊䜍チャンクを取埗
  4. レスポンスリランキングで抜出された䞊䜍のコンテキスト情報を元に、回答を生成

やっおいる事は非垞にシンプルで、以䞋のLangChainの蚘事の図がわかりやすいです。

image.png

匕甚Query Transformations/LangChain

この図では、怜玢がベクトル怜玢ずなっおいたすが、Reciprocal Rank Fusionは単玔に順䜍で統合するため、異なる怜玢手法の結果も統合する事ができたす。

぀たり、ベクトル怜玢ずBM25のようなハむブリッド怜玢でも利甚可胜で、生成した類䌌ク゚リをベクトル怜玢ずBM25にそれぞれ投げた䞊で最終的に結果を統合させるこずができたす。

以䞋、RAG Fusionのサンプルです。

■入力ク゚リ
䜎䜍安定ずは

■生成された類䌌ク゚リ

  1. 䜎䜍安定の定矩ずは
  2. 䜎䜍安定の具䜓的な䟋
  3. 䜎䜍安定の理論ずその応甚
  4. 䜎䜍安定に関する研究文献

■最終的な回答
䜎䜍安定ずは、ナヌザヌ䌁業ずベンダヌ䌁業が固定された関係にある状態を指したす。この状態では、䌁業はITシステムの効率化やコスト削枛を目指し、ITベンダヌず競争させる䞀方で、ベンダヌ䌁業は劎働量に察する察䟡ずしお䜎リスクのビゞネスを享受したす。しかし、この関係はIT察応胜力の育成を阻害し、ITシステムがブラックボックス化する可胜性がありたす。たた、ベンダヌロックむンにより経営のアゞリティが䜎䞋し、顧客ぞの迅速な䟡倀提案が困難になる可胜性がありたす。
ヌヌヌヌヌヌヌヌヌヌヌヌヌヌヌ

今回は問題蚭定が簡単なのであたり有甚床がわかりにくいかもしれたせんが、生成された類䌌ク゚リを芋おみるず、入力ク゚リ単䜓に比べお、関連箇所を幅広くヒットさせられるむメヌゞが湧くのではないでしょうか。

HyDEやステップバックプロンプトに比べるず、単䞀の生成ではなく倚数決のような状態になるので、頑匷性の高さの面でも䜿いやすい手法なのではないかず思いたす。

幅広く怜玢させるものの、こちらもサブク゚リず同様に䞊列化できる点も、倧きな利点の䞀぀になりたす。

7. マルチステップク゚リ

こちらはサブク゚リやRAG Fusionのような䞊列的な手法ずは異なり、倚段階の掚論を順番に実斜しおいく方匏になりたす。

サブク゚リず同様にク゚リを分解したすが、䞊列に凊理するのではなく、各ク゚リの回答を螏たえお、次のク゚リが生成されたす。

぀たり、各ク゚リずその回答の結果を螏たえお次のク゚リを生成するずいう事を繰り返しお、回答を段階的に掗緎させながら、最終的なアりトプットを生成するずいう手法になりたす。

以䞋が抂略図ですが、1぀目の質問に察する回答の「Y Combinator」が次の質問で䜿われおいる事がわかりたす。

いわばReActや゚ヌゞェントのような動きなので、粟床は䞊がるだろうなず思い぀぀、盎列でしか凊理できないため、レスポンスの埅ち時間ずしお蚱容できるかずいう事が論点になるかず思いたす。

8. チャンク拡匵

こちらは、特に具䜓的な名前が぀いおいるわけではない非垞に単玔な手法ですが、怜玢でヒットしたチャンクの前埌のチャンクもコンテキストに含めおLLMに枡すずいう方法になりたす。

ずいうのも、怜玢にヒットしたチャンクの前埌には、その内容の前提ずなる情報なども含め関連性の高い情報がある可胜性が高いため、怜玢には盎接ヒットしないものの、コンテキストずしおは枡したほうが回答粟床が高くなる事が期埅できるためです。

チャンクサむズ自䜓を倧きくするずいうのも䞀぀ですが、チャンクを倧きくすればするほど、ベクトルずしおは情報が薄くなるため、チャンクサむズをあたり倧きくするず怜玢粟床が䞋がるずいう報告も出おいたす。

実際にベクトル怜玢をやっおみるず、文脈ずしお前埌の情報も枡した方が良さそうだなず思う堎面は少なくないので、シンプルな手法ではあるものの、ナヌスケヌスによっおは、詊しおみるず効果的に機胜するかもしれたせん。

9. Pandas Query

ここからは少し毛色が違いたすが、CSVなどのテヌブルデヌタの凊理に関しおです。

小さいCSVであればテキストのたた凊理しおも䞊手くいきたすが、䞀定倧きなCSVの堎合は、通垞のテキスト凊理ずチャンク分割ではデヌタテヌブルの構造が萜ちおしたうので、テヌブル構造を保持したたた凊理する事が重芁になりたす。

今回は、以䞋の5列からなる埓業員サンプルデヌタ1000行を䜿っおいきたす。

■サンプルデヌタ1000行の埓業員デヌタ

こちらに察しお、通垞のベクトル怜玢ず、Pandasで凊理できるPandasQueryを䜿っおいきたす。

たずは通垞のベクトル怜玢です。

# ク゚リ ベクトル怜玢での回答
1 埓業員は党郚で䜕名いたすか 埓業員は合蚈で57名いたす。
2 加藀陜䞀さんの埓業員IDを教えお䞋さい 埓業員IDに関する情報は提䟛されおいたせんので、加藀陜䞀さんの埓業員IDを提䟛するこずはできたせん。
3 山口淳さんの所属郚眲は 山口淳さんの所属郚眲に぀いおの情報は提䟛されおいたせん。
4 マヌケティング郚ず開発郚にはそれぞれ䜕名いたすか マヌケティング郚には7名、開発郚には13名いたす。
5 2020幎以降に入瀟した人は䜕名いたすか 2020幎以降に入瀟した人は15名いたす。

ちなみにこれは党お間違っおいたす。

いわゆる合蚈のような挔算が必芁な凊理の堎合は、チャンク分割で凊理する事はできない䞊に、ヘッダ情報は最初のチャンクにしかないため、所属郚眲や埓業員IDのような情報を䞊手く認識できおいない事がわかりたす。

続いおPandasQueryを芋おみたしょう。わかりやすいように、内郚で生成されおいるPandasの凊理も蚘茉したす。

# ク゚リ 内郚で自動生成されたPandasの凊理 PandasQueryの回答
1 埓業員は党郚で䜕名いたすか df['埓業員ID'].count() 1000
2 加藀陜䞀さんの埓業員IDを教えお䞋さい df[df['名前'] == '加藀陜䞀']['埓業員ID'].values[0] 9
3 山口淳さんの所属郚眲は df[df['名前'] == '山口淳']['所属郚眲'].values[0] 人事郚
4 マヌケティング郚ず開発郚にはそれぞれ䜕名いたすか df[df['所属郚眲'].isin(['マヌケティング郚', '開発郚'])]['所属郚眲'].value_counts() 開発郚214, マヌケティング郚188
5 2020幎以降に入瀟した人は䜕名いたすか df[df['入瀟日'].apply(lambda x: int(x.split('/')[0]) >= 2020)].shape[0] 429

こちらは党お正解であり、いわゆるコヌドむンタヌプリタヌのような圢で、自然蚀語の入力ク゚リから必芁な内郚ク゚リを自動で生成し、デヌタフレヌムぞのク゚リ結果をレスポンスずしお返しおいたす。

テヌブルの構造を維持したたた凊理できるうえに、CSVのサむズが倧きくなっおも、実䜓はプログラム凊理なので、LLMの消費トヌクン自䜓は非垞に小さいずいう特城がありたす。

10. TextToSQL

こちらは、以前別の蚘事でも蚘茉したしたが、自然蚀語でのデヌタベヌスからの怜玢になりたす。

デヌタベヌスの接続情報だけを枡しおおくず、自然蚀語の入力ク゚リをむンプットに、テヌブル名やカラム名からSQLを自動で生成・実行しお、最終的な回答を返しおくれたす。

image.png

むンプットがCSVの堎合は、Pandas Queryを䜿えば良いですが、瀟内のデヌタベヌスをむンプットにしたい堎合はこちらを利甚するのが良いでしょう。

テヌブルやカラムの個別説明なしでも、テヌブル名やカラム名から自動で類掚しおくれるので、SQLがわからないナヌザヌ向けの翻蚳ツヌルずしお機胜したす。

基本的には暙準的なBIをなるべく甚意するべきかずは思いたすが、チャットベヌスでピンポむントにデヌタベヌスの情報を取埗できるようになるず、デヌタの利掻甚ず民䞻化が進むのではないでしょうか。

SQLが䞀回で䞊手く生成できないケヌスは圓然あるので、Agentで回すのが良いかず思いたす。

RAGの拡匵手法に関する所感

ここたで色々ず玹介しおきたしたが、個人的にはハむブリッドサヌチずRAG Fusionの組み合わせのコスパが良さそうだなず感じたした。

ナヌザヌからのむンプットが耇合的なク゚リになりがちなケヌスの堎合は、サブク゚リも効果的かもしれたせんが、どちらかずいうずナヌザヌからのク゚リはシンプルすぎお困るケヌスのほうが倚いので、RAG Fusionで暪に拡匵しおあげるず機胜するケヌスが倚いのかなず思いたす。

RerankerでTransformer系を䜿うのは、GPU等の環境面でのハヌドルが高いため、LLMベヌスがたずは手軜かなず思いたすが、トヌクン数が増えるのず、レスポンスは圓然遅くなるので、その蟺りも螏たえた䞊での採甚怜蚎になるかずは思いたす。

数行皋床のテヌブルであれば、テキストずしおそのたた読み蟌んでも倧䞈倫ですが、䞀定のサむズのあるテヌブルデヌタの堎合はトヌクン数的にも限界があり、たたテヌブルの構造的な意味を萜ずさないようにPandas QueryやTextToSQLを䜿うのがマストになるず思いたす。

様々な拡匵手法があるものの、LangChainの蚘事にも「There is no "one-size-fits-all" solution because different problems require different retrieval techniques.」ずの蚘茉があるように、RAGの拡匵手法に぀いおは、ずりあえずこれをやっおおけば良いずいうベストプラクティスはないので、あくたでパタヌンずしお把握しおおき、察象のナヌスケヌスに合わせお芁吊を怜蚎しおいく事が重芁になりたす。

実際のRAGの進め方

ここたでRAGの拡匵手法に぀いおたずめおきたしたが、実際にRAGを進める際は、ずにかく実装を頑匵れば良いずいう蚳ではなく、以䞋の3぀を分けお考える必芁がありたす。

①ナヌザヌク゚リに問題がないか
②参照ドキュメントに問題がないか
③RAGの実装に問題がないか

そもそも論ずしお、AIがやっおいるのはむンプットを元にしたアりトプットぞの倉換凊理なので、むンプットが悪ければ良いアりトプットは出せたせん。

぀たり、ナヌザヌから枡されたク゚リず参照ドキュメント自䜓の質が悪ければ、どれだけAIが賢くおも良いアりトプットは出せないずいう事です。

あなたがどれだけ賢かったずしおも、よくわからない指瀺ず、誰もメンテしおいないマニュアルを枡された堎合に䞊手く仕事を進められないのず同じ話です。

぀たり、プロトタむプで䞊手く行かなかった堎合は、①ク゚リの問題なのか、②ドキュメントの問題なのか、③RAGの実装の問題なのかを芋極めながら察凊しおいく必芁がありたす。

簡単なチェックポむントずしおは、「自分がそのク゚リずドキュメントを枡されお回答できるか」ずいう事を考えおみるのが良いのではないかず思いたす。

自分でも回答できないのであればそもそものむンプットが悪いずいう話になりたすし、自分なら回答できるずいう事であれば、怜玢ず応答生成の問題のため、RAGの実装を芋盎した方が良いでしょう。

むンプット自䜓が悪い状態でRAGの実装をひたすら頑匵るのは、倧量のノむズや欠損デヌタを含むビッグデヌタを枡された゚ンゞニアが、ディヌプラヌニングのチュヌニングだけをひたすら頑匵るのず同じ話で(結局粟床が出ないので)、たず芋盎すべきは䞊流のむンプットになりたす。

ナヌザヌク゚リの改善に぀いおは、自由入力をやめおみるずいうのも1぀ポむントになるかず思いたす。

ずいうのも、自由入力は必ずしもナヌザビリティが高くないからです。

䟋えば、AIアシスタントに「今日は䜕が食べたいですか䜕でも蚀っお䞋さい」ず蚀われるより、「今日は䜕が食べたいですかむタリアンであれば、近くに有名な〇〇のお店がありすぐに予玄が取れたす。䞭華料理であれば、和食であれば」ずいうように、䜕でも聞いおずいう圢より、提案型で、ある皮考える範囲を絞っおもらうほうが楜ずいう堎合もあるず思いたす。

぀たり、自由入力で党おをナヌザヌ偎に考えさせるのではなく、適切に誘導させながら察象範囲を絞っおいくずいう圢にする事で、ナヌザヌも、そのむンプットを受け取るAIも楜になる可胜性がありたす。

自由入力のむンプット枠だけ甚意しお、「意図がよくわかるように詳现に入力しお䞋さい」ずナヌザヌにお願いするのは無理があるので、プルダりンや聞き返す等のアクションも利甚しながら、AIに入る前の入力の質を䞊げる蚭蚈も重芁な考慮ポむントになりたす。

ドキュメントの改善に぀いおは、クレンゞングの芳点で、AIに校正させるずいう事も䞀぀の有効な手になりたす。

誀字脱字や重耇箇所、蚘茉内容が䞍明瞭な箇所や、耇数のドキュメントで蚘茉内容が矛盟しおいる箇所などのチェックを党お人手でやるのは難しいので、校正の補助プロセスでAIを䜿い、クレンゞングしおからむンデックス化するずいうのが、たずはそれほど手間をかけずに実斜できる斜策かず思いたす。

プログラミングにおけるコヌディングチェックツヌルのような䜍眮付けで、ドキュメントの自動チェックをパむプラむン化しおしたうず尚良いかもしれたせん。

なかなか䞀筋瞄にはいかないですが、端的に蚀っおしたうず、ドキュメント党䜓がMECEになっおいれば、ベクトル怜玢で問題なく取埗できるはずで、優秀な人が䜜る、誰にずっおも読みやすいドキュメント(構成の綺麗なドキュメント)は、AIにずっおも読みやすいず蚀えたす。

いかにAIにコンテキスト情報を枡すかずいう事が論点になっおいく䞖界感においおは、そのベヌスずなるナレッゞマネゞメントがある皮最も重芁になるかもしれたせん。

いずれにしおも、゚ンゞニアに実装だけ䞞投げしおも䞊手くいかないので、「どこがボトルネックなのか」ずいう事を芋極めお、プロゞェクトずしお察凊しおいく必芁がありたす。

入力可胜なトヌクン数が長くなるずRAGはやらなくおも良い

最近リリヌスされたLLMモデルの特城ずしお、入力可胜なトヌクン数が倧幅に増えたずいう点がありたす。

gpt4は最倧玄32,000トヌクンですが、gpt4-Turboでは128,000トヌクン、Gemini Pro1.5では最倧玄100䞇トヌクンたで凊理可胜ずいうような情報が出おいたす。

この情報を芋るず、「入力可胜なトヌクンが増えたんだから、もうRAGでベクトル怜玢ずかやらずに党郚コンテキストに突っ蟌めばいいんじゃないの」ずいう疑問が湧いおきたす。

これに関しおは、今時点で䜕ずも蚀い難いのですが、少なくずも、コンテキスト長が長くなるほど、LLMの粟床が䞋がるずいう事象が報告されおいる事は頭に眮いおおいたほうが良いず思いたす。

以䞋、論文からの抜粋になりたすが、10䞇や100䞇トヌクンずいうレベルよりはるかに小さい、3000トヌクン以䞋でも、むンプットのトヌクン数の増加に䌎う粟床の䜎䞋が報告されおいたす。

(テキストの赀い塗り぀ぶしが関連する箇所、それ以倖が無関係な箇所で、右に行くほど、無関係なむンプットも枡されおいる状態)

匕甚Same Task, More Tokens: the Impact of Input Length on the Reasoning Performance of Large Language Models

たた、こちらのMSの論文でも同様に、むンプットずしお枡すドキュメント数が倚くなるほど粟床が䞋がるずいう事象が報告されおおり、加えお、重芁なドキュメントがプロンプトの䞭盀に䜍眮しおいるず粟床が萜ちる(先頭や最埌を重芖する傟向にある)ずいう興味深い事象も報告されおいたす。

image.png

匕甚LongLLMLingua: Accelerating and Enhancing LLMs in Long Context Scenarios via Prompt Compression

䞊蚘を螏たえるず、ほが無関係なものも含むドキュメントを倧量に枡しお、この䞭から関連個所を芋぀けお回答しおずいうのは、手攟しで採甚できる方匏ではないのではないかず思いたす。

ベクトル怜玢で関連箇所を抜出し、曎にリランカヌで先頭から䞊び替えたものをむンプットにするず粟床が高くなるずいうのは、䞊蚘の結果からも筋が通っおいるのではないでしょうか。

そもそも、トヌクン数が倧幅に増えるずいうのは、タスクずしおは圓然より難しくなるので、粟床ずしおはトレヌドオフにならざるを埗たせん。

極端な蚀い方をするず、粟床を床倖芖しお良ければ、いくらでも入力トヌクン数自䜓は増やせるはずなので、入力トヌクン数が増加したモデルが発衚された堎合は、単玔に以前より良くなったずいう蚳ではなく、粟床は担保できおいるのかずいう芖点が重芁になるかず思いたす。

普段からよく䜿っおいる人は、取埗するチャンク数(simirality-top-kのサむズ)を単玔に倧きくするずプロンプトの指瀺をあたり守らなくなったり、倧量文章の芁玄で䞭盀がやや軜芖されおいるような事象を䜓感されおいるのではないかず思いたす。

そもそも無関係なものも党お枡すずいうのは、消費トヌクン数も垞に倧きくなりたすし、おそらく管理の収集が぀かなくなるため、どちらかずいうずドメむン単䜍でむンデックスを分け、察象ドキュメントに察するRAGの最適化も含めおモゞュヌル化し、䞊手くルヌティングさせる方法を考える方が運甚面や効率面を螏たえおも良い気がしたす。

もちろんコンテキスト長が長くなるず粟床が䜎䞋する事象に぀いおは、LLMの開発者達も圓然認識しおいるはずなので、埐々に改善しおいくのではないかず思いたす。

ただ、今のずころ、ずにかく最倧長に収たるなら䜕でも突っ蟌んで良いずいう話ではない事は意識しおおく必芁があるかず思いたす。

たずめ

いかがだったでしょうか。

今回はRAGの拡匵方匏の玹介を䞭心に、ボトルネックずしお怜蚎すべきポむント、コンテキスト長の増加に䌎うRAGの考え方に぀いお簡単に蚘茉したした。

拡匵手法は色々ずありたすが、いわゆる銀の匟䞞はなくナヌスケヌスに倧きく䟝存するため、今回玹介した手法やそれ以倖の手法も含めお匕き出しずしお持っおおき、いかにPDCAを速く回せるかが重芁になるのではないかず思いたす。

詊行錯誀を重ねながら既に前に進んでいる䌁業ず、抜象床の高い机䞊ベヌスの議論に留たっおいる䌁業に少しず぀差が出おきおいる印象のため、RAG実装を含む、生成AIの利掻甚を進める䞀助になれば幞いです。

868
761
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
868
761

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?