メむンコンテンツぞスキップ
芋出し画像

「AI Challenge day」に参加しおきたした

    こんにちは、゜フトクリ゚むトのです。

    2024幎4月18日-4月19日にかけお神戞で行われた「AI Challenge day」ずいうハッカ゜ンに株匏䌚瀟゜フトクリ゚むトず株匏䌚瀟ecbeingの2瀟合同チヌムで参加しおきたした。

    事前情報は限られおいお、「RAG アヌキテクチャの実装を特定題材にコンテスト圢匏で競い、孊びあう」ずいうこずくらい。。
    そのため、具䜓的な内容や課題は、参加するたで謎に包たれおいたした。

    準備ず初日の倜

    事前準備ずしおは、「RAGの回答粟床」が競われるポむントず芋蟌み、
    RAG粟床向䞊のためのアプロヌチを耇数甚意しお挑みたした。
    前日に神戞に到着したので、倜にはチヌムメンバヌで集たり、
    矎味しくおお勧めずいう䞭華店に行き、逃子ず煮干しラヌメンを食べたした。味噌だれを぀けお食べる逃子、めちゃめちゃ矎味しかったです。。

    画像

    たた、翌日のお題に぀いお想像を巡らせ、マルチモヌダルRAGが必芁ずなる堎合は、党員未経隓のため䞀筋瞄ではいかないだろうずいう話をしおいたした。

    ハッカ゜ンDay1お題の発衚・構成怜蚎

    そしお迎えたハッカ゜ン圓日、
    お題のテヌマは「䞖界遺産トラベルアシスタント」でした。
    具䜓的には、事前に開催者さんが準備した
    「䞖界遺産に関するデヌタセット」「実際には存圚しない仮想遺産のデヌタセット」
    をもずに、RAGアヌキテクチャヌの粟床を競うずいう内容でした。
    さらに、予想フラグ通り、お題にはマルチモヌダル芁玠がしっかり盛り蟌たれおいたした。

    お題発衚埌は、早々ずメンバヌ党員で䌚議宀に移動し、アヌキテクチャヌやフロヌ、怜玢甚むンデックスの構成に぀いお怜蚎を開始したした。

    具䜓的には、今思い出すず䞋蚘のような内容を話し合っおいたした。
    ・文章入力・画像入力時のフロヌ
    ・アヌキテクチャヌの怜蚎
    ・怜玢甚むンデックスの構成
    ・怜玢甚むンデックス䜜成フロヌ
    ・文章入力・画像入力時の怜玢方法
    ・画像のベクトル化(Vectorize Image API)
    ・画像の説明文の䜜成(GPT-4 Turbo with Vision)
    ・むンデックス化時の文章ず画像の䜍眮情報玐づけ
    ・PDFからの文章ず画像の抜出
    ・WordやPowerPointの文章抜出
    ・フロント・API呚りの話

    ここたでで既にDay1の倕方ぐらいになっおいたかず思いたす。
    Day2のお昌には成果物を提出する必芁があるため、
    Day1䞭にはある皋床完成しおいないず厳しいずいうのもあり、
    䌚議宀が18時たで利甚可胜ずの話でしたが、20時たで延長可胜ずのこずで、お蚀葉に甘えお延長させおいただきたした。

    ハッカ゜ンDay1補造

    ここから2名ず぀分担しお䜜業を行うこずずなり、
    私は、デヌタ呚り文章・画像むンデックスの䜜成を担圓したした。
    課題の各皮デヌタセットから、文章ず画像で分割し、デヌタ加工や必芁デヌタの生成を実斜し、文章むンデックスず画像むンデックスを䜜成したす。
    PDFのような文章ず画像が䞡方存圚するデヌタに぀いおは、それぞれ抜出を行い、文章は文章むンデックス、画像は画像むンデックスに分けお栌玍したす。
    たた、文章ず画像の玐づけを行うために、出珟するペヌゞ番号も䞀緒に取埗したす。

    画像

    最終的なむンデックスを䜜成するために必芁な、
    以䞋の凊理をPythonでゎリゎリ䜜成しおいきたす。

    ・PDFからの文章ずそのペヌゞ数抜出
    ・PDFからの画像ずそのペヌゞ数抜出
    ・文章のベクトル化text-embedding-3-large
    ・画像のベクトル化Vectorize Image API
    ・画像の説明文生成GPT-4 Turbo with Vision
    ・文章むンデックス甚のデヌタフレヌム䜜成
    ・画像むンデックス甚のデヌタフレヌム䜜成

    察応しおいく䞭で、PDFの文章ず画像の抜出を行う際に、
    以䞋の課題が出おきたした。

    ・スキャンデヌタのPDFが存圚し、文章・画像が抜出できない
    ・倧量の画像で構成されたPDFが存圚し、文章が抜出できない
    デヌタセットも䞀筋瞄ではいかないように色々ず工倫されおいるように感じる 

    そのため、以䞋のようにPDFの凊理を分岐させ、文章量が少ないPDFに぀いおは、OCRComputer Vision APIを利甚するこずにしたした。

    画像

    たた、Vectorize Image API や Computer Vision API は初めお利甚するため、ドキュメントを確認しデヌタセットを元に怜蚌しながら進めおいきたす。

    现かい仕様を党員で確認し詰め぀぀、匕き続きデヌタ加工凊理の䜜成をしおいくず、あっずいう間に20時ずなっおしたいたした。
    ただ、䌚議宀はさらに22時たで延長可胜ずのこず。
    再床お蚀葉に甘えお、22時たで延長させおいただきたした。

    22時時点、GPT-4 Turbo with Visionでの説明文生成や、OCR凊理郚分、怜玢甚むンデックス䜜成等、ただただ必芁な䜜業は残っおいたした。
    䞀旊、オフィスでの䜜業は終了で各自ホテルの自宀で䜜業を察応するこずずし、コンビニで倜ご飯を買っお垰宅。

    その埌、たたたた隣の郚屋だった同期のM君ず䞀緒に集たり、
    OCR凊理郚分や文章むンデックスの䜜成・画像むンデックスに必芁なデヌタ敎備の郚分たでひたすら察応したした。

    そしお埌はGGPT-4 Turbo with Visionでの画像の説明文生成し、
    画像むンデックスを䜜成すれば完了ずいうずころたで来たした。
    画像は数癟枚あり、説明文生成が完了するたで時間がかかるずいうのもあり、予期しない゚ラヌで䞭断されないこずを祈りながら、実行䞭に睡眠をずるこずにしたした。

    ハッカ゜ンDay2

    朝起きるず数癟枚分の画像説明文生成が完了しおおり䞀安心...、
    画像むンデックスを自宀で早速䜜成しおから、オフィスに朝8時頃に向かいたした。

    メンバヌで集たり、アプリケヌションに組み蟌み、評䟡スクリプトを流すず前日より点ほど高い「18.525点」。

    画像

    スコアが高いのか䜎いのか分からなかったですが、マルチモヌダルのRAGが出来たずいうこずで個人的にはかなり嬉しかったです。

    感想

    お題に察する構成を考え、新たなサヌビスに觊れながら開発しおいくのは楜しかったですし、倚くを孊ぶこずができたした。
    たた、他瀟様の発衚からは、それぞれ異なる芖点があり、そこからも孊びがありたした。
    事前に準備しおいた「粟床向䞊のアプロヌチ」が䞀぀も詊せなかったこずは悔しかったですが、倚くの孊びず発芋からRAGの可胜性改めお感じたした。
    そしおなにより、実際にマルチモヌダルRAGが機胜するものが完成した時は、達成感ず喜びがずおも倧きかったです。
    濃密な2日間「AI Challenge day」に参加できおよかったです。
    党おの関係者の皆様、ありがずうございたした

    参考

    圓日の発衚は YouTube Live で配信されたした。
    アヌカむブも残っおたすので是非ご芧ください。

    ■攟送情報
    攟送日2024幎4月19日(金)
    番組 生成 AI はどこたで乗りこなせるのか!?
         ASCII×マむクロ゜フト生成 AI コンテスト䞭継
    *゜フトクリ゚むトのプレれン開始時間1:11:45‐ (YouTubeアヌカむブ)
    https://youtu.be/AzhOi14CLTA

    â–ŒASCII蚘事 
    https://ascii.jp/elem/000/004/194/4194225/?_fsi=QXjj7fhZ&_fsi=w7ZTNBrM&_fsi=IDSKphbY


    この蚘事が参加しおいる募集

    あなたぞのおすすめ