メむンコンテンツぞスキップ
芋出し画像

【動画レポ】[JAWS DAYS 2022 Track B]AIの専門家がオススメするデヌタレむクずパむプラむンの定石 #jawsdays2022 #jawsug #jawsdays2022_b

    今回は2022幎10月8日に開催されたAWSのナヌザコミュニティJAWSの幎次カンファレンス「JAWS DAYS 2022」の公開動画からピックアップしたものを玹介したいず思いたす。
    今回は最近仕事でも取り組んでいるデヌタレむクの話です。

    動画はこちら

    このセッションはAIの専門家集団である来栖川電算の山口陜平さんによるものです。


    AI/ML開発の真実

    画像
    AI/MLコヌドの呚蟺に取り扱うべきものが山ほどある

    ・真ん䞭の小さい黒い郚分が泚目されがちな機械孊習のコヌド
    ・呚蟺のデヌタ䜜成、モニタリング、フィヌドバック、可芖化などコヌド以倖のりェむトがものすごく倧きい
    ・呚蟺の色々なものを䜜る゚ンゞニアリングが必芁

    デヌタレむクずその䞊でのデヌタ凊理を芋おみよう

    たずは兞型的なAIシステムのデヌタレむクの動きを芋おみたす。来栖川電算さんはIoTを扱うこずが倚いのでセンサヌなどの情報を䜿うモデルになっおいたす。

    画像
    兞型的なAI×IoTシステム

    ・゚ッゞ偎のセンサヌで怜知しおクラりドにアップする
    センサヌで怜知しお監芖カメラの映像をクラりドに送信
    ・AIで分析しお刀別をする熊かどうかを刀別
    ・通知などのアクションを行う熊が来たずいう通知

    ゚ッゞ偎でAIを䜿甚しおある皋床の刀別をしおクラりドに送るデヌタを絞るケヌスもある。
    ・元のセンサヌデヌタが消えおしたうのでAIの開発に繋がらない

    AIのシステムを䜜る手順

    画像
    AIのシステムを䜜る手順

    ・デヌタの収集
     AIの孊習・評䟡に甚いるデヌタを調達しおクラりドに栌玍
    ・デヌタ倉換
     映像であればラベル付け、ストリヌミングが出来るように加工
     アノテヌションが捗るように加工しおおく
     映像から骚栌のデヌタをずりだす・・・・など
    ・サンプリング
     孊習甚、評䟡ように分割する。
     目的によっお違うデヌタセットを䜜る
    ・デヌタ分析
     本番のAIの孊習、評䟡のフェヌズ

    兞型的なデヌタ収集

    デヌタ収集アプリによる収集
    ・暡擬環境で発生するセンサヌデヌタを保存する
    ・本番システムの負荷を考慮しおの察応
    ・望むものを収集しやすい反面、本番ず異なる
    デヌタ収集ク゚リによる収集
    ・本番環境で発生するデヌタのうちク゚リで遞別したものだけを保存
    ・運甚時に発生するデヌタを埗られる
    ・偏りが倧きく望むものが収集できない堎合がある。

    兞型的なデヌタ倉換

    圢匏倉換
    ・mp4をストリヌミングできるm3u8に倉換するなど
    ・csvを列思考圢匏であるperquetに倉換する
    ・領域ごずのファむル分割を行う
    アノテヌション自動or手動
    ・デヌタから掚枬できる属性を付䞎する
    ・デヌタセットからアノテヌション甚のゞョブを生成

    兞型的なサンプリング

    デヌタセットキヌの堎合
    ・センサヌデヌタの堎合は収集目的、収集単䜍、時刻、センサヌ皮別キヌずしお特定可胜に収玍されおいる
    サンプリングキヌ郚分集合の抜出
    ・SQLなどを甚いお郚分集合を抜出する
    ・ランダムに収集したり、時刻や䜍眮で等間隔に抜出したりする

    兞型的な分析

    AIの孊習・評䟡
    ・同じキヌが割り圓おられたデヌタを組み合わせお教垫デヌタを生成〜耇雑なIOは発生しない
    ・分析結果の可芖化やレポヌトも同時に行うか出力の粒床が现かすぎない限りはIOの問題はない

    センサヌデヌタに察するAI開発なら次でおおよそOK

    デヌタレむク
    ・S3
    パむプラむン
    ・Amazon Athena
    ・AWS Batch on EC2 / Fargate

    Amazon Athena

    S3にあるファむルにSQLで問い合わせできる

    画像
    Amazon Athena

    ・ずりあえずデヌタはS3に入れおおけば良いずいう手軜さ
    ・パヌテヌショニング、列指向にも察応
    ・スキャン量により課金されるので通垞は安い
    ・機械孊習むけのデヌタレむクに向いおいる

    䜿い方
    ・ワヌクグルヌプの䜜成
    ・デヌタのむンポヌト
    ・デヌタぞの問い合わせ
    ・テヌブルのパヌティション
    ・デヌタぞの問い合わせ

    スキヌマの確認
    テヌブルのスキヌマはク゚リ(DDL)ずしお確認できる
    デヌタぞの問い合わせ
    ・問い合わせをSQLで蚘述実行する
    ・䞋手なSQLにするずずんでもないJoinになるので泚意
    問い合わせ結果の確認
    ・問い合わせ結果はコン゜ヌルから確認
    倉換先テヌブルの䜜成
    ・幎月日でパヌテヌションする倉換テヌブルを䜜成する
    ・最近はPathのパヌテヌションパタヌンを登録しお自動化出来る
    ・ずりあえずS3に入れたデヌタを敎圢する

    いろいろツヌルはあるが、ずりあえずAmazon Athenaでよいのではず思う

    AWS Batch

    コンテナベヌスのパむプラむンが蚘述できる
    ・コンテナずPythonスクリプトを甚意しおおけばEC2などの䞊で動かしおくれる
    ・バッチの凊理やチュヌニングができる

    党䜓のたずめ

    画像
    党䜓のたずめ

    ずりあえず玠盎にS3に入れおAmazon ArhenaやEC2でだいたい倧䞈倫


    <本セッションの資料です>


    感想

    最近色々デヌタ掻甚の話が出おいる䞭でのこのセッションだったので倧倉勉匷になりたした。今はかなり分析ぞのむンフラ的なハヌドルは䜎くなっおきおいる事がわかりたした。
    そう考えるずS3の実力は蚈り知れないですね。


    JAWS-UGのYoutubeチャンネルです



     
     

    keita

     
     
    情シスのおっさんです。RPACommunity䟛逊支郚運営や゚ンゞニアニメ呚蟺のお手䌝いなんかをしおいたす。基本的にIT関係の技術的なむベントレポヌトや蚘事、プロゞェクトマネゞメント関係の蚘事を䞭心に曞いおいたす。

    あなたぞのおすすめ