メインコンテンツへスキップ
見出し画像

【2025年最新】最新LLMはどんなデータで賢くなった?オープンソース最大級「OpenHermes 2.5」で理解する

    「ChatGPTやClaudeはなぜあんなに賢いの?」
    「最新のLLMはどうやって論理的に考えられるようになったの?」

    こんにちは!前回の記事ではLLMの追加学習(ファインチューニング)の基本をお伝えしました。

    今回は、最新LLMの「賢さの源泉」となるデータセットの中身を覗いてみます。

    具体的には、オープンソースで公開されている最大級のデータセット「OpenHermes 2.5」を徹底解説します。これを理解することで、Llama、Qwen、Mistralといった最新モデルがどのような手法で学習されているかが分かります。


    この記事で分かること

    ✅ 最新LLMが「賢くなる」仕組み
    ✅ OpenHermes 2.5の中身とコンセプト
    ✅ ビジネス系タスクに使えるCoT(論理的推論)データの実例
    ✅ データセットがどのように作られたか(GPT-4の活用)
    ✅ 商用利用時のライセンス注意点


    最新LLMはどうやって「考える力」を獲得したのか?

    🧠 2段階の学習プロセス

    最新のLLM(Llama 3、Qwen2.5、Claude等)は、大きく2段階で学習されています。

    【第1段階】事前学習(Pre-training)

    • 何をするか → インターネット上の大量テキストを読む

    • 結果 → 言語の基礎能力を獲得

    【第2段階】追加学習(Post-training) ⭐重要

    • 何をするか → 高品質なQ&Aデータで学習

    • 結果 → 論理的思考力・指示追従能力を獲得

    重要なのは第2段階です。

    GPT-4やClaudeが「論理的に考えられる」「指示に的確に答えられる」のは、追加学習(Post-training)で使われるデータの質が高いからです。


    🔑 追加学習の核心:Instruction Tuning

    追加学習の中でも特に重要なのが「Instruction Tuning(指示チューニング)」です。

    【Instruction Tuningの例】
    
    指示: 「この文章を要約してください」
    入力: (長い文章)
    出力: (簡潔な要約)
    
    指示: 「この問題をステップバイステップで解いてください」
    入力: (数学の問題)
    出力: Step 1: ... Step 2: ... 答え: ...

    このような「指示→回答」のペアを大量に学習させることで、LLMは様々な指示に適切に応答できるようになります。


    💡 OpenHermesの位置づけ

    各モデルの「Instruction Tuningデータ」の公開状況を見てみましょう。

    🔒 GPT-4(OpenAI), Claude(Anthropic),   Llama 3(Meta), Qwen2(Alibaba)

    • Instruction Tuningデータ:非公開

    ✅ OpenHermes 2.5(Teknium/コミュニティ)

    • Instruction Tuningデータ:公開!

    💡 補足: Llama 3やQwen2.5は「モデルの重み」は公開されていますが、そのモデルを賢くするために使われた「Instruction Tuningデータ」は公開されていません。

    OpenHermesは、Llama・Qwen等と同じ「Instruction Tuning」というコンセプトで作られた、公開されている最大級のデータセットです。

    OpenHermesを分析することで、最新LLMがどのような「形式」のデータで学習されているかを理解することができます。


    OpenHermes 2.5 とは?

    📊 基本情報

    開発者: Teknium(オープンソースコミュニティ)

    データ規模: 約100万サンプル

    フォーマット: ChatML形式(System/Human/GPT)

    入手先: Hugging Face

    生成元: 主にGPT-4による高品質な合成データ

    ライセンス: 一部CC-BY-NC-4.0を含む(詳細後述)


    🧩 構成要素(7種類のデータソース)

    OpenHermesは、複数の高品質データセットを統合しています。

    📦 SlimOrca 550K(約550,000件)
    → CoT(論理的推論)データが豊富 ⭐注目

    📦 Airoboros 2.2(約44,800件)⭐注目
    → 多様なタスクタイプ(コーディング、推論等)

    📦 CamelAI Domain Expert(約50,000件)
    → 科学分野の専門データ

    📦 Glaive Code Assistant(約200,000件)
    → プログラミング特化

    📦 GPTeacher(約25,000件)
    → 一般的な指示追従

    📦 ChatBot Arena(約17,000件)
    → 高品質な対話データ

    📦 Collective Cognition(約2,200件)
    → コミュニティ生成データ


    核心:Chain of Thought(CoT)データ

    🎯 なぜCoTが重要か?

    「Chain of Thought(思考の連鎖)」は、LLMに論理的思考力を与える核心的な手法です。

    【通常の回答】
    Q: 会社の利益が減少した原因は?
    A: 売上減少とコスト増加です。
    
    【CoT形式の回答】
    Q: 会社の利益が減少した原因は?
    A: 
    Step 1: まず財務諸表を確認します。売上高は前年比10%減少しています。
    Step 2: 次にコスト構造を分析します。原材料費が15%上昇しています。
    Step 3: さらに市場環境を考慮します。競合他社の価格競争が激化しています。
    Step 4: これらを総合すると、売上減少と原価上昇の複合要因が
            利益減少の主因と考えられます。

    CoT形式で学習したLLMは、複雑な問題も段階的に分析し、論理的な結論を導けるようになります。


    📌 OpenHermesのCoTデータ源

    OpenHermesに含まれるCoTデータの主なソースは以下です。

    1. SlimOrca(約55万件)

    Microsoft Orcaの研究を再現したオープンソースプロジェクト。

    元データ: FLAN Collection(Googleの多様なNLPタスク)
    生成方法: GPT-4に「ステップバイステップで考えて」と指示
    特徴: 説明トレース(Explanation Traces)を含む
    💡 FLANはOpenOrca/SlimOrcaの「種(シード)データ」として機能しています。

    2. Airoboros(約4.5万件)

    Self-Instruct方式で生成された多様なタスクデータ。

    生成方法: GPT-4/3.5が質問と回答を両方生成
    カテゴリ: cot(推論)、orca、writing、coding等
    特徴: ビジネス系の戦略分析データも含む


    📖 ビジネス系CoTの実例

    OpenHermesに含まれるビジネス系のCoTデータを実際に見てみましょう。

    Hugging FaceのDataset Viewerで、SQLクエリを使って検索しました。


    SlimOrca サンプル1:企業戦略分析

    💼 テーマ: 製品価格戦略

    Human(質問):
    「ある企業が新製品の価格設定を検討しています。競合他社より20%高い価格にすべきか、それとも同等の価格にすべきか?」

    GPT回答(CoT形式):

    Step 1: まず市場環境を分析します
    競合他社の製品仕様、価格帯、市場シェアを調査します。
    
    Step 2: 自社製品の差別化要因を特定します
    品質、機能、ブランド価値において、どの点で優位性があるかを明確にします。
    
    Step 3: ターゲット顧客の価格感度を評価します
    顧客層が価格重視か品質重視かを分析します。
    
    Step 4: 収益性シミュレーションを行います
    高価格戦略と同等価格戦略それぞれの予想売上と利益を試算します。
    
    Step 5: 結論を導きます
    差別化要因が明確で顧客が品質を重視するなら高価格戦略、
    そうでなければ同等価格で市場シェア獲得を優先すべきです。

    Airoboros サンプル:物流最適化

    💼 テーマ: 配送戦略の最適化

    Human(質問):
    「大規模食料品チェーンが配送時間を分析して製品配送戦略を最適化したい」

    GPT回答(CoT形式):

    Step 1: 現在の輸送ルートとスケジュールを分析する
    既存の配送ルート、各ルートの輸送時間、現在のスケジュールに関する
    データを収集します。
    
    Step 2: ボトルネックと非効率な部分を特定する
    データを分析し、遅延の原因となっている箇所や
    非効率な部分を特定します。
    
    Step 3: 最適化モデルを構築する
    ルート最適化アルゴリズムを適用し、
    配送時間を最小化する新しいルートを設計します。
    
    Step 4: パイロットテストを実施する
    一部の地域で新しいルートをテストし、
    効果を測定します。
    
    Step 5: 全社展開と継続的改善
    成功したモデルを全国に展開し、
    定期的なデータ分析で継続的に改善します。

    💡 これらのサンプルから学べること

    SlimOrca/Airoborosに共通するCoTの特徴:

    🔹 思考の構造化
    → Step 1→2→3...と段階的に分析

    🔹 各ステップの正当化
    → なぜそのステップが必要かを説明

    🔹 多角的視点
    → メリット・デメリット・影響を網羅

    🔹 結論の明確化
    → 最後にまとめを提示

    このCoTパターンは、様々なビジネスタスクに応用できます:

    • 戦略立案: 市場分析→競合分析→差別化戦略→実行計画

    • 問題解決: 問題定義→原因分析→解決策検討→実施→評価

    • 意思決定: 選択肢列挙→評価基準設定→比較分析→結論


    🔧 データセットはどのように作られたか?

    「こんな高品質なデータ、どうやって作ったの?」という疑問にお答えします。

    OpenOrca / SlimOrca の作成方法

    Microsoft ResearchのOrca論文の手法を再現しています。

    論文タイトル: "Orca: Progressive Learning from Complex Explanation Traces of GPT-4"

    元データ: FLAN Collection(Googleの多様なNLPタスク)
    生成エンジン: GPT-4(メイン)+ ChatGPT
    核心技術: Explanation Traces(説明トレース)の抽出
    データ規模: OpenOrca 約294万件 → SlimOrca 約50万件(フィルタリング後)

    作成フロー:

    既存NLPタスクから質問を収集(FLAN Collection)
                    ↓
    System Promptを設計
    「タスクを実行する際は、ステップバイステップで考え、
     各ステップを正当化してください」
                    ↓
    GPT-4に質問+System Promptを投げる
                    ↓
    GPT-4がCoT形式で回答を生成
                    ↓
    GPT-4で誤回答をフィルタリング
                    ↓
    SlimOrca(約50万件)完成

    Airoboros の作成方法

    Self-Instruct論文のカスタム実装です。

    手法: Self-Instruct(自己指示)方式
    シード: 人間が作成したシードを使わない(完全合成)
    生成エンジン: GPT-4 / GPT-3.5-turbo
    データ規模: 約44,800件

    作成フロー:

    LLM(GPT-4/3.5)が質問を自動生成
                    ↓
    同じLLMが自分で回答を生成
                    ↓
    カテゴリ分類(orca, cot, trivia, writing等)
                    ↓
    Airoboros(約4.5万件)完成

    🔑 核心ポイント:System Promptの設計

    OpenOrcaでは17種類のSystem Promptが使われています。これがCoT形式の回答を引き出す鍵です。

    代表的なSystem Prompt(日本語訳):

    「あなたはAIアシスタントです。ユーザーがタスクを与えます。
    あなたの目標は、できる限り忠実にタスクを完了することです。
    タスクを実行する際は、ステップバイステップで考え、
    各ステップを正当化してください。」
    「あなたは常に説明を提供する親切なアシスタントです。
    5歳児に答えるように考えてください。」

    📈 最新LLMとの関係


    Qwen2.5-Instructの例

    Hugging Faceで確認したQwen2.5-Instructの特徴:

    ✅ Instruction Following(指示追従) → 大幅に改善済み
    ✅ Coding / Mathematics → 強化済み
    ✅ Long-context(128Kトークン) → 対応
    ✅ System Promptへの耐性 → 強化済み

    つまり、Qwen2.5-InstructはすでにOpenHermesと同様の手法で学習済みです。

    📝 次回予告: 業界特化AIの具体的な作り方(LoRA/QLoRAによる追加学習、データ作成方法)については、別記事で詳しく解説します。


    ⚠️ 商用利用時のライセンス注意点

    OpenHermesを商用利用する場合、ライセンスの確認は必須です。

    ライセンス一覧

    ✅ 商用利用OK

    • SlimOrca 550K → Apache 2.0

    • Glaive Code Assistant → Apache 2.0

    • GPTeacher → MIT

    • Collective Cognition → CC0

    ✅ 商用利用OK(帰属表示必須)

    • Airoboros 2.2 → CC-BY-4.0

    • ChatBot Arena → CC-BY-4.0

    ❌ 商用利用NG

    • CamelAI Domain Expert → CC-BY-NC-4.0(非商用のみ)

    🚨 重要な警告

    OpenHermes 2.5には、CamelAI Domain Expert Datasets(CC-BY-NC-4.0 = 非商用のみ)が含まれています。


    まとめ

    ✅ この記事で分かったこと

    ✅ 最新LLMの「賢さ」はInstruction Tuningデータの質で決まる

    ✅ OpenHermesはオープンソース最大級(約100万件)のInstruction Tuningデータセット

    ✅ Meta(Llama)やAlibaba(Qwen)も同様の手法でデータを作成している

    ✅ OpenHermesを理解 = 最新LLMの作り方を理解

    ✅ SlimOrca/Airoborosには、ビジネス系のCoT(論理的推論)データが豊富

    ✅ データはGPT-4で生成されている(既存タスクにSystem Promptを付けてCoT回答を収集)

    ✅ Qwen2.5-Instruct等はすでにInstruction Tuning済みなので、業界特化データだけを追加すればOK


    📌 次回予告

    次の記事では、業界特化AIの具体的な作り方を解説します:

    • LoRA/QLoRAによる効率的な追加学習

    • 業界特化データの作成方法(OpenOrca方式/Airoboros方式)

    • Google Colab(無料GPU)での実行方法


    参考リンク

    データセット

    論文・技術資料

    学習済みモデル(活用実績)


    この記事が参考になったら、ぜひ「スキ」をお願いします!

    次回は「業界特化データの作り方」を詳しく解説予定です。お楽しみに!


    あなたへのおすすめ