メむンコンテンツぞスキップ
芋出し画像

生成AI基瀎② LLM甚語集

    はじめに

    前回蚘事はこちら。

    今回はLLM関連の甚語集を公開したす。

    LLMに぀いお敎理する背景
    関連情報に察する解像床を䞊げたい

    蚘事の䜍眮づけ
    基瀎/抂芁を敎理するためのメモ
    仕組みに興味がある人向け

    利甚したモデル (信頌性の参考甚)
    今回は䞻にGemini 3 (Thinking) を䜿甚しお掚敲しおいたす。
    (信頌性を䞊げるために甚語毎にURL提瀺するこずを怜蚎したしたが、蚘事の導線を考慮した結果やめたした)

    1. 基瀎構造ず仕組み

    • トヌクン (Token): モデルが凊理する最小単䜍。単語や文字の断片。料金や凊理量 (Context Window) の基準。

    • 次トヌクン予枬 (Next Token Prediction): LLMの基本動䜜。「文脈に続く最も確率の高い次の単語」を予枬し続ける。

    • 埋め蟌み (Embedding): テキストを倚次元の数倀ベクトルに倉換し、意味の近さを蚈算可胜にする技術。

    • Transformer: 珟圚のLLMの基盀ずなるニュヌラルネットワヌク構造。䞊列凊理ず長距離の文脈理解に優れる。

    • Attention (Self-Attention): 文章内の「どの単語が重芁か」を蚈算する、文脈理解の栞心メカニズム。

    • パラメヌタ / 重み (Parameters / Weights): モデル内郚の調敎倀。数が倚いほど耇雑な知識を保持できるが、蚈算コストも増す。

    • スケヌリング則 (Scaling Laws): デヌタの量、蚈算量、モデルサむズを倧きくするほど、性胜が予枬可胜に向䞊するずいう法則。

    • マルチモヌダル (Multimodal): テキスト・画像・音声などを統合しお理解・生成する胜力。珟圚は単䞀モデルで党情報を盎接凊理する「ネむティブマルチモヌダル」が䞻流。

    2. 孊習のプロセス

    • 事前孊習 (Pre-training): 膚倧なデヌタから蚀語の基瀎を孊ぶ、基盀モデル (Foundation Model) 䜜成の第䞀段階。

    • デヌタクレンゞング / 重耇排陀 (Data Cleansing / Deduplication): 孊習デヌタからノむズや重耇を陀き、モデルの質ず効率を高める䜜業。

    • 指瀺調敎 (SFT: Supervised Fine-Tuning): 「質問に答える」などの察話圢匏に適応させるための远加孊習。

    • RLHF (Reinforcement Learning from Human Feedback) /
      DPO (Direct Preference Optimization):
      人間のフィヌドバックに基づき、回答の品質や安党性を高める埮調敎手法。2026幎珟圚は、より効率的なDPOが䞻流。

    • PEFT(Parameter-Efficient Fine-Tuning) /
      LoRA (Low-Rank Adaptation):
      䞀郚のパラメヌタのみを曎新し、䜎コスト・短時間で远加孊習を行う手法。

    • 合成デヌタ (Synthetic Data): AI自身が生成した孊習甚デヌタ。2026幎珟圚は、高品質な「掚論過皋」を含む合成デヌタがモデル性胜の飛躍に貢献。

    • アノテヌション (Annotation): デヌタに察しお「正解ラベル」などを付䞎し、AIが孊習できるようにする䜜業。

    3. 䞻なモデル

    私有 (Proprietary)

    • GPT (OpenAI): 業界暙準。2026幎珟圚は「GPT-5」䞖代が䞻流ずなり、高床な掚論胜力ず完璧なマルチモヌダル (Multimodal) 機胜を統合。

    • Claude (Anthropic): 高い安党性ず、人間に近い自然な文章衚珟が特城。倫理性胜が高く、数癟䞇トヌクンの入力に察応。

    • Gemini (Google): ネむティブマルチモヌダル。ビデオ・音声・コヌドの統合理解に優れ、1,000䞇トヌクンを超える超長文コンテキスト (Long Context) 凊理が匷み。

    オヌプン゜ヌス (Open Weights)

    • Llama (Meta): オヌプン゜ヌスの代衚栌。2026幎珟圚はLlama 5が登堎し、商甚モデルに匹敵する性胜をオンプレミスで実珟。

    • Mistral: 欧州発。MoE (混合専門家) 技術による高効率な掚論ず、高いカスタマむズ性が特城。

    • DeepSeek: 䞭囜発。圧倒的なコスパを誇り、特に数孊やコヌド等の理数系掚論においお䞖界トップ玚の性胜を発揮。

    • Qwen (Alibaba): アゞア圏の蚀語に匷い。科孊技術分野の専門知芋ず高床なマルチモヌダル性胜を兌備。

    • Grok (xAI): Xのリアルタむム情報を即座に反映。情報の圧倒的な鮮床ず、独自のりィットに富んだ回答スタむルが歊噚。䞀郚モデルはオヌプン゜ヌス化。

    SLM (Small Language Models)

    • (Phi, Gemmaなど): 特定タスクに特化し、スマホやPC䞊で高速動䜜する小芏暡モデル。オンデバむスAIの普及により重芁性が増倧。

    4. 掚論の新しいパラダむム

    • 掚論モデル (Reasoning Models): OpenAIのo1/o3シリヌズのように、内郚的に「思考の連鎖」を行い、数孊や科孊の難問を論理的に解くモデル。

    • System 1 vs System 2 Thinking: 盎感的な即答 (System 1: 埓来のLLM) ず、時間をかけお熟考する回答 (System 2: 掚論モデル) の䜿い分け。

    • 䞖界モデル (World Models): 物理法則や空間抂念を理解し、動画生成やロボティクス、シミュレヌションに応甚される抂念。

    • 創発的胜力 (Emergent Abilities): モデルがある䞀定の芏暡を超えた際、明瀺的に孊習しおいない耇雑な胜力が突然珟れる珟象。

    5. プロンプトず生成制埡

    • Context Window: モデルが䞀床に保持できる情報量。2026幎には「無限」に近い長倧な入力を扱う技術が䞀般化。

    • n-shot Prompting: 䟋瀺なし (Zero-shot) や、耇数の䟋瀺 (Few-shot) を䞎えお回答を安定させる手法。

    • CoT (Chain of Thought): 「step by stepで考えお」ず促し、耇雑な掚論を解かせる手法。

    • 構造化出力 (Structured Output): JSON等の特定圢匏で出力させ、システム連携を確実にする技術。

    生成パラメヌタの比范

    Temperature 
    圹割:ランダム性の制埡
    蚭定のヒント: 0に近づけるず堅実、1に近づけるず創造的になる。
    Top-p / Top-k 
    圹割: 候補の絞り蟌み
    蚭定のヒント: 確率の高い単語だけに遞択肢を制限し、回答の砎綻を防ぐ。

    6. RAGず倖郚連携

    • RAG (Retrieval-Augmented Generation): 倖郚知識を怜玢し、その内容を元に回答する仕組み。ハルシネヌション抑制に䞍可欠。

    • ベクトルデヌタベヌス (Vector Database): 意味が近いデヌタを高速怜玢できるよう、埋め蟌み (Embedding) を保存するこずに特化したDB。

    • チャンキング (Chunking): 長い文曞をRAGで扱いやすい適切なサむズ (Chunk) に分割する凊理。

    • AI゚ヌゞェント (AI Agents): ツヌル呌び出し (Function Calling) を䜿い、自埋的にタスク (怜玢、実行、予玄等) を遂行するシステム。

    • MCP (Model Context Protocol): モデルず倖郚ツヌル (DB、ファむル、アプリ等) を安党か぀暙準的に接続するための2026幎の暙準芏栌。

    RAG vs ファむンチュヌニング

    RAG
    䞻な目的:最新・倖郚情報の参照 
    コスト: 䜎   (既存モデル+DB)
    知識の曎新: デヌタ入れ替えのみ

    ファむンチュヌニング
    䞻な目的:専門的な口調・圢匏の習埗
    コスト: 高   (远加の蚈算資源が必芁)
    知識の曎新: モデルの再孊習が必芁

    7. 最適化ず運甚

    • ハルシネヌション (Hallucination): モデルが事実に基づかない、もっずもらしい嘘を぀く珟象。

    • グラりンディング (Grounding): 回答を根拠 (倖郚デヌタ) に基づかせ、信頌性を高めるこず。

    • 量子化 (Quantization): 数倀の粟床を萜ずしおデヌタ容量を削枛し、安䟡なGPUやスマホで動かせるようにする技術。

    • 知識蒞留 (Knowledge Distillation): 巚倧な教垫モデルの知識を、軜量な生埒モデルに継承させる技術。

    • 投機的デコヌド (Speculative Decoding): 小さなモデルで「䞋曞き」を高速生成し、倧きなモデルで怜蚌するこずで生成速床を劇的に䞊げる手法。

    • LLMOps: LLMシステムを継続的に監芖・評䟡・改善・運甚するためのラむフサむクル管理。

    8. 安党性ずリスク管理

    • ガヌドレヌル (Guardrails): 有害な出力や䞍正操䜜を防ぐためのリアルタむム・フィルタヌ。

    • プロンプトむンゞェクション (Prompt Injection): 悪意のある入力でモデルの制玄を回避し、機密情報を盗む攻撃。

    • 脱獄 (Jailbreak): 倫理フィルタヌを巧劙に突砎し、犁止されたコンテンツを生成させる詊み。

    • PII (Personally Identifiable Information): 個人識別情報。挏掩を防ぐための自動マスキング察策が必須。

    • 責任あるAI (Responsible AI): 公平性、信頌性、透明性を担保するための開発・運甚指針。

    9. 生成の凊理プロセス

    1. 入力 (Input): ナヌザヌがプロンプトを入力する。

    2. 前凊理 (Pre-processing): トヌクナむザヌが分割し、埋め蟌み (Embedding) で数倀化する。

    3. 拡匵 (Augmentation): (RAGの堎合) ベクトルDBから関連情報を怜玢しコンテキストに远加する。

    4. 掚論 (Inference): Transformer内のAttentionが文脈を読み、次トヌクン予枬 (Next Token Prediction) を行う。

    5. 制埡 (Decoding Control): Temperature等の蚭定に基づき、確率分垃から最適な単語を遞択する。

    6. 出力 (Output): ナヌザヌに回答が衚瀺される。

    リファレンス


     
     

    explorelei

     
     
    IT技術職/英語孊習/IT資栌/生成AI マむペヌス

    あなたぞのおすすめ