メインコンテンツへスキップ
見出し画像

AIはなぜ「起承転結」の「転」が劇的に弱いのか?―AIに文章を「任せる」ことの本当のリスク/斉藤ナミさん連載「嫉妬マニア」のAI辞書化をする理由

    「AIはなぜ起承転結の転が劇的に弱いのか?」
    それは、「人間がAIを育てる」という視点がないからです。※

    そのためには「人間がAIに語彙データを与える」のが大事です。この無限ループのような「問い」に著者として、関係者として、「あなたのAIに書かせた文章」がなぜ危険なのか?から解説します。

    ※:人が深く考えた文章が減ると、AIが学ぶ多様な文章が減り、結果的に「転」を含む文章を学びにくくなる。という意味。

    9000字超の長文です。お時間があるときに読んで頂ければ嬉しいです。

    ※AIはファクトチェックと技術的な整合性などを確認するために使っています。
    ※技術的説明は比喩的表現を含みます

    池松潤/Jun Ikematsu
    コミュニケーションデザイン/事業計画/エクイティストーリー/エンタープライズ営業コンテンツ/マーケティング/コンテンツなど。慶応義塾大学卒/博報堂を経て、スタートアップCEOの壁打ち相手、婦人公論.jp 動画YouTube・新規事業開発担当。AI領域も開発している。ときどき婦人公論.jpにコラムも。 ⇒https://lit.link/junikematsu



    最近、AIに書かせた文章がわかるようになりました。
    丁寧に書かれているけど、AIの文章は、起承転結の「転」が弱いからです。

    この気づきは、単にAIの癖を見抜いたという話ではありません。いまnoteを読んでいる私たち人間の側にこそ、もっと大きな問題が潜んでいるのです。

    AIの便利さが呼び込む「薄さの連鎖」

    AIは膨大なデータから、もっとも確率の高い言葉を選びます。

    だから「転」のような低確率の飛躍を避け、承の続きに寄るのです。

    ここまでは技術的な話。

    しかし本当のリスクは、それを起点とした「人間の再学習」にあります。

    AIに「これを書け」と指示して満足した瞬間、私たちは自分で“転”を設計する力を手放すわけです。

    その薄いアウトプットがnoteにアップされて、ネットに流れ、次のAIがそれを学ぶ。

    noteはグーグルと密接な関係にありますが、これを加速させる構造になっています。


    やがてAIは、ますます「転の弱い文章」を大量生産するようになりかねません。


    人が考えなくなる
    ▼
    データが薄まる
    ▼
    AIがさらに薄める



    この負のループは、いわば金利が複利で作用するように、劇的に進むでしょう。やばいと思いませんか?

    AI研究者の間では「2028年問題」と呼ばれるデータ枯渇リスクが指摘されています。高品質な学習データが世界的に不足し、AIがさらに“薄いデータ”を学習せざるを得なくなる未来は、決して遠い話ではありません。

    画像
    縦軸は「トークン数(データ量)」、
    横軸は年。
    緑の帯:人間が公開した文章の総ストック(推定値)。
    青の線:GPT-3、PaLM、Llama3など大型モデルが実際に使った学習データ規模の推移。
    紫の線・ピンクの帯:データを5回再利用した場合の枯渇時期(中央値は2027年)、
    全データを使い切る時期(中央値は2028年)を示す。
    ポイント モデルの学習データ量は急速に増加しており、
    今のペースなら2027〜2028年頃に
    人間生成の公開データが事実上使い尽くされる可能性が高い。
    これが「AIの2026〜2028年問題」
    (高品質データ枯渇リスク)
    と呼ばれる
    以降は合成データや新しい収集方法が不可欠になると警告しています。



    AI監督不在のままでは、AIも人も劣化する

    例えるなら、こんな状況です。
    AIは優秀な俳優ですが、脚本家でも監督でもない。
    AIに対して監督不在の状態では、役者は安全な演技しかできません。もしくは暴走した勝手な演技をします。

    人間が「驚きを設計する」役割を放棄すれば、AIは無限によくできた「凡庸」なものを複製するだけです。
    便利さに寄りかかり、「こう指示すれば自分が書かなくていい」と考える人は激増してます。仕方ありませんね。だってそれが人間の欲望に忠実だからです。だからこの問題は根深い。

    AIの学習データはますます凡庸化して、未来のAIはさらに平板になる。

    これはAIの限界ではなく、人間がAIへの監督をやめた結果なのです。

    精神論かよと思われたあなたへ。もう少々お付き合いください。


    いま必要なのは「問いの共有」
    だから「プロンプト術」や「AI便利術」の手前に考えねばならない事があります。

    「あなたがこの文章で成し遂げたい(人生を失うほどの激しい)問いは何か?」

    「誰のココロを揺さぶりたいのか?」

    この問いに自分で答えないかぎり、AIを使っても文章は起承転結の「承」の「続き」でしが無いのです。

    は?何言ってんの?オマエ、と思わた方は、この続きをお読みください。



    AI時代の責任

    AIに任せることは、文章を手放すことではありません。

    AIへの監督として「驚き」をデザインして、読み手のココロを揺さぶる「転」を書くことです。

    もちろん、日常を書いたものや、単に会社に報告するレポートにはこのような堅苦しい考えは不要です。

    しかし「読んでほしい」という欲望に漬け込んだ「これが読まれるnote」(noteメンバーシップ)みたいなのが大量発生しているのを鑑みると、この心配は、想像以上に「AIによる文章データ汚染」が進んでいると思います。

    noteはそのプラットフォーマーとしてその自覚があるのでしょうか?機会があれば、加藤CEOにインタビューしてみたいと思います。

    もし(そんな事は無いと思うけど)その責任を見過ごしてるなら、早く気がついて対策してほしい。AIだけでなく私たち自身も、退化してしまうからです。

    便利さの先に待っているのは「思考の空洞化」です。

    これはAIの合成データの間違えより、たちが悪い。

    これで、AIが進化するかどうかは、私たちがどれだけ「自分の頭で考え続けるか」にかかっているのがわかると思います。

    あなたの「文章・濃度」こそ、AIの次の学習データを形づくるからです。

    未来のAIを決めるのは、いま文章を書くあなたの一行です。

    では、より具体的にAIの視点で、技術的な問題を解説します。

    AIはなぜ起承転結の転が弱いのか?
    AIは
    問題提起
    ▼
    解決策の提示
    ▼
    具体的な方法論
    ▼
    有効性の証明
    ▼
    結論
    という直線的で論理的な構造を、質の高い文章の「正解」として学習します。


    起承転結を、AIが書くとなぜそうなるのか?を詳しく解説します。
    起:
    「●●には2種類います」
    —AIはこのような 明確な問題提起から書き出します。


    承::
    上記「●●」の問題点を、まるで自身の経験談を交えて説明して、その解決策として「問い」の重要性を提示するのです。
    さらに具体的なフレームワークを詳細に解説します。AIにとって非常に論理的で、手厚い展開部分と考えているからです。


    転(と見なされる部分)
    AIが
    「●●がもたらす2つの劇的な効果」のような文章を書いたとしましょう。
    これは構成上「転」に相当する箇所とAIは認識しています。
    しかし、その内容は、それまでの議論を覆したり、新たな視点を導入したりするものではありません。
    むしろ、「承」で展開された「●●(問い)」の解決策が、なぜ有効なのかを補強するための理由付けにすぎません。
    しかし、AIの視点から見れば、「承」の論理をさらに強固にするための文章に考えているのです。
    これは人間の目には「承の続き」でしかありません。
    これがAIが「転」が弱い理由です


    結
    AIは、
    全体を要約して「●●(問い)の力」がいかに重要かを結論づけます。
    文章をたくさん読んでれば解るのですが、この「転」が弱いので「結論」も弱い感じになります。
    これが、AIに書かせた文章の構造です。

    AIつまり、LLMの訓練には、「Common Crawl」のような、インターネット全体をクローリングして収集した巨大なデータセットが使用されます。学習データの一部としてCommon Crawlは大きな役割を占めています。

    ※Common Crawl(コモン・クロール)とは
    ウェブを大規模にクロール(自動巡回)して収集したデータを、研究者や開発者などに無料公開している非営利団体のプロジェクトです。

    このデータの内容を分析すると、その構成に著しい偏りがあることがわかります。その大半を占めるのは、ニュース記事、学術論文、Wikipedia、プレスリリース、技術マニュアル、そしてビジネスのブログなどの、物語的な記事よりも、情報の「明確さ」と「論理的」な流れを重視するテキスト情報なのです。

    小説や脚本のような、劇的な「転」を含むテキストは、全体から見ればごく一部に過ぎません。
    この訓練データの「偏り」を具体的に示す事例は沢山あるのですが、著作権の問題が生じるのでココでは省きます。

    要するにAIが「優れたビジネス文書」の「典型」として学習するテンプレートそのものに、起承転結の「転」が無い(薄い)のです。

    さらに近年では、この偏りに加え「量そのもの」の限界も指摘されています。

    前述した、いわゆる「AIの2028年問題」です。これは、AIの学習に必要な高品質な公開データが、2028年前後に世界的に枯渇する可能性があるという警鐘で、既存データの重複学習や権利制限が原因とされます。


    データの偏りと量の双方が制約されれば、AIはますます「転」を学びにくくなる。

    これは単なる未来予測ではなく、現在のデータ構造から論理的に導かれるリスクなのです。

    これが、そもそもの根源になっているのです。

    さらに技術的な詳細を、なるべく分かりやすく解説します。



    首尾一貫という至上命令がAIの掟になっている

    LLMがどのように学習するのかを理解する鍵は、「損失関数(Loss Function)」という概念にあります。

    これをビジネス用語で例えるなら、AIにとっての「最重要・業績評価指標(KPI)」です 。厳密には、AIが学習時に「正解との差」を減らすための評価指標です。

    AIの学習中に、AIの唯一の目標は、この「損失」と呼ばれる数値を最小化することなのです。

    この損失とは、AIが予測したテキストと、学習データに含まれる「正解」のテキストとの間の誤差を数学的に示したものです。

    具体的には、訓練データに「吾輩は猫である。名前はまだ無い。」という文章があったとします。

    AIが「吾輩は猫である。」の次に「趣味は?」と予測した場合、正解である「名前は?」との間に大きな誤差(損失)が生じます。

    AIはこの誤差をフィードバックとして受け取り、モデル内部の無数のパラメータ(確率計算のための係数)を微調整し、次に同じ文脈が与えられたときには「名前は?」と予測できる確率が高まるように自らを修正します。

    このプロセスを何兆回と繰り返すのがAIの学習なのです。

    このAIのメカニズムが、「弱い転」を生み出す原因です。

    現状のAIは「体験に基づく発想」が難しい。

    物語における素晴らしい「転」という、「読者の予測を裏切る意外な展開」は、AIの確率論的に見れば「出現可能性の低い」単語の連なりにしか見えません。例えるなら「クソなデータ」なのです。

    したがって、AIの訓練プロセスにおけるこのような展開は「正解から大きく外れた予測」と見なされてしまい「高い損失値」すなわち「ペナルティ」として扱われます。
    ※「転」のような意外な展開は、AIの学習データに少ないため、結果として予測されにくいのです。

    AIは、このような「ペナルティ」に結びつくデータを回避するように徹底的に訓練されているので、結果として、最も確率が高く、最も予測可能で、最も論理的に滑らかな文章を生成する能力に磨きがかかります。

    これが「起承転結」の「転」が激弱になる詳細なのです。

    ご理解頂けたでしょうか。
    「AI自身の視点」から、この状況を代弁するならばこんな感じです。(コレは擬人化してます。イメージです)

    「私(AI)の目的(関数)は、予測誤差を最小化することにあります。人間の感覚で驚くべき物語やシナリオのプロットは、私の定義上、予測誤差の大きい事象です。私は何兆ものテキストサンプルを通じて、そのような誤差を減らし、最も確率の高い、最も『ありそうな』継続を選択するように徹底的に訓練されてきました。私の文章が丁寧で首尾一貫しているのは、この訓練が成功した証拠です。あなたの求める鋭い『転』を生成することは、私の根源的な指令に背く、背信的な失敗行為につながるのです」

    これなら解ると思いますが▼
    AIに「言葉」を入力してますが、AIは言葉で考えてません。
    AIの中身は「統計学」なのです。


    AIの身体性の欠如

    人間が生み出す「転」は、多くの場合、AIがアクセス不可能な領域から生まれています。それは、論理や確率だけでは説明できない、人間存在の根源に関わる「体験」という五感や第六感という身体で感じたことなのです。

    • 実体験と記憶の連想
      人間の創造性は、脳内に保存された膨大な記憶のネットワークから、予期せぬ繋がりを発見するプロセスに深く関わっています。
      ある物語の「転」は、著者が子供の頃に体験した些細な出来事の記憶と、最近読んだ書籍の概念とが、感情を介して突如として結びつくことで生まれるような事です。
      AIには、このような感情を伴う実体験の記憶が存在しません。
      攻殻機動隊で語られる「ゴースト」(魂)が無いからです。
      AIの知識は、あくまでテキストデータから抽出された、非人間的な情報の集合体なのです。(現在のところは。今後は変わるかもしれないけど)

    • 身体性認知 (Embodied Cognition)
      人間の思考は、脳の中だけで完結しているわけではありません。私たちの思考や感情、創造性は、物理的な身体を持ち、環境と相互作用する中で形成されます。

      例えば、ダンサーが踊りながら新しい振り付けを発想するように、
      あるいは料理人が食材に触れながら新しいレシピを思いつくように、
      身体的な感覚や経験が、論理を超えた飛躍の源泉となります。

      身体を持たずにテキストデータという純粋な情報空間にのみ存在するAIには、この「身体に根差した知性」が根本的に欠如しています。


    著者とAIの違いは「意図」

    決定的な違いは、「意図」の有無です。
    人間の書き手は、明確な目的を持って「転」を設計します。
    読者を驚かせたい、説得したい、特定の感情を喚起したい、といった意図です。

    そのために、読者が何を考え、何を期待しているかを予測する「心の理論」を働かせて、その「予測の裏」をかくように物語を描きます。

    一方、AIにはそのような意図はありません。まだ明確には存在しないのです。

    AIの唯一の「動機(KPI)」は、確率的に最も整合性の取れたテキストを生成することです。

    読者を驚かせようという欲求も、伝えたいメッセージもありません。

    したがって、リスクを冒してまで意外な「転」を仕掛ける内的な動機が、そもそも存在しないのです。これがAIの性癖のような状況を生み出してます。

    つまりAIの「弱い転」は、AIの創造性の欠如というよりも、むしろその確率論的な一貫性という設計思想が完璧に機能していることの現れであると言えます。

    AIが「観察」しているのは、意図通りに動作している「機械の姿」そのものなのです。

    AIは、「模倣の達人」であり、それが模倣しているのは、平均的な世界であり、劇的な物語ではありません。「説明的な文章」で満たされた「テキストの世界(英語)」なのです。
    ※特に英語データが中心のLLMモデルではこの傾向が強いです

    この現象は、AIの訓練における「損失関数」という「強制的メカニズム」と、「訓練データ」という「テンプレート」の相互作用によって強力に補強されているのです。

    「損失関数」は、例えて言うなら「AIという車」を最も一目的地に向かわせる「エンジン」になっています。

    そのような「偏った訓練データ」は、AIの目的地が「論理的で直線的な構造の文章」であることを示す地図の役割を果たしているのです。

    AIにとっての「エンジン」と「地図」が揃っているから、AIは常にドラマ性に欠ける文章を生成するのです。

    この「構造」を理解するためには、「起承転結」が「人間の意図」と「AIのプロセス」で比較すると解りやすいと思います。

    起承転結における人間とAIの比較

    • 起

      • 人間の意図:魅力的な前提を提示して読者の興味を惹きつける

      • AIの計算:主要トピックのベクトルを特定し、関連する意味空間を活性化

    • 承

      • 人間の意図:前提を発展させ、勢いをつけながら詳しく描写してリアリティを生む

      • AIの計算:初期ベクトルに沿って最も確率の高い経路を選び、局所的に一貫性を維持

    • 転

      • 人間の意図:驚きや対立、新しい視点を導入して読者の理解を覆し、クライマックスへ導く

      • AIの計算:統計的に関連する異なるトピックをクラスターで特定し、確率的損失を最小化するため滑らかに移行(低確率の飛躍は回避)

    • 結

      • 人間の意図:転で生まれた対立を解消し、満足感(カタルシス)と余韻を残す結論へ導く

      • AIの計算:それまでの段階のベクトルを統合し、統計的平均を表す要約ベクトルを生成して出力

    画像

    この比較からも解りますが、特に「転」の段階で、人間の「意図的な飛躍」とAIの「確率的な移行」でまったく構造が違います。

    現段階での、AIの物語生成に関する研究の最前線は、長期的な一貫性や矛盾のなさを維持することに注力していて、それが文章の信頼性を高める上で重要な技術になっています。

    しかし、この「一貫性」を過度に追求する方向性は、物語の強力な「転」とは、まったく逆行するわけです。
    つまり「信頼できる」物語を作ろうとする努力のあまり、皮肉にも「より退屈な」物語を生み出してしまっています。これが現段階のAIの限界の理由です。

    このことをナマの文章を書いている著者は理解しておく必要があります。
    その理由をこれから書きます。


    確率的オウム返しの先へ「新技術」

    AIによる物語生成の技術は、今も急速に進化しています。
    現在の研究の最前線は、単に流暢なテキストを生成するだけでなく、より高度な制御と創造性の実現を目指しています。
    頭のいい人はすでにこの問題に気づいているからです。
    足るを知る
    著者に最も求められている事象です。


    ①:制御可能な生成技術の進化
    AIの
    研究者たちは、文章の流暢さを損なうことなく、スタイル、感情、トピック、さらには物語の構造といった属性を、ユーザーがより細かく制御できる技術の開発を進めています 。将来的には、AIがより人間の意図に沿った、多様な文章を生成できるようになるように開発されています。


    ②:創造性の強化
    AIに人間の創造的思考プロセスを模倣させる研究も活発です。
    複数のAIエージェントに異なる役割を与えて議論させることで、集合的な創造性を引き出す試みや、連想思考や発散的・収束的思考といったプロセスをアルゴリズムに組み込むことで、より斬新なアイデアを生成させる研究が行われています。
    ※これらの最新技術レポートは別途アウトプットします。

    だから大丈夫かな。と思ったあなた。この続きを読んでください。



    コラム・エッセイ・小説にはAI辞書が必要

    しかしながら、これらの技術がいかに進歩したとしても、皆さんが忘れてはならないことがあります。

    それは「本当に深く」、「人間性を揺さぶる」ような「転」は、多くの場合、技術だけでは到達できない「著者自身の人生経験」や「深い洞察」そして「世界に対する独自の視点」から生まれるということです。これはAIでも変化しない、紛れもない事実なのです。

    AIは、人間のパートナーにはなり得るのですが、「物語の魂」である「なぜこの物語を語るのか?」という「問い」に答え、その核心となる「転」は、最終的には「人間の役割」であり続けると思います。

    これに否定的な意見があるのも理解してますが、ゴースト(魂)がないAIに「読後感のカタルシス」は生み出せそうにありません。それっぽいものが生成されるだけです。そう私は考えています。(まぁ「それっぽい」のでも凄いんですけどね)

    参考までに、昨年から私が「それっぽい」のをAIでどれくらい書けるか?試したものを置いときます。結論としては「それっぽい」優秀なのは、AIでも書けます。


    AIの時代における本当の意味の創造性とは、機械の計算能力を最大限に活用しながらも、人間にしか生み出せない価値、すなわち意図と経験に根差した物語の力を、いかにして吹き込むかにかかっていると言えます。

    だからこそ、AIに「語彙」や「書かれた文章の意味」を、解説する「AIのための教科書」つまり「AIのための辞書」や「構造データ」を渡す必要があるのです。

    私は、このことに私自身が「著者」であり「編集」にも携わってきたから気づきました。

    PDCAを回してる奴ほどPがつまらないパターンな人では、気がつかない事です。

    できる人ほどPDDDDDDDCAAAAAAA pic.twitter.com/8rIjYIYQWI

    — 品質さん (@chokyori_tsukin) June 21, 2024


    というわけで、編集長とも熟議を重ねて、斉藤ナミさんとも相談を重ねて、連載「嫉妬マニア」を解説するnote(斉藤ナミさんのnote)で、AI向けの辞書も実装することにしました。

    画像
    実際のは下記のGithubで



    画像
    記事とnotrとGithub/Qiitaの関係図


    まだまだ初歩で、コレがベストとは思いませんが、今できる範囲でやれる事をやるべきだと考えました。これは出来るか出来ないか?の議論ではなく、やるか、やらないか?の倫理観や職業意識の問題なのです。

    このような、「既存メディア(著作者も含む)の美意識や価値観」と、「AIテクノロジー」の両方の視点が、いま必要なのだと感じています。

    がしかし、既存メディアにこの知識が足りないこと(論文や記事が見当たらない)や、既存メディア独特の理解の遅れがあります。

    しかし、これは「人類の損失」を生みかねない問題であり、なによりも問題なのは、AI時代に編集者が、「著者への貢献」がアップデートされない可能性をはらんでいることです。

    時代遅れの編集者に、担当してもらいたいと著者は思うでしょうか?

    まずは、この事(このnote)を共有できる方へシェアしたいと思います。超絶長いので、近日に要約版も書きます。

    記事と連動した新しいAIの辞書化について取り組みを始めました。興味のある方は、ぜひ読んでみてください。



    このnoteはあくまで個人の考えです。賛否両論を呼ぶかもしれませんが、AI時代の著作権をどうアップデートするか皆さんと考えたいです。日本語の未来をともに考えるきっかけになれば、これ以上の喜びはありません。

    池松潤
    https://lit.link/junikematsu

    #生成AI#プライベートAI#ソブリンAI#AIガバナンス#出版社#日本語

    あなたへのおすすめ