ใƒกใ‚คใƒณใ‚ณใƒณใƒ†ใƒณใƒ„ใธใ‚นใ‚ญใƒƒใƒ—
่ฆ‹ๅ‡บใ—็”ปๅƒ

LLM#10 70ๅ„„ๅ€‹ใฎใƒขใƒ‡ใƒซใฎไธญ่บซใ‚’ๆ‰‹ใงๆ•ฐใˆใŸใ‚‰ใ€1ๅ€‹ใ‚‚้•ใ‚ใชใ‹ใฃใŸใ€‚ใใ‚Œใงใ‚‚ Q4_K_M ใ ใ‘ใฏใ€ใพใ ่ชฌๆ˜Žใงใใชใ„

    ้€ฃ่ผ‰ใ€ŒLLMใฎไป•็ต„ใฟใ‚’ใ€ไฝœใ‚ŠใชใŒใ‚‰็†่งฃใ™ใ‚‹ใ€
    ็ฌฌ10ๅ›ž
    ใ€€70ๅ„„ๅ€‹ใฎใƒขใƒ‡ใƒซใฎไธญ่บซใ‚’ๆ‰‹ใงๆ•ฐใˆใŸใ‚‰ใ€1ๅ€‹ใ‚‚้•ใ‚ใชใ‹ใฃใŸใ€‚ใใ‚Œใงใ‚‚ Q4_K_M ใ ใ‘ใฏใ€ใพใ ่ชฌๆ˜Žใงใใชใ„

    ใฉใ†ใ‚‚ใงใ™๏ผใˆใ‚€ใ—ใ‚“ใงใ™ใ€‚

    ๆœ€็ต‚ๅ›žใงใ™ใ€‚

    ใ“ใฎ้€ฃ่ผ‰ใฏใ€่จญๅฎšใƒ•ใ‚กใ‚คใƒซใซๆ›ธใ„ใŸ4่กŒใ‹ใ‚‰ๅง‹ใพใ‚Šใพใ—ใŸใ€‚

    temperature   0.7
    top_p         0.9
    top_k         40
    num_ctx       4096

    ใฉใ“ใ‹ใง่ฆ‹ใŸ่จญๅฎšใ‚’ๅ†™ใ—ใŸใ ใ‘ใงใ€ๆ„ๅ‘ณใฏไธ€ใคใ‚‚่ชฌๆ˜Žใงใใพใ›ใ‚“ใงใ—ใŸใ€‚
    ่‡ชๅˆ†ใŒใ‚„ใฃใฆใ„ใ‚‹ใฎใฏ่ชฟๆ•ดใงใฏใชใใŠใพใ˜ใชใ„ใ ใจๆฐ—ใฅใ„ใฆใ€
    ใใ‚Œใชใ‚‰ไธญ่บซใ‚’ไฝœใฃใฆใฟใ‚ˆใ†ใจๆ€ใฃใŸใฎใŒๅ‡บ็™บ็‚นใงใ™ใ€‚

    ใพใšใ€็ญ”ใˆๅˆใ‚ใ›ใ‚’ใ—ใพใ™ใ€‚


    4่กŒใฏใ€ใ“ใ†ใงใ—ใŸ

    temperature 0.7 ใฏใ€็ขบ็އใ‚’ๅ‡บใ™ๅ‰ใฎใ‚นใ‚ณใ‚ขใ‚’0.7ใงๅ‰ฒใ‚‹ๅ‰ฒใ‚Š็ฎ—1ๅ€‹ใงใ—ใŸใ€‚
    ๅ€™่ฃœใ‚’ไฝœใ‚Šใพใ›ใ‚“ใ€‚้ †ไฝใ‚‚ๅค‰ใˆใพใ›ใ‚“ใ€‚ใ™ใงใซ้–‹ใ„ใฆใ„ใ‚‹ๅทฎใ‚’ใ€ใ•ใ‚‰ใซ้–‹ใใ ใ‘ใ€‚
    ใ†ใกใฎใƒขใƒ‡ใƒซใง100ๅ›ž่ฉฆใ—ใŸใ‚‰ใ€99ๅ›žใฏใชใซใ‚‚่ตทใใพใ›ใ‚“ใงใ—ใŸใ€‚
    ๅŠนใใฎใฏๅˆ†ๅฒ็‚นใ ใ‘ใงใ€ใใฎๅˆ†ๅฒ็‚นใŒ198ๆ–‡ๅญ—ใฎไธญใซ1ใ‹ๆ‰€ใ—ใ‹ใชใ‹ใฃใŸใ‹ใ‚‰ใงใ™ใ€‚
    ใ€Œๅ‰ต้€ ๆ€งใฎใคใพใฟใ€ใงใฏใ‚ใ‚Šใพใ›ใ‚“ใงใ—ใŸใ€‚

    top_p 0.9 ใฎ0.9ใฏใ€็ขบ็އใฎๅˆ่จˆใฎ0.9ใงใ—ใŸใ€‚
    ้ซ˜ใ„้ †ใซ่ถณใ—ใฆใ„ใฃใฆใ€0.9ใซๅฑŠใ„ใŸใจใ“ใ‚ใงๆ‰“ใกๅˆ‡ใ‚‹ใ€‚
    ๆฎ‹ใ‚‹ๅ€™่ฃœใฏๅ ด้ขใซใ‚ˆใฃใฆ1ๅ€‹ใ‹ใ‚‰74ๅ€‹ใพใงไผธใณ็ธฎใฟใ—ใพใ™ใ€‚

    top_k 40 ใฏใ€ๅธธใซ40ๅ€‹ใ€‚่ฟทใฃใฆใ„ใชใ„ๅ ด้ขใงใ‚‚ใ€ใ„ใ‚‰ใชใ„39ๅ€‹ใ‚’ๆฎ‹ใ—ใพใ™ใ€‚
    ใ“ใฎ2ใคใฏๆธฉๅบฆใจใฏๅฝนๅ‰ฒใŒ้•ใฃใฆใ€้…ใ‚‹็›ธๆ‰‹ใ‚’ไฝ•ไบบใพใงใซใ™ใ‚‹ใ‹ใฎใคใพใฟใงใ—ใŸใ€‚

    num_ctx 4096 ใฎ4096ใฏใ€ๆ–‡ๅญ—ๆ•ฐใงใฏใชใใƒˆใƒผใ‚ฏใƒณๆ•ฐใ€‚
    ๆ—ฅๆœฌ่ชžใ ใจใ€ใ†ใกใฎ198ๆ–‡ๅญ—ใŒใƒขใƒ‡ใƒซใซใ‚ˆใฃใฆ107ใ‹ใ‚‰165ใƒˆใƒผใ‚ฏใƒณใซใชใ‚Šใพใ™ใ€‚
    ใใ—ใฆ4096ใ‚’็ขบไฟใ™ใ‚‹ใจใ€ใƒขใƒ‡ใƒซๆœฌไฝ“ใจใฏๅˆฅใซ2ใ‚ฎใ‚ฌใ‚’ๆŒใฃใฆใ„ใ‹ใ‚Œใ‚‹ใ€‚
    ้ŽๅŽปใฎKใจVใ‚’ๅ–ใฃใฆใŠใ็ฝฎใๅ ดใงใ€็ณปๅˆ—้•ทใซใใ‚Œใ„ใซๆฏ”ไพ‹ใ—ใพใ™ใ€‚

    4่กŒใจใ‚‚ใ€่ชฌๆ˜Žใงใใ‚‹ใ‚ˆใ†ใซใชใ‚Šใพใ—ใŸใ€‚

    ใงใ‚‚ใ€ใใ‚Œใ ใ‘ใ ใจใ€Œ่งฃ่ชฌใ‚’่ชญใ‚“ใง็ดๅพ—ใ—ใŸใ€ใฎใจๅค‰ใ‚ใ‚Šใพใ›ใ‚“ใ€‚
    ๆœฌๅฝ“ใซๅˆ†ใ‹ใฃใŸใฎใ‹ใ€่‡ชๅˆ†ใง็ขบใ‹ใ‚ใ‚‹ๆ–นๆณ•ใ‚’่€ƒใˆใพใ—ใŸใ€‚


    ๆ‰‹ๅ…ƒใฎใƒขใƒ‡ใƒซใ‚’ใ€ๆ‰‹ใงๆ•ฐใˆใฆใฟใŸ

    ๆ€ใ„ใคใ„ใŸใฎใฏใ€ใƒ‘ใƒฉใƒกใƒผใ‚ฟๆ•ฐใ‚’่‡ชๅˆ†ใงๆ•ฐใˆ็›ดใ™ใ“ใจใงใ—ใŸใ€‚

    ใ†ใกใฎใƒขใƒ‡ใƒซใฏ214,115ๅ€‹ใ€‚ใ“ใฎๆ•ฐๅญ—ใฏใ€้ƒจๅ“ใ”ใจใฎ่ถณใ—็ฎ—ใงๅ‡บใ—ใพใ—ใŸใ€‚
    ๅŸ‹ใ‚่พผใฟใŒไฝ•ๅ€‹ใ€AttentionใŒไฝ•ๅ€‹ใ€FFNใŒไฝ•ๅ€‹ใ€ใจ็ฉใฟไธŠใ’ใ‚‹ใ ใ‘ใงใ™ใ€‚

    ๅŒใ˜่ถณใ—็ฎ—ใŒใ€ๆœฌ็‰ฉใซใ‚‚้€šใ˜ใ‚‹ใฎใ‹ใ€‚

    ๆ‰‹ๅ…ƒใงๅ‹•ใ‹ใ—ใฆใ„ใ‚‹ qwen2.5:7b ใฎ่จญ่จˆๅ€คใ‚’่ชญใฟๅ‡บใ—ใฆใ€ใ‚„ใฃใฆใฟใพใ—ใŸใ€‚
    ๅˆ†ใ‹ใฃใฆใ„ใ‚‹ใฎใฏใ€ๅฑคๆ•ฐ28ใ€ๆฌกๅ…ƒ3584ใ€ใƒ˜ใƒƒใƒ‰28ใ€FFNใฎๅน…18944ใ€่ชžๅฝ™152064ใ€‚
    ใ“ใฎใ†ใก3ใคใฏใ€้€ฃ่ผ‰ใงใ•ใ‚“ใ–ใ‚“่งฆใฃใŸๆ•ฐๅญ—ใงใ™ใ€‚

    ็ตๆžœใงใ™ใ€‚

       ๅ…ฅๅฃใฎๅŸ‹ใ‚่พผใฟ        544,997,376
       ๅ‡บๅฃใฎ้‡ใฟ            544,997,376
       Attention ร— 28ๅฑค      822,212,608
       FFN ร— 28ๅฑค          5,703,204,864
       ๆญฃ่ฆๅŒ–                    204,288
       -------------------------------
       ๆ•ฐใˆใŸๅˆ่จˆ          7,615,616,512
       ๅ…ฌ็งฐ                7,615,616,512
       ๅทฎ                             +0

    76ๅ„„1561ไธ‡6512ๅ€‹ใ€‚1ๅ€‹ใ‚‚้•ใ„ใพใ›ใ‚“ใงใ—ใŸใ€‚

    ใ—ใฐใ‚‰ใ็”ป้ขใ‚’่ฆ‹ใฆใ„ใพใ—ใŸใ€‚

    ็งใŒๆ•ฐใˆใŸใฎใฏใ€ใ“ใฎ้€ฃ่ผ‰ใง่‡ชๅˆ†ใฎๆ‰‹ใงๆ›ธใ„ใŸ้ƒจๅ“ใ ใ‘ใงใ™ใ€‚
    ๅŸ‹ใ‚่พผใฟใ€QใƒปKใƒปVใ€FFNใ€ๆญฃ่ฆๅŒ–ใ€‚ใใ‚Œไปฅๅค–ใฏไฝ•ใ‚‚ไฝฟใฃใฆใ„ใพใ›ใ‚“ใ€‚
    ใใฎ่ถณใ—็ฎ—ใงใ€3ไธ‡5000ๅ€ใฎใƒขใƒ‡ใƒซใฎไธญ่บซใŒใดใฃใŸใ‚ŠๅŸ‹ใพใฃใŸใ€‚

    llama3.2:3b ใงใ‚‚ใ‚„ใ‚Šใพใ—ใŸใ€‚ใ“ใกใ‚‰ใฏ64ๅ€‹ใšใ‚Œใพใ—ใŸใ€‚
    ่ชฟในใŸใ‚‰ใ€ไฝ็ฝฎใฎ่จˆ็ฎ—ใซไฝฟใ†ๅฐใ•ใช่กจใฎๅˆ†ใงใ—ใŸใ€‚32ๅ„„ๅ€‹ใฎใ†ใกใฎ64ๅ€‹ใงใ™ใ€‚


    ้•ใ†ใฎใฏใ€4ใคใฎๆ•ฐๅญ—ใ ใ‘ใ ใฃใŸ

    ไธฆในใ‚‹ใจใ€ใ“ใ†ใชใ‚Šใพใ™ใ€‚

                       ใ†ใกใฎใƒขใƒ‡ใƒซ    llama3.2:3b    qwen2.5:7b
       ใƒ‘ใƒฉใƒกใƒผใ‚ฟๆ•ฐ        214,115      32ๅ„„1274ไธ‡     76ๅ„„1561ไธ‡
       ๅฑคๆ•ฐ                      4             28             28
       ๆฌกๅ…ƒ                     64          3,072          3,584
       ใƒ˜ใƒƒใƒ‰ๆ•ฐ                  4             24             28
       ๆ–‡่„ˆใฎ้•ทใ•               32        131,072         32,768
       ๅญฆ็ฟ’ใƒ‡ใƒผใ‚ฟ           198ๆ–‡ๅญ—         ๆ•ฐๅ…†ใƒˆใƒผใ‚ฏใƒณ

    ๅฑคๆ•ฐใ€ๆฌกๅ…ƒใ€ใƒ˜ใƒƒใƒ‰ๆ•ฐใ€ๆ–‡่„ˆใฎ้•ทใ•ใ€‚ ๅค‰ใ‚ใฃใฆใ„ใ‚‹ใฎใฏใ€ใปใผใ“ใฎ4ใคใงใ™ใ€‚
    ๆฎ‹ใ‚Šใฏๅญฆ็ฟ’ใƒ‡ใƒผใ‚ฟใฎ้‡ใงใ€ใใ“ใŒๆœฌๅฝ“ใฎๅทฎใซใชใฃใฆใ„ใพใ™ใ€‚

    ใ‚‚ใกใ‚ใ‚“ใ€็ดฐใ‹ใ„้•ใ„ใฏใ‚ใ‚Šใพใ™ใ€‚
    qwen ใ‚‚ llama ใ‚‚ใ€KใจVใฎใƒ˜ใƒƒใƒ‰ๆ•ฐใ ใ‘ๆธ›ใ‚‰ใ—ใฆใ‚ใ‚Šใพใ—ใŸ๏ผˆ28ใซๅฏพใ—ใฆ4ใ€24ใซๅฏพใ—ใฆ8๏ผ‰ใ€‚
    KVใ‚ญใƒฃใƒƒใ‚ทใƒฅใ‚’่ปฝใใ™ใ‚‹ใŸใ‚ใงใ™ใ€‚ๅ‰ๅ›žใพใงใ€Œ2ใ‚ฎใ‚ฌใ€ใจ่จ€ใฃใฆใ„ใŸ็ฝฎใๅ ดใŒใ€ใใ“ใง็ธฎใ‚€ใ€‚
    FFNใ‚‚ใ€ใ†ใกใฏ2ๆžš้‡ใญใงใ™ใŒใ€ๅ‘ใ“ใ†ใฏ3ๆžš็ต„ใ€‚ไฝ็ฝฎใฎๅ…ฅใ‚Œๆ–นใ‚‚ใ€ๆญฃ่ฆๅŒ–ใฎใ‚„ใ‚Šๆ–นใ‚‚้•ใ„ใพใ™ใ€‚

    ใงใ‚‚ใ€ใฉใ‚Œใ‚‚้ƒจๅ“ใฎ็ฝฎใๆ›ใˆใงใ—ใŸใ€‚ไธฆใณ้ †ใฏๅŒใ˜ใงใ™ใ€‚
    ใ ใ‹ใ‚‰ๆ•ฐใˆใ‚‰ใ‚ŒใŸใ€‚ๆ•ฐใˆใ‚‰ใ‚ŒใŸใจใ„ใ†ใ“ใจใฏใ€้ƒจๅ“่กจใŒๅˆใฃใฆใ„ใŸใจใ„ใ†ใ“ใจใงใ™ใ€‚

    ้€ฃ่ผ‰ใฎๆœ€ๅˆใซใ€Œ่ฆๆจกใฏ่ซฆใ‚ใ‚‹ใŒใ€้ƒจๅ“ใจไธฆใณ้ †ใ ใ‘ใฏๆœฌ็‰ฉใจๅŒใ˜ใซใ™ใ‚‹ใ€ใจๆฑบใ‚ใพใ—ใŸใ€‚
    ใใฎ่ณญใ‘ใฎ็ญ”ใˆๅˆใ‚ใ›ใŒใ€ใ“ใฎ +0 ใงใ—ใŸใ€‚


    ่ชฌๆ˜Žใงใใชใ‹ใฃใŸใ‚‚ใฎ

    ๆญฃ็›ดใซๆ›ธใใพใ™ใ€‚

    ้€ฃ่ผ‰ใฎๆœ€ๅˆใซใ€ๅˆ†ใ‹ใฃใฆใ„ใชใ„ใ“ใจใ‚’ไธฆในใพใ—ใŸใ€‚
    temperatureใ€top_pใ€top_kใ€num_ctxใ€ใใ—ใฆใ‚‚ใ†ไธ€ใคใ€‚

    ใƒขใƒ‡ใƒซใ‚’้ธใถใจใใ€ๆœซๅฐพใฎ Q4_K_M ใจ Q5_K_M ใฎ้•ใ„ใฏใ€ๆญฃ็›ดใ‚ˆใๅˆ†ใ‹ใฃใฆใ„ใชใ„ใ€‚

    ใ“ใ‚Œใ ใ‘ใ€ๆœ€ๅพŒใพใงๆ‰‹ใคใ‹ใšใงใ™ใ€‚

    ใ„ใพๆ•ฐใˆใŸ qwen2.5:7b ใฏ76ๅ„„ๅ€‹ใ€‚1ๅ€‹ใ‚’16ใƒ“ใƒƒใƒˆใงๆŒใคใจ15.2ใ‚ฎใ‚ฌใซใชใ‚‹ใฏใšใงใ™ใ€‚
    ใจใ“ใ‚ใŒๆ‰‹ๅ…ƒใฎใƒ•ใ‚กใ‚คใƒซใฏ4.68ใ‚ฎใ‚ฌใ—ใ‹ใ‚ใ‚Šใพใ›ใ‚“ใ€‚

    ๅ‰ฒใ‚Š็ฎ—ใ™ใ‚‹ใจใ€1ๅ€‹ใ‚ใŸใ‚Š4.92ใƒ“ใƒƒใƒˆใ€‚

    16ใƒ“ใƒƒใƒˆใฎใฏใšใฎใ‚‚ใฎใŒใ€5ใƒ“ใƒƒใƒˆใซใชใฃใฆใ„ใ‚‹ใ€‚ไฝ•ใ‚’ใฉใ†ๅ‰ŠใฃใŸใฎใ‹ใ€็งใซใฏ่ชฌๆ˜Žใงใใพใ›ใ‚“ใ€‚
    Q4_K_M ใฏใ€ใใฎๅ‰Šใ‚Šๆ–นใฎๅๅ‰ใงใ™ใ€‚

    ใปใ‹ใซใ‚‚่งฆใ‚‰ใชใ‹ใฃใŸใ‚‚ใฎใŒใ‚ใ‚Šใพใ™ใ€‚

       ไฝ็ฝฎใฎๅ…ฅใ‚Œๆ–นใ‚’ๅค‰ใˆใ‚‹            RoPE
       ๆญฃ่ฆๅŒ–ใ‚’่ปฝใใ™ใ‚‹                RMSNorm
       FFNใ‚’3ๆžš็ต„ใซใ™ใ‚‹                SwiGLU
       FFNใ‚’ใŸใใ•ใ‚“็”จๆ„ใ—ใฆไธ€้ƒจใ ใ‘ไฝฟใ†  MoE
       Attentionใฎ่จˆ็ฎ—้ †ใ‚’ๅทฅๅคซใ™ใ‚‹      FlashAttention
       ๅค–ใ‹ใ‚‰ๆŽขใ—ใฆใใŸๆ–‡็ซ ใ‚’ๅ…ฅใ‚Œใ‚‹      RAG
       ็”ปๅƒใ‚„้Ÿณใ‚‚ๅŒใ˜็ฉบ้–“ใซ็ฝฎใ          ใƒžใƒซใƒใƒขใƒผใƒ€ใƒซ
       ้•ทใ่€ƒใˆใ•ใ›ใฆ่ณขใใ™ใ‚‹            ๆŽจ่ซ–ๆ™‚ใ‚นใ‚ฑใƒผใƒชใƒณใ‚ฐ

    ๅคšใ่ฆ‹ใˆใพใ™ใŒใ€ไธฆในใฆใฟใฆๅฎ‰ๅฟƒใ‚‚ใ—ใพใ—ใŸใ€‚
    ๅ…จ้ƒจใ€็ฝฎใๆ›ใˆใ‹ใ€่ถณใ—็ฎ—ใงใ™ใ€‚ๅœŸๅฐใ‚’ไฝœใ‚Š็›ดใ™ใ‚‚ใฎใฏไธ€ใคใ‚‚ใ‚ใ‚Šใพใ›ใ‚“ใ€‚

    ๅŽŸ่ซ–ๆ–‡ใฏ2017ๅนดใงใ™ใ€‚ๅœŸๅฐใฏ10ๅนด่ฟ‘ใใ€ๅค‰ใ‚ใฃใฆใ„ใชใ„ใ€‚


    ้€ฃ่ผ‰ใ‚’้€šใ—ใฆๅˆ†ใ‹ใฃใŸใ“ใจ

    ๅ„ๅ›žใงใ„ใกใฐใ‚“ๅŠนใ„ใŸๆ•ฐๅญ—ใ‚’ใ€ไธฆในใฆใŠใใพใ™ใ€‚

    • ใ€Œใ‚ณใƒผใƒ’ใƒผใ€ใฏ4ใƒˆใƒผใ‚ฏใƒณใ€‚ใƒขใƒ‡ใƒซใ‚’ๅค‰ใˆใŸใ‚‰1ใƒˆใƒผใ‚ฏใƒณใซใชใฃใŸใ€‚
      ใƒˆใƒผใ‚ฏใƒณใฏๆ–‡ๅญ—ใงใ‚‚ๅ˜่ชžใงใ‚‚ใชใใ€ใƒขใƒ‡ใƒซใ”ใจใซ้•ใ†ๅˆ‡ใ‚Šๆ–นใ ใฃใŸ

    • ๅญฆ็ฟ’ๅ‰ใฎๅŸ‹ใ‚่พผใฟใงใ€Œ็Ž‹ๆง˜ โˆ’ ็”ท + ๅฅณใ€ใ‚’่จˆ็ฎ—ใ—ใŸใ‚‰ใ€ใ€Œๆทนใ€ใจใ€Œๆ™ดใ€ใŒๅ‡บใฆใใŸใ€‚
      ๅŸ‹ใ‚่พผใฟใฏ่พžๆ›ธใงใฏใชใใ€ๅญฆ็ฟ’ใงๆ„ๅ‘ณใŒใคใๅ‰ใฎๅ‡บ็™บ็‚นใ ใฃใŸ

    • Attentionใฏใ€Œๆ‰“ใคใ€ใ‚’่ฆ‹ใฆใ„ใŸใ€‚ใงใ‚‚ไฝ็ฝฎๅŸ‹ใ‚่พผใฟใฏใ€ๅค–ใ—ใฆใ‚‚ๅนณๆฐ—ใ ใฃใŸ

    • ๆฎ‹ๅทฎๆŽฅ็ถšใฎ ใ€Œ+ใ€ใ‚’ๆถˆใ—ใŸใ‚‰ใ€ๅ‹พ้…ใŒ6ๅ„„ๅˆ†ใฎ1ใซใชใฃใŸใ€‚ๆทฑใ•ใ‚’ๅฏ่ƒฝใซใ—ใŸไธ€ๆ–‡ๅญ—

    • ๆๅคฑ0.03ใงๅคงๆˆๅŠŸใฎใฏใšใŒใ€ใƒ‡ใƒผใ‚ฟใŒๆผใ‚Œใฆใ„ใŸใ€‚ๅ–ใ‚Š้™คใ„ใŸใ‚‰4.59ใŒ9.65ใซไธŠใŒใฃใŸใ€‚
      99ๆŠžใง่‡ชไฟกใ‚’ๆŒใฃใฆ้–“้•ใˆใฆใ„ใŸ

    • temperature 0.7 ใฏใ€100ๅ›žไธญ99ๅ›žใชใซใ‚‚ใ—ใชใ‹ใฃใŸใ€‚ๅŠนใๅ ดๆ‰€ใŒ1ใ‹ๆ‰€ใ—ใ‹ใชใ‹ใฃใŸ

    • 6ไปถใ‚’0.3็ง’ใ ใ‘่ฟฝๅŠ ๅญฆ็ฟ’ใ—ใŸใ‚‰ใ€่ณชๅ•ใซ็ญ”ใˆใ‚‹ใ‚ˆใ†ใซใชใฃใŸใ€‚
      ใ‹ใ‚ใ‚Šใซใ€ๆš—่จ˜ใ—ใฆใ„ใŸ198ๆ–‡ๅญ—ใ‚’ๅฟ˜ใ‚ŒใŸ

    • ใใ—ใฆไปŠๅ›žใ€76ๅ„„ๅ€‹ใ‚’ๆ‰‹ใงๆ•ฐใˆใŸใ‚‰1ๅ€‹ใ‚‚้•ใ‚ใชใ‹ใฃใŸ

    ใ„ใกใฐใ‚“ๅŠนใ„ใŸใฎใฏใ€+0ใงใ—ใŸใ€‚

    ็งใฏใšใฃใจใ€ๆœฌ็‰ฉใฎLLMใ‚’ใ€Œๅˆฅใฎใ‚‚ใฎใ€ใ ใจๆ€ใฃใฆใ„ใพใ—ใŸใ€‚
    ่‡ชๅˆ†ใŒ่งฆใ‚Œใ‚‹ใฎใฏ่กจ้ขใฎใคใพใฟใ ใ‘ใงใ€ไธญใฏใƒ–ใƒฉใƒƒใ‚ฏใƒœใƒƒใ‚ฏใ‚นใชใฎใ ใจใ€‚

    ๆ•ฐใˆ็ต‚ใ‚ใฃใฆๅˆ†ใ‹ใฃใŸใฎใฏใ€ไธญใ‚‚ๅŒใ˜ๆๆ–™ใงใงใใฆใ„ใ‚‹ใจใ„ใ†ใ“ใจใงใ—ใŸใ€‚
    ็งใŒ198ๆ–‡ๅญ—ใงๆ›ธใ„ใŸ้ƒจๅ“ใŒใ€ใใฎใพใพ76ๅ„„ๅ€‹ใถใ‚“ไธฆใ‚“ใงใ„ใ‚‹ใ€‚
    ้•ใ†ใฎใฏๆ•ฐๅญ—ใฎๅคงใใ•ใจใ€่ชญใพใ›ใŸๆ–‡็ซ ใฎ้‡ใ ใ‘ใ€‚


    ใใ‚Œใงใ‚‚ใ€ไบˆๆธฌใงใใ‚‹ใ‚ˆใ†ใซใฏใชใ‚‰ใชใ„

    ๆœ€ๅˆใซๆ›ธใ„ใŸใ“ใจใ‚’ใ€ใ‚‚ใ†ไธ€ๅบฆๆ›ธใใพใ™ใ€‚

    ไป•็ต„ใฟใŒๅˆ†ใ‹ใ‚‹ใ“ใจใจใ€ๆŒฏใ‚‹่ˆžใ„ใŒ่ชญใ‚ใ‚‹ใ“ใจใฏใ€ๅˆฅใงใ™ใ€‚

    76ๅ„„ๅ€‹ใ‚’ๆ•ฐใˆไธŠใ’ใฆใ‚‚ใ€ใใฎ1ๅ€‹1ๅ€‹ใŒไฝ•ใ‚’่กจใ—ใฆใ„ใ‚‹ใ‹ใฏๅˆ†ใ‹ใ‚Šใพใ›ใ‚“ใ€‚
    ใŸใถใ‚“ไฝœใฃใŸไบบใŸใกใซใ‚‚ๅˆ†ใ‹ใฃใฆใ„ใพใ›ใ‚“ใ€‚
    ๅ‡บๅŠ›ใ‚’่ฆ‹ใฆใ€Œใชใœใ“ใ†็ญ”ใˆใŸใฎใ‹ใ€ใ‚’่ชฌๆ˜Žใงใใ‚‹ใ‚ˆใ†ใซใฏใชใ‚‰ใชใ„ใ€‚

    ใŸใ ใ€่ผช้ƒญใฏ่ฆ‹ใˆใ‚‹ใ‚ˆใ†ใซใชใ‚Šใพใ—ใŸใ€‚

    ใคใพใฟใ‚’ๅ›žใ™ใจใใ€ใ„ใพไฝ•ใ‚’่งฆใฃใฆใ„ใ‚‹ใฎใ‹ใŒๅˆ†ใ‹ใ‚‹ใ€‚
    ๆธฉๅบฆใ‚’ไธŠใ’ใฆไฝ•ใ‚‚ๅค‰ใ‚ใ‚‰ใชใ‘ใ‚Œใฐใ€ใใ‚Œใฏๆธฉๅบฆใฎใ›ใ„ใงใฏใชใใ€
    ใƒขใƒ‡ใƒซใŒใใฎๅ ด้ขใง่ฟทใฃใฆใ„ใชใ„ใ‹ใ‚‰ใ ใจๅˆ†ใ‹ใ‚‹ใ€‚
    ใ‚ณใƒณใƒ†ใ‚ญใ‚นใƒˆใ‚’ๅบƒใ’ใŸใจใใซไฝ•ใ‚’ๆŒใฃใฆใ„ใ‹ใ‚Œใ‚‹ใ‹ใ‚‚ๅˆ†ใ‹ใ‚‹ใ€‚

    ใ€Œใชใ‚“ใ‹่‰ฏใใชใฃใŸๆฐ—ใŒใ™ใ‚‹ใ€ใง็ต‚ใ‚ใ‚‰ใชใใชใ‚Šใพใ—ใŸใ€‚
    ใใ‚ŒใŒใ€ใ“ใฎ้€ฃ่ผ‰ใงใ„ใกใฐใ‚“ๅค‰ใ‚ใฃใŸใ“ใจใงใ™ใ€‚


    198ๆ–‡ๅญ—ใฎใ“ใจ

    ๅญฆ็ฟ’ใซไฝฟใฃใŸใฎใฏใ€ๆœ€ๅˆใ‹ใ‚‰ๆœ€ๅพŒใพใงใ“ใฎๆ–‡็ซ ใ ใ‘ใงใ—ใŸใ€‚

    ็งใฏๆฏŽๆœใ‚ณใƒผใƒ’ใƒผใ‚’ๆทนใ‚Œใ‚‹ใ€‚่ฑ†ใ‚’ๆŒฝใ้Ÿณใง็›ฎใŒ่ฆšใ‚ใ‚‹ใ€‚
    ๆนฏใ‚’ๆฒธใ‹ใ—ใ€็ฒ‰ใซๅฐ‘ใ—ใ ใ‘ๆนฏใ‚’่ฝใจใ—ใฆ่’ธใ‚‰ใ™ใ€‚
    ้ฆ™ใ‚ŠใŒ็ซ‹ใกใฎใผใ‚‹ใพใงใฎไธ‰ๅ็ง’ใŒใ€ไธ€ๆ—ฅใงใ„ใกใฐใ‚“้™ใ‹ใชๆ™‚้–“ใ ใ€‚
    ใใ‚Œใ‹ใ‚‰ๆฎ‹ใ‚Šใฎๆนฏใ‚’ใ‚†ใฃใใ‚Šๆณจใใ€‚
    ใ‚ซใƒƒใƒ—ใ‚’ๆŒใฃใฆ็ช“่พบใซๅบงใ‚Šใ€ๅค–ใฎ็ฉบใ‚’็œบใ‚ใ‚‹ใ€‚
    ๆ™ดใ‚ŒใŸๆ—ฅใฏ้ ใใฎๅฑฑใŒ่ฆ‹ใˆใ‚‹ใ€‚ๆ›‡ใฃใŸๆ—ฅใฏ็”บใฎ้ŸณใŒใ‚ˆใ่žใ“ใˆใ‚‹ใ€‚
    ้›จใฎๆ—ฅใฏใ€ๅฑ‹ๆ นใ‚’ๆ‰“ใค้Ÿณใ‚’่žใใชใŒใ‚‰ๆœฌใ‚’่ชญใ‚€ใ€‚
    ใใ†ใ—ใฆใ‚ณใƒผใƒ’ใƒผใ‚’้ฃฒใฟ็ต‚ใˆใ‚‹ใจใ€็งใฏๆœบใซๅ‘ใ‹ใ†ใ€‚

    ไฝ•ใ‚’ๆ›ธใ“ใ†ใ‹่ฟทใฃใŸๆœซใซใ€ๆœใ‚ณใƒผใƒ’ใƒผใ‚’ๆทนใ‚Œใ‚‹่ฉฑใซใ—ใพใ—ใŸใ€‚
    ๆ›ธใ„ใŸใจใใฏใ€ใŸใ ใฎ็ทด็ฟ’็”จใฎใคใ‚‚ใ‚Šใงใ—ใŸใ€‚

    ๅญฆ็ฟ’ใ‚’ๅง‹ใ‚ใŸ็›ดๅพŒใ€ใƒขใƒ‡ใƒซใŒๅใ„ใŸใฎใฏใ“ใ‚Œใงใ™ใ€‚

    ๆ น้ ๆ‰“ใใกใ‚Œใ‚ˆใŒไธ‰ใ‚‰ใƒผใƒƒ่ฑ†ใ—ใ‚€ใ้™ใ‚‰ๆทนใซใคๆฎ‹ๆ นๆ—ฅใซๆ นใ‚†ใ„ใผๆนฏใ็ฉบ้ฆ™ไธ€ๆŒๆ—ฅใ†้ฆ™ใ„ใ“ใ‚‹ใกใ“้ฃฒๆณจ้Ÿณใ ใช

    100ๅ›žใปใฉๅ›žใ—ใŸใ‚ใจใ€ๅŒใ˜ใƒขใƒ‡ใƒซใŒใ“ใ†ๆ›ธใใพใ—ใŸใ€‚

    ใ‚ณใƒผใƒ’ใƒผใ‚’ๆทนใ‚Œใ‚‹ใ€‚่ฑ†ใ‚’ๆŒฝใ‹ใ†ใ€‚่ฑ†ใ‚’ๆŒฝใ้Ÿณใง็›ฎใŒ่ฆšใ‚ใ‚‹ใ€‚

    ใ€ŒๆŒฝใใ€ใจใ€Œๅ‘ใ‹ใ†ใ€ใฎใ‚ใ„ใ ใง่ฟทใฃใฆใ€ๆททใ–ใฃใฆใ„ใ‚‹ใ€‚
    ใ“ใฎใ€Œ่ฑ†ใ‚’ๆŒฝใ‹ใ†ใ€ใ‚’ใ€้€ฃ่ผ‰ใฎใ‚ใ„ใ ไฝ•ๅบฆใ‚‚ๆ€ใ„ๅ‡บใ—ใพใ—ใŸใ€‚
    ไธญใŒ่ฆ‹ใˆใชใ„ใฏใšใฎใ‚‚ใฎใŒใ€ใ“ใ“ใ ใ‘้€ใ‘ใฆใ„ใ‚‹ๆ„Ÿใ˜ใŒใ—ใŸใ‹ใ‚‰ใงใ™ใ€‚

    ใ„ใพใชใ‚‰ใ€ใ‚ใฎ่ฟทใ„ใŒใฉใ“ใซใ‚ใฃใŸใ‹ใ‚‚่จ€ใˆใพใ™ใ€‚
    ๅ‡บๅฃใŒไธฆในใŸ99ๅ€‹ใฎใ‚นใ‚ณใ‚ขใฎไธญใงใ€ใ€ŒๆŒฝใ€ใจใ€Œๅ‘ใ€ใŒ่ฟ‘ใ„ๅ€คใง้šฃใ‚Šๅˆใฃใฆใ„ใŸใ€‚
    ใใ‚Œใ ใ‘ใฎใ“ใจใงใ—ใŸใ€‚


    ใŠใ‚ใ‚Šใซ

    ๆฌกใซใ‚„ใ‚‹ใ“ใจใฏๆฑบใ‚ใฆใ„ใพใ™ใ€‚

    nanochat ใ‚’่ชญใ‚€ใ“ใจใงใ™ใ€‚

    ใ‚‚ใจใซใชใฃใŸ nanoGPT ใจใ„ใ†ใ‚ณใƒผใƒ‰ใŒใ‚ใ‚Šใพใ™ใ€‚
    ๆœฌ็‰ฉใฎGPT-2ใ‚’ๅ†็พใงใใ‚‹ใฎใซใ€ๆœฌไฝ“ใฏ300่กŒใปใฉใ—ใ‹ใชใ„ใ€‚
    ใ†ใกใฎใƒขใƒ‡ใƒซใ‚’ใใฎใพใพๅฎŸ็”จ่ฆๆจกใพใงๆŒฏใ‚Šๅˆ‡ใฃใŸใ‚ˆใ†ใชไธญ่บซใงใ€
    ้ƒจๅ“ใฎๅๅ‰ใŒ้•ใ†ใ ใ‘ใงใ€ไธฆใณ้ †ใฏใพใฃใŸใๅŒใ˜ใงใ™ใ€‚

    nanochat ใฏใใฎๅพŒ็ถ™ใงใ€ๅŒใ˜ไฝœ่€…ใŒๅŽปๅนดๅ…ฌ้–‹ใ—ใŸใ‚‚ใฎใงใ™ใ€‚
    ๅ‰่บซใŒไบ‹ๅ‰ๅญฆ็ฟ’ใ ใ‘ใ ใฃใŸใฎใซๅฏพใ—ใฆใ€ใ“ใกใ‚‰ใฏ
    ใƒˆใƒผใ‚ฏใƒณๅŒ–ใ€ไบ‹ๅ‰ๅญฆ็ฟ’ใ€SFTใ€ๅผทๅŒ–ๅญฆ็ฟ’ใ€่ฉ•ไพกใ€็”ŸๆˆใพใงใŒ1ๆœฌใซใคใชใŒใฃใฆใ„ใพใ™ใ€‚

    ใคใพใ‚Šใ€ใ“ใฎ้€ฃ่ผ‰ใงใ‚„ใฃใŸใ“ใจใŒใ€ใใฎใพใพใฎ้ †็•ชใงไธฆใ‚“ใงใ„ใ‚‹ใ€‚
    GPUใ‚’8ๆžšๅ€Ÿใ‚Šใฆ1ๆ™‚้–“ๅŠใ€50ใƒ‰ใƒซใปใฉใงGPT-2็ดšใฎ่ฉฑใ—็›ธๆ‰‹ใŒใงใใ‚‹ใใ†ใงใ™ใ€‚
    ่ชญใ‚“ใงๅˆ†ใ‹ใ‚‹ใ‚ˆใ†ใชใ‚‰ใ€ใ„ใคใ‹ๅ›žใ—ใฆใฟใพใ™ใ€‚

    ใใฎใ‚ใจใ€Q4_K_M ใ‚’่ชฟในใพใ™ใ€‚ๆœ€ๅพŒใซๆฎ‹ใฃใŸๅฎฟ้กŒใงใ™ใ€‚

    10ๅ›žใ€ใŠไป˜ใๅˆใ„ใ„ใŸใ ใใ‚ใ‚ŠใŒใจใ†ใ”ใ–ใ„ใพใ—ใŸใ€‚

    ๆœ€ๅˆใซใ€ŒAIใจไธ€็ท’ใซๆ›ธใใจ่–„ใฃใบใ‚‰ใใชใ‚ŠใŒใกใชใฎใงๆฐ—ใ‚’ใคใ‘ใพใ™ใ€ใจๆ›ธใใพใ—ใŸใ€‚
    ๅฎŸ้š›ใซๅŠนใ„ใŸใฎใฏใ€ๆฏŽๅ›žใ‹ใชใ‚‰ใš่‡ชๅˆ†ใงๅ‹•ใ‹ใ—ใฆใ€ๅ‡บใŸๆ•ฐๅญ—ใ ใ‘ใ‚’ๆ›ธใใจใ„ใ†ใ‚„ใ‚Šๆ–นใงใ—ใŸใ€‚
    ใŠใ‹ใ’ใงใ€ไบˆๅฎšใซใชใ‹ใฃใŸๅคฑๆ•—ใŒใ„ใใคใ‚‚่จ˜ไบ‹ใซใชใ‚Šใพใ—ใŸใ€‚
    ๅ‹พ้…ใŒ6ๅ„„ๅˆ†ใฎ1ใซใชใฃใŸใฎใ‚‚ใ€ใƒ‡ใƒผใ‚ฟใŒๆผใ‚Œใฆใ„ใŸใฎใ‚‚ใ€ๆ›ธใๅ‰ใฏ็Ÿฅใ‚‰ใชใ‹ใฃใŸใ“ใจใงใ™ใ€‚

    ใ‚ณใƒผใƒ’ใƒผใŒๅ†ทใ‚ใ‚‹ๅ‰ใซ็ต‚ใ‚ใ‚‹ๅญฆ็ฟ’ใ‹ใ‚‰ใ€ใšใ„ใถใ‚“้ ใใพใงๆฅใŸๆฐ—ใŒใ—ใพใ™ใ€‚

    ใงใฏใงใฏใ€‚

    ย 
    ย 
    ๅŒ—ๆตท้“ใง่พฒๆฅญใ‚’ใ‚„ใ‚ŠใชใŒใ‚‰ใ€ใƒฉใƒผใƒกใƒณใ‚’้ฃŸในใชใŒใ‚‰ใ€้Ÿณๆฅฝใ‚’่žใใชใŒใ‚‰ใ€AIใ‚„ใ‚ฌใ‚ธใ‚งใƒƒใƒˆใ‚’ใ„ใ˜ใฃใฆใ„ใ‚‹ใŠใ˜ใ•ใ‚“ใงใ™ใ€‚ V ใƒ—ใƒญใƒ•ใ‚ฃใƒผใƒซใฏใ“ใกใ‚‰ V https://note.com/m4n/n/nfbd3f08abb86

    ใ‚ใชใŸใธใฎใŠใ™ใ™ใ‚