ใƒกใ‚คใƒณใ‚ณใƒณใƒ†ใƒณใƒ„ใธใ‚นใ‚ญใƒƒใƒ—
่ฆ‹ๅ‡บใ—็”ปๅƒ

nanochat#1 50ใƒ‰ใƒซใฎChatGPTใฏใ€5,000่กŒใงใงใใฆใ„ใŸ

    ้€ฃ่ผ‰ใ€Œๆœฌ็‰ฉใฎLLMใ‚’ใ€ๅ‹•ใ‹ใ—ใชใŒใ‚‰่ชญใฟ่งฃใใ€
    ็ฌฌ1ๅ›ž
    ใ€€50ใƒ‰ใƒซใฎChatGPTใฏใ€5,000่กŒใงใงใใฆใ„ใŸ
    ใ€€ใ€€ใ€œ ๅฎฟ้กŒใ‚’2ใคๆฎ‹ใ—ใŸใพใพใ€็ต‚ใ‚ใ‚Œใชใ‹ใฃใŸ ใ€œ

    ใฉใ†ใ‚‚ใงใ™๏ผใˆใ‚€ใ—ใ‚“ใงใ™ใ€‚

    ๅ‰ใฎ้€ฃ่ผ‰ใ€10ๅ›žใ‚‚ใŠไป˜ใๅˆใ„ใ„ใŸใ ใใ€ใ‚ใ‚ŠใŒใจใ†ใ”ใ–ใ„ใพใ—ใŸใ€‚
    ไปŠๅ›žใ‹ใ‚‰ใพใŸๅˆฅใฎ้€ฃ่ผ‰ใ‚’ๅง‹ใ‚ใพใ™ใ€‚

    ๅ‰ๅ›žใฏใ€Œไฝœใ‚ŠใชใŒใ‚‰็†่งฃใ™ใ‚‹ใ€ใงใ—ใŸใ€‚
    ไปŠๅ›žใฏใ€Œๅ‹•ใ‹ใ—ใชใŒใ‚‰่ชญใฟ่งฃใใ€ใงใ™ใ€‚

    ็ต‚ใ‚ใฃใŸใฎใซใ€็ต‚ใ‚ใฃใฆใ„ใชใ‹ใฃใŸ

    ๅ‰ใฎ้€ฃ่ผ‰ใฏใ€่จญๅฎšใƒ•ใ‚กใ‚คใƒซใฎ4่กŒใ‹ใ‚‰ๅง‹ใพใ‚Šใพใ—ใŸใ€‚

    temperature   0.7
    top_p         0.9
    top_k         40
    num_ctx       4096

    ใฉใ“ใ‹ใง่ฆ‹ใŸ่จญๅฎšใ‚’ๅ†™ใ—ใŸใ ใ‘ใงใ€ๆ„ๅ‘ณใ‚’ไธ€ใคใ‚‚่ชฌๆ˜Žใงใใพใ›ใ‚“ใงใ—ใŸใ€‚
    ใใ‚ŒใŒๆ‚”ใ—ใใฆใ€LLMใ‚’่‡ชๅˆ†ใฎๆ‰‹ใงใ„ใกใฐใ‚“ๅฐใ•ใไฝœใฃใฆใฟใŸใ€ใจใ„ใ†10ๅ›žใงใ—ใŸใ€‚

    ๆœ€ๅพŒใฏใ€ๆ‰‹ๅ…ƒใงๅ‹•ใ‹ใ—ใฆใ„ใ‚‹ใƒขใƒ‡ใƒซใฎใƒ‘ใƒฉใƒกใƒผใ‚ฟใ‚’ๆ‰‹ใงๆ•ฐใˆใพใ—ใŸใ€‚
    76ๅ„„1561ไธ‡6512ๅ€‹ใ€‚ๅ…ฌ็งฐๅ€คใจ1ๅ€‹ใ‚‚้•ใ„ใพใ›ใ‚“ใงใ—ใŸใ€‚

    ใใ“ใง็ต‚ใ‚ใ‚Šใฎใฏใšใงใ—ใŸใ€‚

    ใงใ‚‚ใ€ๆœ€็ต‚ๅ›žใซ่‡ชๅˆ†ใงใ“ใ†ๆ›ธใใพใ—ใŸใ€‚

    ๆฌกใซใ‚„ใ‚‹ใ“ใจใฏๆฑบใ‚ใฆใ„ใพใ™ใ€‚nanochat ใ‚’่ชญใ‚€ใ“ใจใงใ™ใ€‚
    ใใฎใ‚ใจใ€Q4_K_M ใ‚’่ชฟในใพใ™ใ€‚ๆœ€ๅพŒใซๆฎ‹ใฃใŸๅฎฟ้กŒใงใ™ใ€‚

    ๅฎฟ้กŒใ‚’2ใคใ€ๆ›ธใๆฎ‹ใ—ใŸใพใพ็ต‚ใ‚ใฃใฆใ„ใŸใ‚ใ‘ใงใ™ใ€‚


    ๅ‰ๅ›žไฝœใฃใŸใ‚‚ใฎใฏใ€่ฉฑใ—็›ธๆ‰‹ใซใชใ‚‰ใชใ‹ใฃใŸ

    ใ‚‚ใ†ไธ€ใคใ€ใšใฃใจๅผ•ใฃใ‹ใ‹ใฃใฆใ„ใŸใ“ใจใŒใ‚ใ‚Šใพใ™ใ€‚

    ๅ‰ๅ›žไฝœใฃใŸใƒขใƒ‡ใƒซใฏใ€198ๆ–‡ๅญ—ใฎๆ–‡็ซ ใ‚’่ชญใพใ›ใŸใ ใ‘ใฎใ‚‚ใฎใงใ—ใŸใ€‚
    100ๅ›žใปใฉๅญฆ็ฟ’ใ•ใ›ใŸใ‚ใจใ€ใ“ใ‚“ใชๆ–‡็ซ ใ‚’ๆ›ธใใพใ—ใŸใ€‚

    ใ‚ณใƒผใƒ’ใƒผใ‚’ๆทนใ‚Œใ‚‹ใ€‚่ฑ†ใ‚’ๆŒฝใ‹ใ†ใ€‚่ฑ†ใ‚’ๆŒฝใ้Ÿณใง็›ฎใŒ่ฆšใ‚ใ‚‹ใ€‚

    ใ€ŒๆŒฝใใ€ใจใ€Œๅ‘ใ‹ใ†ใ€ใง่ฟทใฃใฆใ€ๆททใ–ใฃใฆใ„ใ‚‹ใ€‚
    ใ‹ใ‚ใ„ใ„ใ—ใ€ไธญใŒ้€ใ‘ใฆ่ฆ‹ใˆใŸๆฐ—ใŒใ—ใฆๅฌ‰ใ—ใ‹ใฃใŸใฎใงใ™ใŒใ€
    ใ“ใ‚Œใฏไผš่ฉฑใงใฏใ‚ใ‚Šใพใ›ใ‚“ใ€‚

    ็ฌฌ9ๅ›žใงใ€่ณชๅ•ใจ็ญ”ใˆใ‚’6ไปถใ ใ‘่ฟฝๅŠ ใง่ฆšใˆใ•ใ›ใŸใ‚‰ใ€่ณชๅ•ใซใฏ็ญ”ใˆใ‚‹ใ‚ˆใ†ใซใชใ‚Šใพใ—ใŸใ€‚
    ใงใ‚‚ใ€ใใฎใ‹ใ‚ใ‚Šใซ198ๆ–‡ๅญ—ใฎใปใ†ใ‚’ๅฟ˜ใ‚Œใฆใ—ใพใ„ใพใ—ใŸใ€‚
    ๆ–ฐใ—ใ„ใ“ใจใ‚’1ใค่ฆšใˆใŸใ‚‰ใ€ๅ‰ใซ่ฆšใˆใŸใ“ใจใ‚’1ใคๅฟ˜ใ‚Œใ‚‹ใ€‚ๆƒณๅฎšใฉใŠใ‚Šใงใ™ใ€‚

    ใคใพใ‚Š็งใฏใ€LLMใฎ้ƒจๅ“ใฏไฝœใฃใŸใ‘ใ‚Œใฉใ€ใ€Œ่ฉฑใ—็›ธๆ‰‹ใ€ใฏไฝœใฃใฆใ„ใชใ„ใ€‚

    ChatGPTใฎใ‚ˆใ†ใชใ‚‚ใฎใซใชใ‚‹ใพใงใซใ€ใ‚ใจไฝ•ใŒ่ฆใ‚‹ใฎใ‹ใ€‚
    ้ƒจๅ“ใ‚’ๅ…จ้ƒจๆ•ฐใˆใ‚‰ใ‚Œใ‚‹ใ‚ˆใ†ใซใชใฃใŸไปŠใงใ‚‚ใ€ใใ“ใฏ็Ÿฅใ‚‰ใชใ„ใพใพใงใ™ใ€‚


    nanochat ใ‚’้–‹ใ„ใฆใฟใŸ

    nanochat ใฏใ€Andrej Karpathy ใ•ใ‚“ใจใ„ใ†ๆ–นใŒๅ…ฌ้–‹ใ—ใฆใ„ใ‚‹ใƒ—ใƒญใ‚ฐใƒฉใƒ ใงใ™ใ€‚
    ไปฅๅ‰ใซ nanoGPT ใจใ„ใ†ใ€GPT-2ใ‚’ๅ†็พใงใใ‚‹ใฎใซๆœฌไฝ“300่กŒใปใฉใ—ใ‹ใชใ„ใ‚ณใƒผใƒ‰ใ‚’ๅ…ฌ้–‹ใ—ใŸไบบใงใ€
    nanochat ใฏใใฎๅพŒ็ถ™ใซใ‚ใŸใ‚Šใพใ™ใ€‚

    ๅ‰่บซใŒใ€Œๆ–‡็ซ ใฎ็ถšใใ‚’่ฆšใˆใ•ใ›ใ‚‹ใ€ใจใ“ใ‚ใพใงใ ใฃใŸใฎใซๅฏพใ—ใฆใ€
    nanochat ใฏ่จ€่‘‰ใฎๅˆ‡ใ‚Šๆ–นใ‹ใ‚‰ใ€ๅญฆ็ฟ’ใ€ไผš่ฉฑใฎ็ทด็ฟ’ใ€ใƒ†ใ‚นใƒˆใ€ใใ—ใฆๅฎŸ้š›ใซ่ฉฑใ™ใจใ“ใ‚ใพใงใŒ1ๆœฌใซใคใชใŒใฃใฆใ„ใพใ™ใ€‚

    ใพใšใฏใ€ๅคงใใ•ใ‚’่ฆ‹ใฆใฟใพใ—ใŸใ€‚

       Pythonใฎใƒ•ใ‚กใ‚คใƒซ                       36ๅ€‹
       ๅ…จ้ƒจใฎ่กŒๆ•ฐ                          7,775่กŒ
    
       ๆœฌไฝ“ใ ใ‘๏ผˆใƒ†ใ‚นใƒˆใจๅฎŸ้จ“็”จใ‚’้™คใ๏ผ‰    29ใƒ•ใ‚กใ‚คใƒซ
                                           6,587่กŒ
       ใ•ใ‚‰ใซ็ฉบ่กŒใจใ‚ณใƒกใƒณใƒˆใ‚’ๆŠœใใจ         4,957่กŒ
    
       ใƒขใƒ‡ใƒซๆœฌไฝ“ nanochat/gpt.py            555่กŒ

    5,000่กŒใ‚’ๅˆ‡ใฃใฆใ„ใพใ—ใŸใ€‚

    ไป–ใฎใƒ—ใƒญใ‚ธใ‚งใ‚ฏใƒˆใง่งฆใ‚‹ใƒ—ใƒญใ‚ฐใƒฉใƒ ใฏใ€ใ“ใ‚Œใ‚ˆใ‚Šใšใฃใจๅคงใใ„ใ‚‚ใฎใŒใ„ใใ‚‰ใงใ‚‚ใ‚ใ‚Šใพใ™ใ€‚
    ใใ‚ŒใŒใ€ChatGPTใฎใ‚ˆใ†ใชใ‚‚ใฎใ‚’ไธ€ๅผไฝœใ‚Œใ‚‹ใ‚ณใƒผใƒ‰ใฎๅ…จไฝ“ใงใ—ใŸใ€‚

    ๆฐ—ใซใชใฃใŸใฎใงใ€ๅ‰ๅ›žใฎ้€ฃ่ผ‰ใง่‡ชๅˆ†ใŒๆ›ธใ„ใŸใ‚ณใƒผใƒ‰ใ‚‚ๆ•ฐใˆใฆใฟใพใ—ใŸใ€‚

                              ๅ‰ๅ›žใฎ่‡ชไฝœ     nanochat
       โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€
       Pythonใฎใƒ•ใ‚กใ‚คใƒซ          40ๅ€‹          36ๅ€‹
       ๅ…จ้ƒจใฎ่กŒๆ•ฐ             3,105่กŒ       7,775่กŒ
       ็ฉบ่กŒใจใ‚ณใƒกใƒณใƒˆใ‚’้™คใใจ  2,170่กŒ       4,957่กŒ

    ใƒ•ใ‚กใ‚คใƒซใฎๆ•ฐใฏใ€ใ“ใฃใกใฎใปใ†ใŒๅคšใ„ใใ‚‰ใ„ใงใ—ใŸใ€‚

    ใ‚‚ใกใ‚ใ‚“ใ€ใฉใกใ‚‰ใ‚‚่ฉฆใ—ใซๆ›ธใ„ใŸๅฎŸ้จ“็”จใฎใ‚นใ‚ฏใƒชใƒ—ใƒˆใ‚’ๅซใ‚“ใ ๆ•ฐใงใ™ใ€‚
    ใใ‚Œใงใ‚‚ใ€ๆกใŒๅŒใ˜ใงใ—ใŸใ€‚2ๅ€ใจๅฐ‘ใ—ใ€‚


    ใƒขใƒ‡ใƒซๆœฌไฝ“ใฏใ€178่กŒใจ555่กŒใ ใฃใŸ

    ใ„ใกใฐใ‚“ๆฏ”ในใŸใ‹ใฃใŸใฎใฏใ€ใƒขใƒ‡ใƒซใใฎใ‚‚ใฎใฎๅคงใใ•ใงใ™ใ€‚

       ๅ‰ๅ›žใฎ่‡ชไฝœ model.py      178่กŒ
       nanochat ใฎ gpt.py       555่กŒ
                               โ”€โ”€โ”€โ”€โ”€โ”€
                           ๅทฎ   377่กŒ

    3ๅ€ใกใ‚‡ใฃใจใ€‚

    ใใ—ใฆใ€ไธญใซๅ…ฅใฃใฆใ„ใ‚‹้ƒจๅ“ใฎไธฆใณใ‚’่ฆ‹ใฆใ€ใ‚‚ใ†ไธ€ๅบฆใณใฃใใ‚Šใ—ใพใ—ใŸใ€‚

       ๅ‰ๅ›ž model.py           nanochat gpt.py
       โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€
       Head                    CausalSelfAttention
       MultiHeadAttention       ๏ผˆโ†‘ 1ใคใซใพใจใพใฃใฆใ„ใ‚‹๏ผ‰
       FeedForward             MLP
       Block                   Block
       SmallGPT                GPT

    ๅฎŸ้š›ใฎๅฎŸ้จ“ใงไฝฟใฃใŸๅๅ‰ใ‚’ๆŒ™ใ’ใฆใฟใพใ—ใŸใ€‚
    ๅๅ‰ใŒ้•ใ†ใ ใ‘ใงใ€ๅŒใ˜ใ‚‚ใฎใŒๅŒใ˜้ †็•ชใงไธฆใ‚“ใงใ„ใพใ—ใŸใ€‚

    ใจใ„ใ†ใ“ใจใฏใ€ๅข—ใˆใฆใ„ใ‚‹ 377่กŒใŒใ€ๆœชๅฎŸ่ฃ…ใถใ‚“ใฎๅทฎใจใ„ใ†ใ“ใจใซใชใ‚Šใพใ™ใ€‚
    ไฝ•ใŒ่ถณใ•ใ‚Œใฆใ„ใ‚‹ใฎใ‹ใฏใ€้€ฃ่ผ‰ใฎไธญใง1ใคใšใค่ฆ‹ใฆใ„ใใพใ™ใ€‚


    ไธฆใณ้ †ใŒใ€ๅ‰ๅ›žใฎ็›ฎๆฌกใจๅŒใ˜ใ ใฃใŸ

    ใ„ใกใฐใ‚“้ฉšใ„ใŸใฎใฏใ€ๅคงใใ•ใงใฏใ‚ใ‚Šใพใ›ใ‚“ใงใ—ใŸใ€‚

    nanochat ใฎย scriptsย ใจใ„ใ†ใƒ•ใ‚ฉใƒซใƒ€ใซใ€ๅฎŸ่กŒใ™ใ‚‹้ †็•ชใฉใŠใ‚Šใซใƒ•ใ‚กใ‚คใƒซใŒไธฆใ‚“ใงใ„ใพใ™ใ€‚
    ใใ‚Œใ‚’ใ€ๅ‰ใฎ้€ฃ่ผ‰ใฎ็›ฎๆฌกใจๆฏ”ในใฆใฟใพใ—ใŸใ€‚

       ๅ‰ๅ›žใฎ้€ฃ่ผ‰                        nanochat ใฎใƒ•ใ‚กใ‚คใƒซ
       โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€
       ็ฌฌ2ๅ›ž ใƒˆใƒผใ‚ฏใƒณ๏ผˆ่จ€่‘‰ใฎๅˆ‡ใ‚Šๆ–น๏ผ‰    scripts/tok_train.py
       ็ฌฌ3ๅ›ž ๅŸ‹ใ‚่พผใฟ                    nanochat/gpt.py
       ็ฌฌ4ๅ›ž Attention                   nanochat/gpt.py
       ็ฌฌ5ๅ›ž ใƒ–ใƒญใƒƒใ‚ฏใ‚’็ฉใ‚€              nanochat/gpt.py
       ็ฌฌ6ๅ›ž GPTใŒๅฎŒๆˆใ—ใŸ               nanochat/gpt.py
       ็ฌฌ7ๅ›ž ๅญฆ็ฟ’ใ•ใ›ใ‚‹                  scripts/base_train.py
       ็ฌฌ8ๅ›ž temperature๏ผˆๆ–‡็ซ ใ‚’ไฝœใ‚‹๏ผ‰   nanochat/engine.py
       ็ฌฌ9ๅ›ž ่ฟฝๅŠ ใง่ฆšใˆใ•ใ›ใ‚‹            scripts/chat_sft.py
       ๏ผˆๅ‰ๅ›žใฏ็„กใ‹ใฃใŸ๏ผ‰                scripts/chat_rl.py
       ๏ผˆๅ‰ๅ›žใฏ็„กใ‹ใฃใŸ๏ผ‰                scripts/chat_cli.py

    ๅŒใ˜้ †็•ชใงใ—ใŸใ€‚

    ๅ‰ๅ›žใฎ้€ฃ่ผ‰ใฏใ€ๆ•™็ง‘ๆ›ธใŒใ‚ใฃใฆใใฎ้ †ใซ้€ฒใ‚“ใ ใ‚ใ‘ใงใฏใ‚ใ‚Šใพใ›ใ‚“ใ€‚
    Claude ใŒใ€Œๆฌกใฏใ“ใ‚ŒใŒ่ฆใ‚‹ใชใ€ใจๆ€ใฃใŸ้ †ใซไฝœใฃใฆใ„ใฃใŸใ ใ‘ใงใ™ใ€‚
    ใใ‚ŒใŒใ€ๆœฌ็‰ฉใฎไธฆใณใจๅŒใ˜ใงใ—ใŸใ€‚

    ใใ—ใฆใ€ไธ‹ใฎ2่กŒใ€‚
    ๅ‰ๅ›žใซ็„กใ‹ใฃใŸใ‚‚ใฎใŒใ€2ใคใ ใ‘ใ‚ใ‚Šใพใ™ใ€‚
    chat_rl.pyย ใจ chat_cli.py

    ใŸใถใ‚“ใ“ใฎ2ใคใŒใ€ใ€Œ่ฑ†ใ‚’ๆŒฝใ‹ใ†ใ€ใจใ€Œ่ฉฑใ—็›ธๆ‰‹ใ€ใฎใ‚ใ„ใ ใซใ‚ใ‚‹ใ‚‚ใฎใงใ™ใ€‚


    2019ๅนดใซ650ไธ‡ๅ††ใ‹ใ‹ใฃใŸใ‚‚ใฎใŒใ€ใ„ใพ7,000ๅ††

    nanochat ใฎ่ชฌๆ˜Žๆ›ธใซใฏใ€ใ“ใ†ๆ›ธใ„ใฆใ‚ใ‚Šใพใ™ใ€‚

       GPT-2๏ผˆ2019ๅนด๏ผ‰      ๅญฆ็ฟ’ใซใ‹ใ‹ใฃใŸ่ฒป็”จ   ็ด„43,000ใƒ‰ใƒซ๏ผˆใŠใ‚ˆใ650ไธ‡ๅ††๏ผ‰
                            ใ‹ใ‹ใฃใŸๆ™‚้–“         168ๆ™‚้–“
    
       nanochat๏ผˆ2026ๅนด๏ผ‰   ่ฒป็”จ                 ็ด„48ใƒ‰ใƒซ๏ผˆใŠใ‚ˆใ7,000ๅ††๏ผ‰
                            ๆ™‚้–“                 1.5ๆ™‚้–“

    ๅŒใ˜ใใ‚‰ใ„ใฎ่ณขใ•ใฎใ‚‚ใฎใŒใ€900ๅˆ†ใฎ1ใฎๅ€คๆฎตใงใ€100ๅˆ†ใฎ1ใฎๆ™‚้–“ใงไฝœใ‚Œใ‚‹ใ€‚

    ใ—ใ‹ใ‚‚ 1.5ๆ™‚้–“ ใจใ„ใ†ใฎใฏไปŠใฎ่จ˜้Œฒใงใ€ใ“ใฎๆ•ฐๅญ—ใฏใ„ใพใ‚‚ๆ›ดๆ–ฐใ•ใ‚Œ็ถšใ‘ใฆใ„ใพใ™ใ€‚
    ่จ˜้Œฒ่กจใ‚’่ฆ‹ใŸใ‚‰ใ€1ใ‹ๆœˆๅŠใฎใ‚ใ„ใ ใซ 3.04ๆ™‚้–“ โ†’ 1.65ๆ™‚้–“ ใซใชใฃใฆใ„ใพใ—ใŸใ€‚

    7ๅนดใฎใ‚ใ„ใ ใซไฝ•ใŒ่ตทใใฆใ“ใ†ใชใฃใŸใฎใ‹ใ€‚
    ๅ‰ๅ›žใฎๆœ€็ต‚ๅ›žใงใ€ŒๅœŸๅฐใฏ10ๅนด่ฟ‘ใๅค‰ใ‚ใฃใฆใ„ใชใ„ใ€ใจๆ›ธใ„ใŸๆ‰‹ๅ‰ใ€ใ“ใ‚Œใฏๆฐ—ใซใชใ‚Šใพใ™ใ€‚


    ไปŠๅ›žใ‚„ใ‚‹ใ“ใจ๏ผšๅŒใ˜1่กŒใ‚’ใ€3ๅฐใฎใƒ‘ใ‚ฝใ‚ณใƒณใงๅฉใ

    ๅ‰ๅ›žใฏใ€Œ่ฆๆจกใฏใ‚ใใ‚‰ใ‚ใ‚‹ใ€‚้ƒจๅ“ใจไธฆใณ้ †ใ ใ‘ๆœฌ็‰ฉใจๅŒใ˜ใซใ™ใ‚‹ใ€ใจๆฑบใ‚ใฆใ‚„ใ‚Šใพใ—ใŸใ€‚

    ไปŠๅ›žใฏใ€่ฆๆจกใ‚‚ใ‚ใใ‚‰ใ‚ใพใ›ใ‚“ใ€‚
    ใŸใ ใ—ใ€ใ„ใใชใ‚Šๆœฌ็•ชใซใฏ่กŒใ‹ใšใ€3ๆฎต้šŽใฎใฏใ—ใ”ใ‚’็™ปใ‚Šใพใ™ใ€‚

       1ๆฎต็›ฎ   ๆ‰‹ๅ…ƒใฎMacMini              0ๅ††        ใพใšๆœ€ๅพŒใพใง้€šใ™
       2ๆฎต็›ฎ   ใ‚ฒใƒผใƒŸใƒณใ‚ฐใƒŽใƒผใƒˆ(RTX 3060)  ้›ปๆฐ—ไปฃ     6GBใฎๅฃใจๅ‘ใๅˆใ†
       3ๆฎต็›ฎ   H100ใ‚’8ๆžšใ€1.5ๆ™‚้–“ใ ใ‘ๅ€Ÿใ‚Šใ‚‹ ็ด„7,000ๅ††  GPT-2ใ‚’่ถ…ใˆใ‚‹

    ๅŒใ˜1่กŒใฎใ‚ณใƒžใƒณใƒ‰ใ‚’ใ€3ๅฐใงๅฉใใพใ™ใ€‚

    1ๆฎต็›ฎใจ2ๆฎต็›ฎใฏใ€ๅฎถใซใ‚ใ‚‹ใƒ‘ใ‚ฝใ‚ณใƒณใงใ™ใ€‚
    ๅฎŸใฏ nanochat ใซใฏใ€MacMiniใงใ‚‚ๅ‹•ใใ‚ˆใ†ใซๅฐใ•ใใ—ใŸ่จญๅฎšใŒๆœ€ๅˆใ‹ใ‚‰ๅ…ฅใฃใฆใ„ใพใ™ใ€‚
    ๆ™‚้–“ใฏใ‹ใ‹ใ‚Šใพใ™ใŒใ€่จ€่‘‰ใฎๅˆ‡ใ‚Šๆ–นใ‚’่ฆšใˆใ•ใ›ใ‚‹ใจใ“ใ‚ใ‹ใ‚‰ไผš่ฉฑใพใงใ€ๅ…จ้ƒจใŠ้‡‘ใ‚’ใ‹ใ‘ใšใซ้€šใ›ใพใ™ใ€‚

    ่ชญใ‚“ใงใใ ใ•ใฃใฆใ„ใ‚‹ๆ–นใฎๅคšใใ‚‚ใ€ใŸใถใ‚“1ๆฎต็›ฎใ‹2ๆฎต็›ฎใฎ็’ฐๅขƒใ—ใ‹ๆŒใฃใฆใ„ใชใ„ใฏใšใงใ™ใ€‚
    ใ€Œใ†ใกใฎใƒ‘ใ‚ฝใ‚ณใƒณใงใ‚‚ใงใใ‚‹ใฎใ‹ใ€ใซใ€ๅฎŸ้š›ใซใ‚„ใฃใฆๆ•ฐๅญ—ใง็ญ”ใˆใ‚‹ใคใ‚‚ใ‚Šใงใ™ใ€‚

    ใใ—ใฆๆœ€ๅพŒใซใ€Q4_K_M ใ‚’ใ‚„ใ‚Šใพใ™ใ€‚
    ๅ‰ๅ›žใ€ๅ”ฏไธ€ๆ‰‹ใ‚’ใคใ‘ใ‚‰ใ‚Œใชใ‹ใฃใŸๅฎฟ้กŒใงใ™ใ€‚
    ่‡ชๅˆ†ใงไฝœใฃใŸใƒขใƒ‡ใƒซใ‚’่‡ชๅˆ†ใฎๆ‰‹ใงๅ‰Šใฃใฆใ€ใฉใ‚Œใ ใ‘ๆ‚ชใใชใ‚‹ใ‹ใ‚’ๆธฌใฃใฆใฟใพใ™ใ€‚


    ๆ›ธใๆ–นใฎใƒซใƒผใƒซใฏใ€ๅ‰ๅ›žใจๅŒใ˜ใซใ—ใพใ™

    ๅ‰ๅ›žใ„ใกใฐใ‚“ๅŠนใ„ใŸใฎใฏใ€ๅ†…ๅฎนใงใฏใชใๆ›ธใๆ–นใฎใปใ†ใงใ—ใŸใ€‚

    ๆฏŽๅ›žใ‹ใชใ‚‰ใš่‡ชๅˆ†ใงๅ‹•ใ‹ใ—ใฆใ€ๅ‡บใŸๆ•ฐๅญ—ใ ใ‘ใ‚’ๆ›ธใใ€‚

    ใ“ใ‚Œใ ใ‘ใงใ™ใ€‚
    ใŠใ‹ใ’ใงใ€ไบˆๅฎšใซใชใ‹ใฃใŸๅคฑๆ•—ใŒใ„ใใคใ‚‚่จ˜ไบ‹ใซใชใ‚Šใพใ—ใŸใ€‚
    ๅ‹พ้…ใŒ6ๅ„„ๅˆ†ใฎ1ใซใชใฃใŸใฎใ‚‚ใ€ๅญฆ็ฟ’ใƒ‡ใƒผใ‚ฟใŒๆผใ‚Œใฆใ„ใŸใฎใ‚‚ใ€ๆ›ธใๅ‰ใฏ็Ÿฅใ‚‰ใชใ‹ใฃใŸใ“ใจใงใ™ใ€‚

    ๅ‰ๅ›žใฎ้€ฃ่ผ‰ใ‚’่ชญใ‚“ใงใ„ใชใใฆใ‚‚ๅคงไธˆๅคซใชใ‚ˆใ†ใซๆ›ธใใคใ‚‚ใ‚Šใงใ™ใŒใ€
    ใ‚‚ใ—ๆฐ—ใซใชใฃใŸใ‚‰ใ€ใใฎใคใฉๅ‰ๅ›žใฎใฉใ“ใฎ่ฉฑใ‹ใฏๆ›ธใๆทปใˆใพใ™ใ€‚


    ๆฌกๅ›ž

    nanochat ใ‚’้–‹ใ„ใฆใ€ๆœ€ๅˆใซ้ข้ฃŸใ‚‰ใฃใŸใ“ใจใŒใ‚ใ‚Šใพใ™ใ€‚

    ๅ‰ๅ›žใฎ้€ฃ่ผ‰ใฏใ€Œใคใพใฟใฎๆ„ๅ‘ณใŒๅˆ†ใ‹ใ‚‰ใชใ„ใ€ใจใ„ใ†ๆ‚ฉใฟใ‹ใ‚‰ๅง‹ใพใ‚Šใพใ—ใŸใ€‚
    temperatureใ€top_pใ€top_kใ€num_ctxใ€‚ใ‚ใฎ4่กŒใงใ™ใ€‚

    ใจใ“ใ‚ใŒ nanochat ใซใฏใ€ๅ›žใ™ใคใพใฟใŒ1ๅ€‹ใ—ใ‹ใ‚ใ‚Šใพใ›ใ‚“ใงใ—ใŸใ€‚

    ๆญฃ็ขบใซ่จ€ใ†ใจใ€ไฝœ่€…ใŒๆ„ๅ›ณ็š„ใซๆถˆใ—ใฆใ„ใพใ—ใŸใ€‚
    1ๅ€‹ๆฑบใ‚ใ‚Œใฐใ€ๆฎ‹ใ‚Šใฏๅ…จ้ƒจใŒ่‡ชๅ‹•ใงๆฑบใพใ‚‹ใ‚ˆใ†ใซใชใฃใฆใ„ใพใ™ใ€‚

    ๆฌกๅ›žใฏใ€ใใฎ1ๅ€‹ใฎ่ฉฑใ‚’ใ—ใพใ™ใ€‚

    ใงใฏใงใฏใ€‚

    ๆณจ๏ผ‰ใ“ใฎ่จ˜ไบ‹ใฎๅŸท็ญ†ใซใฏAIใ‚’ไฝฟใฃใฆใ„ใพใ™ใ€‚ๆง‹ๆˆใจๆœ€็ต‚็š„ใชๆ–‡็ซ ใฏ่‡ชๅˆ†ใฎๆ‰‹ใซใ‚ˆใ‚‹ใ‚‚ใฎใงใ™ใ€‚

    ย 
    ย 
    ๅŒ—ๆตท้“ใง่พฒๆฅญใ‚’ใ‚„ใ‚ŠใชใŒใ‚‰ใ€ใƒฉใƒผใƒกใƒณใ‚’้ฃŸในใชใŒใ‚‰ใ€้Ÿณๆฅฝใ‚’่žใใชใŒใ‚‰ใ€AIใ‚„ใ‚ฌใ‚ธใ‚งใƒƒใƒˆใ‚’ใ„ใ˜ใฃใฆใ„ใ‚‹ใŠใ˜ใ•ใ‚“ใงใ™ใ€‚ V ใƒ—ใƒญใƒ•ใ‚ฃใƒผใƒซใฏใ“ใกใ‚‰ V https://note.com/m4n/n/nfbd3f08abb86

    ใ‚ใชใŸใธใฎใŠใ™ใ™ใ‚