ใƒกใ‚คใƒณใ‚ณใƒณใƒ†ใƒณใƒ„ใธใ‚นใ‚ญใƒƒใƒ—
่ฆ‹ๅ‡บใ—็”ปๅƒ

nanochat#6 100ใ‚นใƒ†ใƒƒใƒ—ใง่‹ฑ่ชžใฏๆ›ธใ‘ใŸใ€‚ๆฎ‹ใ‚Šใฎ4,900ใ‚นใƒ†ใƒƒใƒ—ใฏใ€ไฝ•ใ‚’ใ—ใฆใ„ใŸใฎใ‹

    ้€ฃ่ผ‰ใ€Œๆœฌ็‰ฉใฎLLMใ‚’ใ€ๅ‹•ใ‹ใ—ใชใŒใ‚‰่ชญใฟ่งฃใใ€
    ็ฌฌ6ๅ›ž
    ใ€€100ใ‚นใƒ†ใƒƒใƒ—ใง่‹ฑ่ชžใฏๆ›ธใ‘ใŸใ€‚ๆฎ‹ใ‚Šใฎ4,900ใ‚นใƒ†ใƒƒใƒ—ใฏใ€ไฝ•ใ‚’ใ—ใฆใ„ใŸใฎใ‹
    ใ€€ใ€€ใ€œ Mac miniใง2ๆ™‚้–“15ๅˆ†ใ€ใƒ•ใƒฉใƒณใ‚นใฎ้ฆ–้ƒฝใฏใƒ•ใƒฉใƒณใ‚นใฎ้ฆ–้ƒฝใ ใฃใŸ ใ€œ

    ใฉใ†ใ‚‚ใงใ™๏ผใˆใ‚€ใ—ใ‚“ใงใ™ใ€‚

    ใ‚ฏใƒฉใ‚นใƒ•ใ‚กใ‚คใƒซใ‚’่ชญใ‚€ใฎใฏๅ‰ๅ›žใพใงใซใ—ใฆใ€ไปŠๅ›žใ‹ใ‚‰ๅฎŸ้š›ใซๅ›žใ—ใพใ™ใ€‚

    ๅ‰ๅ›žใฎๆœ€ๅพŒใซใ€Œไฝ•ใ‚นใƒ†ใƒƒใƒ—็›ฎใงใ€่‹ฑ่ชžใ‚‰ใ—ใ„ๅ˜่ชžใŒๅ‡บใฆใใ‚‹ใ‹ใ€ใจๆ›ธใใพใ—ใŸใ€‚
    ็ญ”ใˆใ‚’ๅ…ˆใซ่จ€ใ†ใจใ€100ใ‚นใƒ†ใƒƒใƒ—็›ฎใซใฏใ€ใ‚‚ใ†ๅฎŒ็’งใช่‹ฑ่ชžใ‚’ๆ›ธใ„ใฆใ„ใพใ—ใŸใ€‚

    ใŸใ ใ—ใ€ไธญ่บซใฏไฝ•ใ‚‚ใ‚ใ‚Šใพใ›ใ‚“ใงใ—ใŸใ€‚

    ๅฉใ„ใŸใฎใฏใ€ใ“ใฎ1ๆœฌ

    runs/runcpu.shย ใซๆ›ธใ„ใฆใ‚ใ‚‹ใ‚‚ใฎใ‚’ใ€ใใฎใพใพๅฎŸ่กŒใ—ใพใ™ใ€‚

       python -m scripts.base_train \
           --depth=6 --head-dim=64 --window-pattern=L \
           --max-seq-len=512 --device-batch-size=32 \
           --total-batch-size=16384 \
           --eval-every=100 --sample-every=100 \
           --num-iterations=5000

    ๅ‰ๅ›žๆ•ฐใˆใŸ7,353ไธ‡ๅ€‹ใฎใƒขใƒ‡ใƒซใ‚’ใ€5,000ๅ›žใพใ‚ใ—ใพใ™ใ€‚

    --sample-every=100ย ใ‚’ไป˜ใ‘ใฆใ„ใ‚‹ใฎใงใ€100ๅ›žใ”ใจใซๅญฆ็ฟ’ใ‚’ๆญขใ‚ใฆใ€
    ใใฎใจใใฎใƒขใƒ‡ใƒซใซ7ใคใฎ่ณชๅ•ใ‚’ใ—ใฆใ€็ญ”ใˆใ‚’ๅ‡บๅŠ›ใ•ใ›ใพใ™ใ€‚
    ใ“ใฎ้€”ไธญ็ตŒ้ŽใŒใ€ไปŠๅ›žใฎไธปๅฝนใงใ™ใ€‚

    ่ตทๅ‹•็›ดๅพŒใฎใƒญใ‚ฐใฏใ€ใ“ใ†ใงใ—ใŸใ€‚

       Autodetected device type: mps
       COMPUTE_DTYPE: torch.float32 (auto-detected: no CUDA (CPU/MPS))
       WARNING: Flash Attention 3 not available, using PyTorch SDPA fallback

    Macใชใฎใงใ€็ฒพๅบฆใฏ float32ใ€‚ๅ‰ๅ›žๅๅ‰ใ ใ‘ๅ‡บใ—ใŸ FlashAttention 3 ใฏไฝฟใˆใชใ„ใฎใงใ€
    PyTorchๆจ™ๆบ–ใฎใ‚„ใ‚Šๆ–นใซ่‡ชๅ‹•ใงๅˆ‡ใ‚Šๆ›ฟใ‚ใ‚Šใพใ™ใ€‚ใ“ใ“ใฏ่ญฆๅ‘ŠใŒๅ‡บใ‚‹ใ ใ‘ใงใ€ๆญขใพใ‚Šใพใ›ใ‚“ใ€‚


    2ๆ™‚้–“14ๅˆ†58็ง’ใ‹ใ‹ใฃใŸ

    ๅ…ˆใซใ€ๆ™‚้–“ใฎ่ฉฑใ‚’ใ—ใพใ™ใ€‚

       ้–‹ๅง‹     08:29:58
       ็ต‚ไบ†     10:44:56
       โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€
       ๅˆ่จˆ     2ๆ™‚้–“14ๅˆ†58็ง’

    runcpu.shย ใซใฏใ€nanochatไฝœ่€…ใฎ็’ฐๅขƒ๏ผˆMacBook Pro M3 Max๏ผ‰ใง
    ็ด„30ๅˆ†ใง็ต‚ใ‚ใ‚‹ใ‚ˆใ†ใซ่ชฟๆ•ดใ—ใŸใจๆ›ธใ„ใฆใ‚ใ‚Šใพใ™ใ€‚

    ใ†ใกใฎMac mini๏ผˆM4็„กๅฐใƒปใƒกใƒขใƒช16GB๏ผ‰ใงใฏใ€4.5ๅ€ใ‹ใ‹ใ‚Šใพใ—ใŸใ€‚

    ๅ†…่จณใฏใ“ใ†ใงใ™ใ€‚

       ๅญฆ็ฟ’ใใฎใ‚‚ใฎ          119.26ๅˆ†
       100ๅ›žใ”ใจใฎ่ฉ•ไพกใจ็”Ÿๆˆ   15.71ๅˆ†
       โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€
       ๅˆ่จˆ                134.97ๅˆ†

    1ใ‚นใƒ†ใƒƒใƒ—ใ‚ใŸใ‚Šใฎ้€Ÿใ•ใฏใ€5,000ๅ›žใถใ‚“ๆŽกใ‚‹ใจใ“ใ†ใชใ‚Šใพใ—ใŸใ€‚

       1ใ‚นใƒ†ใƒƒใƒ—    ไธญๅคฎๅ€ค 1,377 ms  ๏ผˆๆœ€้€Ÿ 1,244 / ๆœ€้… 16,088๏ผ‰
       tok/sec     ไธญๅคฎๅ€ค 11,901

    ๆœ€้…ใฎ16็ง’ใฏใ€่ฉ•ไพกใจ็”ŸๆˆใŒๆŒŸใพใฃใŸ็›ดๅพŒใฎๅ›žใงใ™ใ€‚ใใ‚Œใ‚’้™คใ‘ใฐใ€
    ใปใผ1.3ใ€œ1.4็ง’ใงไธ€ๅฎšใงใ—ใŸใ€‚

    ๅ‰ใฎ้€ฃ่ผ‰ใจไธฆในใพใ™ใ€‚

                        ๅ‰ๅ›ž๏ผˆ21ไธ‡ๅ€‹๏ผ‰    ไปŠๅ›ž๏ผˆ7,353ไธ‡ๅ€‹๏ผ‰
    
       ใ‚นใƒ†ใƒƒใƒ—ๆ•ฐ          3,000ๅ›ž          5,000ๅ›ž
       1ใ‚นใƒ†ใƒƒใƒ—            16.2 ms         1,377 ms
       ๅˆ่จˆๆ™‚้–“             48.6็ง’          2ๆ™‚้–“15ๅˆ†

    1ใ‚นใƒ†ใƒƒใƒ—ใซใ‹ใ‹ใ‚‹ๆ™‚้–“ใŒใ€85ๅ€ใซใชใ‚Šใพใ—ใŸใ€‚

    ๅ‰ๅ›žใฏ3,000ๅ›žใพใ‚ใ—ใฆ49็ง’ใ€‚ใ‚ณใƒผใƒ’ใƒผใ‚’ๆทนใ‚Œใฆใ„ใ‚‹ใ‚ใ„ใ ใซ็ต‚ใ‚ใฃใฆใ„ใพใ—ใŸใ€‚
    ไปŠๅ›žใฏใ€ๆทนใ‚Œใฆใ€้ฃฒใฟ็ต‚ใˆใฆใ€ๆด—ใ„็‰ฉใพใงๆธˆใพใ›ใฆใ‚‚ใ€ใพใ 10ๅˆ†ใฎ1ใ‚‚้€ฒใฟใพใ›ใ‚“ใ€‚


    ๅญฆ็ฟ’ใ‚’ๅง‹ใ‚ใ‚‹ๅ‰ใซใ€ไฝ•ใ‚’็ญ”ใˆใ‚‹ใฎใ‹

    100ใ‚นใƒ†ใƒƒใƒ—็›ฎใฎ่ฉฑใ‚’ใ™ใ‚‹ๅ‰ใซใ€ใใฎๆ‰‹ๅ‰ใ‚’่ฆ‹ใฆใŠใใพใ™ใ€‚

    --sample-every=100ย ใฏ100ๅ›žใ”ใจใชใฎใงใ€0ๅ›ž็›ฎใฎ็ญ”ใˆใฏๅ‡บๅŠ›ใ•ใ‚Œใพใ›ใ‚“ใ€‚
    ใชใฎใงใ€ๅˆๆœŸๅŒ–ใ—ใŸใ ใ‘ใฎใƒขใƒ‡ใƒซใ‚’ๅˆฅใซไฝœใฃใฆใ€ๅŒใ˜7ใคใ‚’่žใ„ใฆใฟใพใ—ใŸใ€‚

       The capital of France is diver Practices exceptional Length prevailing
                               ernesswing East Switzerland Style malt ...
    
       The opposite of hot is  diver Practices exceptional Length prevailing
                               ernesswing East Switzerland Style malt ...
    
       My favorite color is    diver Practices exceptional Length prevailing
                               ernesswing East Switzerland Style malt ...

    ๅ˜่ชžใฎใ‚ตใƒฉใƒ€ใงใ™ใ€‚ใ“ใ“ใพใงใฏไบˆๆƒณใฉใŠใ‚Šใงใ—ใŸใ€‚

    ไบˆๆƒณใ—ใฆใ„ใชใ‹ใฃใŸใฎใฏใ€7ใคใฎ่ณชๅ•ใฎใ†ใก5ใคใซใ€ใพใฃใŸใๅŒใ˜็ญ”ใˆใ‚’่ฟ”ใ—ใŸใ“ใจใงใ™ใ€‚

    ้ฆ–้ƒฝใ‚’่žใ„ใฆใ‚‚ใ€่‰ฒใ‚’่žใ„ใฆใ‚‚ใ€่ฟ”ใฃใฆใใ‚‹ใฎใฏๅŒใ˜ไธฆใณใ€‚
    ่ณชๅ•ใฎไธญ่บซใ‚’ใ€ใพใ 1ๆ–‡ๅญ—ใ‚‚่ฆ‹ใฆใ„ใพใ›ใ‚“ใ€‚

    ใ“ใ‚ŒใŒๅ‡บ็™บ็‚นใงใ—ใŸใ€‚


    100ใ‚นใƒ†ใƒƒใƒ—็›ฎ

    ใ“ใ“ใ‹ใ‚‰2ๅˆ†ๅŠ๏ผˆ100ใ‚นใƒ†ใƒƒใƒ—๏ผ‰่ตฐใ‚‰ใ›ใŸ็ตๆžœใงใ™ใ€‚

       The capital of France is a very popular and the most common in the most
                                common in the most common in
    
       The opposite of hot is   the most common of the most common of the most
                                common of the most common of
    
       My favorite color is     a good way to the use of the same way to the
                                use of the same

    ่‹ฑ่ชžใงใ™ใ€‚

    ๅ˜่ชžใฎใ‚ตใƒฉใƒ€ใงใฏใ‚ใ‚Šใพใ›ใ‚“ใ€‚ๅ† ่ฉžใŒใ‚ใฃใฆใ€ๅ‰็ฝฎ่ฉžใŒใ‚ใฃใฆใ€่ชž้ †ใŒๆญฃใ—ใ„ใ€‚
    the most common in theย ใฏใ€่‹ฑ่ชžใจใ—ใฆ1ใคใ‚‚้–“้•ใฃใฆใ„ใพใ›ใ‚“ใ€‚

    ใŸใ ใ—ใ€ๆ„ๅ‘ณใฏ็ฉบใงใ™ใ€‚ๅŒใ˜่จ€ใ„ๅ›žใ—ใ‚’ๅปถใ€…ใจ็นฐใ‚Š่ฟ”ใ—ใฆใ„ใ‚‹ใ ใ‘ใงใ™ใ€‚

    ใใ—ใฆใ€่ณชๅ•ใ”ใจใซ็ญ”ใˆใŒๅค‰ใ‚ใ‚‹ใ‚ˆใ†ใซใชใ‚Šใพใ—ใŸใ€‚
    a very popularย ใจ a good way toย ใฏ้•ใ†ๅ‡บใ ใ—ใงใ™ใ€‚
    ๅ…ฅๅŠ›ใ‚’่ชญใ‚€ใ‚ˆใ†ใซใฏใชใฃใŸใ€‚่ชญใ‚“ใ ็ตๆžœใ€่จ€ใ†ใ“ใจใŒใชใ‹ใฃใŸใ€‚

    ๅ‰ใฎ้€ฃ่ผ‰ใงใ€100ใ‚นใƒ†ใƒƒใƒ—็›ฎใซใ€Œ่ฑ†ใ‚’ๆŒฝใ‹ใ†ใ€ใจใ„ใ†ๅฃŠใ‚ŒใŸๆ—ฅๆœฌ่ชžใŒๅ‡บใพใ—ใŸใ€‚
    ใ‚ใ‚Œใฏ่ฆšใˆใ‚‹้€”ไธญใฎๆทท็ทšใงใ—ใŸใ€‚ไปŠๅ›žใฏๆทท็ทšใ™ใ‚‰ใ—ใฆใ„ใพใ›ใ‚“ใ€‚
    ๆœ€ๅˆใซใงใใ‚‹ใ‚ˆใ†ใซใชใฃใŸใฎใฏใ€ๆญฃใ—ใ•ใงใฏใชใใ€ใใ‚Œใ‚‰ใ—ใ•ใงใ—ใŸใ€‚


    ้€”ไธญ็ตŒ้Žใ‚’ใ€1ๆœฌใฎ่ณชๅ•ใง่ฟฝใ†

    ใ„ใกใฐใ‚“่ฆ‹ๅฟœใˆใŒใ‚ใฃใŸใฎใฏใ€Œ็†ฑใ„ใฎๅๅฏพใฏ๏ผŸใ€ใงใ—ใŸใ€‚
    50ๅ›žใถใ‚“ใฎไธญใ‹ใ‚‰ๆŠœใๅ‡บใ—ใฆไธฆในใพใ™ใ€‚

       step    0   diver Practices exceptional Length prevailing ...
       step  100   the most common of the most common of the most common of
       step  400   the most common cause of the cold weather.
       step  700   a hot and cold. The cold is cold and cold. The cold is cold
       step 1600   true. The opposite of hot is true. The opposite of hot is true.
       step 2600   the heat of the sun. The heat of the sun is the heat of the
       step 3600   that the temperature of the water is too hot.
       step 4600   that the heat of the sun is absorbed by the sun.

    400ๅ›ž็›ฎใง cold๏ผˆๅ†ทใŸใ„๏ผ‰ใŒๅ‡บใพใ™ใ€‚ใ“ใ‚ŒใŒๅˆใ‚ใฆใฎใ€Œๆญฃใ—ใ„ๆ–นๅ‘ใ€ใงใ—ใŸใ€‚

    ใจใ“ใ‚ใŒใ€cold ใŒๅ‡บใฆใใŸใฎใฏ 400ใƒป600ใƒป700ใƒป800 ใฎ4ๅ›žใ ใ‘ใงใ—ใŸใ€‚
    ใใฎใ‚ใจ4,200ใ‚นใƒ†ใƒƒใƒ—ๅ›žใ—ใพใ—ใŸใŒใ€ไบŒๅบฆใจๅ‡บใฆใใพใ›ใ‚“ใงใ—ใŸใ€‚

    ไปฃใ‚ใ‚Šใซ1600ๅ›ž็›ฎใซใฏใ€
    ใ€Œ็†ฑใ„ใฎๅๅฏพใฏใ€ๆญฃใ—ใ„ใ€‚็†ฑใ„ใฎๅๅฏพใฏใ€ๆญฃใ—ใ„ใ€‚ใ€ ใจ่จ€ใ„ๅ‡บใ—ใพใ™ใ€‚

    ใพใฃใ™ใ่‰ฏใใชใ‚‹ใ‚ใ‘ใงใฏใชใ„ใ€ใจใ„ใ†ใฎใŒใ‚ˆใๅˆ†ใ‹ใ‚‹1ๆœฌใงใ—ใŸใ€‚

    ใ„ใกใฐใ‚“ใใ‚Œใ„ใซไผธใณใŸใฎใฏใ€Œๅฅฝใใช่‰ฒใฏ๏ผŸใ€ใงใ™ใ€‚

       step  100   a good way to the use of the same way to the use of the same
       step 1100   the white, white, and white. The white is a white, white,
       step 2100   the red, orange, and orange. I have a few of my favorite color
       step 3100   the black. I have a black, brown, black, black, black,
       step 4600   the red. I have a red, yellow, and blue color. I have

    1100ๅ›ž็›ฎใงๅˆใ‚ใฆ่‰ฒใฎๅๅ‰๏ผˆwhite๏ผ‰ใŒ1ใคๅ‡บใฆใ€2100ๅ›ž็›ฎใง3ใคใซๅข—ใˆใพใ™ใ€‚
    ๆœ€ๅพŒใซใฏใ€่ตคใƒป้ป„ใƒป้’ใ‚’ไธฆในใฆใ€็ถšใๆ–‡ใพใงๆ›ธใ‘ใ‚‹ใ‚ˆใ†ใซใชใ‚Šใพใ—ใŸใ€‚

    ้€†ใซใ€ๆœ€ๅพŒใพใงไธ€ๅบฆใ‚‚่‰ฏใใชใ‚‰ใชใ‹ใฃใŸใฎใŒใ“ใ‚Œใงใ™ใ€‚

       step  100   If 5*x + 3 = 13, then x is 2020, 2020, 2020, 2020,
       step 1600   If 5*x + 3 = 13, then x is 3*x + 3*x + 3*x +
       step 4600   If 5*x + 3 = 13, then x is the number of times the number of
                                              times the number of times

    ็ญ”ใˆใฏ2ใงใ™ใ€‚5,000ๅ›žใพใ‚ใ—ใฆใ‚‚ใ€ๆ•ฐๅญ—ใฎ2ใฏๅ‡บใพใ›ใ‚“ใงใ—ใŸใ€‚


    5,000ใ‚นใƒ†ใƒƒใƒ—ๅพŒใฎ็ญ”ใˆ

    ๆœ€ๅพŒใฎ็”Ÿๆˆใงใ™ใ€‚

       The capital of France is the capital of France, which is the capital of
                                France. The capital of France

    ใ€Œใƒ•ใƒฉใƒณใ‚นใฎ้ฆ–้ƒฝใฏใ€ใƒ•ใƒฉใƒณใ‚นใฎ้ฆ–้ƒฝใงใ‚ใ‚‹ใ€‚ใใ‚Œใฏใƒ•ใƒฉใƒณใ‚นใฎ้ฆ–้ƒฝใ ใ€‚ใ€

    2ๆ™‚้–“15ๅˆ†ใ‹ใ‘ใฆใ€ใ“ใ‚Œใงใ—ใŸใ€‚

    ๆ–‡ใจใ—ใฆใฏใ€ใฉใ“ใ‚‚ๅฃŠใ‚Œใฆใ„ใพใ›ใ‚“ใ€‚ไธป่ชžใŒใ‚ใ‚Šใ€่ฟฐ่ชžใŒใ‚ใ‚Šใ€้–ขไฟ‚ไปฃๅ่ฉžใพใง
    ๆญฃใ—ใไฝฟใˆใฆใ„ใพใ™ใ€‚ใŸใ ใ€ใƒ‘ใƒชใจใ„ใ†ๅ˜่ชžใŒ1ๅ›žใ‚‚ๅ‡บใฆใ“ใชใ„ใ€‚

    ๅ‰ใฎ้€ฃ่ผ‰ใฎใ€Œ่ฑ†ใ‚’ๆŒฝใ‹ใ†ใ€ใฏใ€ๆ—ฅๆœฌ่ชžใจใ—ใฆๅฃŠใ‚Œใฆใ„ใฆใ€ใใ“ใŒๆ„›ใŠใ—ใ‹ใฃใŸใ€‚
    ไปŠๅ›žใฎใฏๅฃŠใ‚Œใฆใ„ใพใ›ใ‚“ใ€‚ๅฎŒ็’งใชๆ–‡ใงใ€ไฝ•ใ‚‚่จ€ใฃใฆใ„ใพใ›ใ‚“ใ€‚

    ใ€Œ็†ฑใ„ใฎๅๅฏพใ€ใฎใปใ†ใฏใ€ๆœ€ๅพŒใซใ“ใ†ใชใ‚Šใพใ—ใŸใ€‚

       The opposite of hot is the hot air. The hot air is the most important
                              part of the body's

    ใ€Œ็†ฑใ„ใฎๅๅฏพใฏใ€็†ฑใ„็ฉบๆฐ—ใงใ™ใ€ใ€‚


    ใ€Œๅฝ“ใฆใซใใ•ใ€ใฎใปใ†ใฏใ€ใกใ‚ƒใ‚“ใจไธ‹ใŒใฃใฆใ„ใŸ

    ็”Ÿๆˆใฎไธญ่บซใฏๆ–‡็ซ ใจใ—ใฆๆ„ๅ‘ณใ‚’ๆˆใ—ใฆใ„ใชใ„ใฎใงใ™ใŒใ€็‚นๆ•ฐใฎใปใ†ใฏ็ด ็›ดใซ่‰ฏใใชใฃใฆใ„ใพใ™ใ€‚

    100ๅ›žใ”ใจใซๅญฆ็ฟ’ใ‚’ๆญขใ‚ใฆใ€ไธ€ๅบฆใ‚‚ๅญฆ็ฟ’ใซไฝฟใฃใฆใ„ใชใ„ๆ–‡็ซ ใ‚’่ชญใพใ›ใฆใ„ใพใ™ใ€‚
    ใใ—ใฆใ€ๆฌกใซๆฅใ‚‹ๆ–‡ๅญ—ใ‚’ๅฝ“ใฆใ•ใ›ใพใ™ใ€‚

    ๅฝ“ใŸใ‚‰ใชใ„ใปใฉๆ•ฐๅญ—ใฏๅคงใใใ€ใ‚ˆใๅฝ“ใŸใ‚‹ใปใฉๅฐใ•ใใชใ‚Šใพใ™ใ€‚
    ใƒ†ใ‚นใƒˆใฎ็‚นใจ้€†ใงใ€ๅฐใ•ใ„ใปใฉ่‰ฏใ„ๆ•ฐๅญ—ใงใ™ใ€‚

    ใƒญใ‚ฐใซใฏใ“ใ†ๅ‡บใพใ™ใ€‚

       Step 00100 | Validation bpb: 1.940628

    bpbย ใฏใ€Œ1ใƒใ‚คใƒˆ๏ผˆ่‹ฑ่ชžใชใ‚‰ใปใผ1ๆ–‡ๅญ—๏ผ‰ใถใ‚“ใ‚’ๅฝ“ใฆใ‚‹ใฎใซใ€
    ไฝ•ใƒ“ใƒƒใƒˆ่ฟทใฃใŸใ‹ใ€ใจใ„ใ†ๆธฌใ‚Šๆ–นใงใ™ใ€‚ใ“ใฎๅ˜ไฝใใฎใ‚‚ใฎใฏ็ฌฌ8ๅ›žใงๆ‰ฑใ„ใพใ™ใ€‚
    ใ„ใพใฏๅฝ“ใฆใซใใ•ใฎ็‚นๆ•ฐใจใ ใ‘ๆ€ใฃใฆใใ ใ•ใ„ใ€‚

    100ๅˆปใฟใฎ้€”ไธญ่จˆๆธฌ็‚นใ‹ใ‚‰ใ€ๆŠœใๅ‡บใ—ใฆไธฆในใพใ™ใ€‚

       ใ‚นใƒ†ใƒƒใƒ—      ๅฝ“ใฆใซใใ•๏ผˆๅฐใ•ใ„ใปใฉ่‰ฏใ„๏ผ‰
    
       step     0    3.195800
       step   100    1.940628
       step   500    1.530011
       step  1000    1.371891
       step  2000    1.279500
       step  3000    1.224675
       step  4000    1.187887
       step  5000    1.165885

    3.196 ใ‹ใ‚‰ 1.166 ใพใงใ€‚100ๅˆปใฟใฎ้€”ไธญ่จˆๆธฌ็‚นใฏใ€ไธ€ๅบฆใ‚‚ไธŠใŒใ‚‰ใšใซไธ‹ใŒใ‚Š็ถšใ‘ใพใ—ใŸใ€‚

    ใŸใ ใ€ไธ‹ใŒใ‚Šๆ–นใซๅใ‚ŠใŒใ‚ใ‚Šใพใ™ใ€‚
    ๅ…จไฝ“ใฎๆ”นๅ–„ๅน…ใ‚’100ใจใ—ใฆใ€ใฉใ“ใพใง้€ฒใ‚“ใ ใ‹ใ‚’ไธฆในใพใ™ใ€‚

       step   100    ๆ”นๅ–„ใฎ 61.8%ใŒๅฎŒไบ†     ๏ผˆๅ…จ่กŒ็จ‹ใฎ  2%๏ผ‰
       step   500    ๆ”นๅ–„ใฎ 82.1%ใŒๅฎŒไบ†     ๏ผˆๅ…จ่กŒ็จ‹ใฎ 10%๏ผ‰
       step  1000    ๆ”นๅ–„ใฎ 89.9%ใŒๅฎŒไบ†     ๏ผˆๅ…จ่กŒ็จ‹ใฎ 20%๏ผ‰
       step  2000    ๆ”นๅ–„ใฎ 94.4%ใŒๅฎŒไบ†     ๏ผˆๅ…จ่กŒ็จ‹ใฎ 40%๏ผ‰
       step  5000    ๆ”นๅ–„ใฎ  100%           ๏ผˆๅ…จ่กŒ็จ‹ใฎ100%๏ผ‰

    ๆœ€ๅˆใฎ2%ใงใ€6ๅ‰ฒใŒ็ต‚ใ‚ใฃใฆใ„ใพใ™ใ€‚

    2ๆ™‚้–“15ๅˆ†ใฎใ†ใกใ€ๆœ€ๅˆใฎ2ๅˆ†ๅŠใง6ๅ‰ฒใ€‚ๆฎ‹ใ‚Šใฎ2ๆ™‚้–“ใง4ๅ‰ฒใงใ™ใ€‚

    ็”Ÿๆˆใ‚’ไธฆในใŸใจใใฎๆ„Ÿใ˜ใจใ€ใดใฃใŸใ‚Šๅˆใ„ใพใ™ใ€‚
    100ใ‚นใƒ†ใƒƒใƒ—็›ฎใฎใ€Œ่‹ฑ่ชžใซใชใฃใŸใ€ใŒใ„ใกใฐใ‚“ๅคงใใช้ฃ›่บใงใ€
    ใใฎใ‚ใจใฏ็ดฐใ‹ใ„่ฉฐใ‚ใ‚’ใšใฃใจใ‚„ใฃใฆใ„ใŸใ€‚


    ใชใœใƒ‘ใƒชใŒๅ‡บใฆใ“ใชใ„ใฎใ‹

    ็ญ”ใˆใฏ็ฌฌ4ๅ›žใงใ€ใ‚‚ใ†ๅ‡บใฆใ„ใพใ—ใŸใ€‚

    ไปŠๅ›ž่ชญใพใ›ใŸ้‡ใฏใ€ใ“ใ‚Œใงใ™ใ€‚

       5,000ใ‚นใƒ†ใƒƒใƒ— ร— 16,384ใƒˆใƒผใ‚ฏใƒณ = 81,920,000ใƒˆใƒผใ‚ฏใƒณ

    ็ฌฌ4ๅ›žใงใ€ใƒ‡ใƒผใ‚ฟใฎใƒ•ใ‚กใ‚คใƒซ1ๅ€‹ใŒ็ด„5,226ไธ‡ใƒˆใƒผใ‚ฏใƒณใ ใจๆ•ฐใˆใพใ—ใŸใ€‚
    ใคใพใ‚ŠไปŠๅ›ž่ชญใพใ›ใŸใฎใฏใ€ใƒ•ใ‚กใ‚คใƒซ1.57ๅ€‹ใถใ‚“ใงใ™ใ€‚

    ใใ—ใฆๅŒใ˜็ฌฌ4ๅ›žใงใ€GPT-2ใจๅŒใ˜ใใ‚‰ใ„ใซใ™ใ‚‹ใซใฏ170ๅ€‹่ฆใ‚‹ใ€ใจๆ›ธใใพใ—ใŸใ€‚

       ไปŠๅ›ž่ชญใพใ›ใŸ้‡    ใƒ•ใ‚กใ‚คใƒซ  1.57ๅ€‹ใถใ‚“
       GPT-2็ดšใซๅฟ…่ฆ     ใƒ•ใ‚กใ‚คใƒซ   170ๅ€‹ใถใ‚“
       โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€
       ้”ๆˆ็އ                     0.92%

    1%ใ‚‚่ชญใ‚“ใงใ„ใพใ›ใ‚“ใ€‚

    ่‹ฑ่ชžใฎๆ›ธใๆ–นใฏใ€1%ใงใ‚‚่บซใซใคใใพใ—ใŸใ€‚
    ใƒ•ใƒฉใƒณใ‚นใฎ้ฆ–้ƒฝใŒใƒ‘ใƒชใ ใจใ„ใ†1ใคใฎไบ‹ๅฎŸใฏใ€่บซใซใคใ‹ใชใ‹ใฃใŸใ€‚

    ่จ€ใ„ๆ–นใ‚’ๅค‰ใˆใ‚‹ใจใ€ๆ›ธใๆ–นใฏ่–„ใๅบƒใๆ›ธใ„ใฆใ‚ใ‚‹ใŒใ€ไบ‹ๅฎŸใฏ1ใ‹ๆ‰€ใซใ—ใ‹ๆ›ธใ„ใฆใ„ใชใ„
    ใจใ„ใ†ใ“ใจใ ใจๆ€ใ„ใพใ™ใ€‚ๅ‰็ฝฎ่ฉžใฎไฝฟใ„ๆ–นใฏ2ๅ„„ๆ–‡ๅญ—ใฎใฉใ“ใซใงใ‚‚ๅ‡บใฆใใพใ™ใŒใ€
    ใ€ŒParis is the capital of Franceใ€ใจใ„ใ†ๆ–‡ใฏใ€ใใ†ไฝ•ๅบฆใ‚‚ๅ‡บใฆใใพใ›ใ‚“ใ€‚


    ใŠใพใ‘๏ผšMacใฏใ€ใ‘ใฃใ“ใ†ๆฎดใ‚‰ใ‚Œใฆใ„ใŸ

    ๅ›žใ—ใฆใ„ใ‚‹้–“ใ€ๆ‰‹ๅ…ƒใฎใƒกใƒขใƒชใฏ95%๏ผˆ15GB / 16GB๏ผ‰ใงๅผตใ‚Šไป˜ใ„ใฆใ„ใพใ—ใŸใ€‚
    ๆฐ—ใซใชใฃใŸใฎใงๆธฌใฃใฆใŠใใพใ—ใŸใ€‚

       ใƒกใƒขใƒชๅœง็ธฎ      ๆฏŽ็ง’ 448 MB
       ๅœง็ธฎใฎๅฑ•้–‹      ๆฏŽ็ง’ 443 MB
       ใƒšใƒผใ‚ธใ‚คใƒณ      ๆฏŽ็ง’ 146 MB

    ๆฏŽ็ง’450MBๅˆ†ใ‚’ใ€็•ณใ‚“ใงใฏๅบƒใ’็›ดใ—ใฆใ„ใพใ™ใ€‚

    ๆ„ๅค–ใ ใฃใŸใฎใฏใ€ใใฎ็ฝฎใๅ ดใ‚’้ฃŸใฃใฆใ„ใ‚‹ใฎใŒใƒขใƒ‡ใƒซใงใฏใชใ‹ใฃใŸใ“ใจใงใ™ใ€‚

       ใƒ‘ใƒฉใƒกใƒผใ‚ฟๆœฌไฝ“ใจๆœ€้ฉๅŒ–ใฎ็Šถๆ…‹      ็ด„ 0.8 GB
       1ๅ›žใถใ‚“ใฎ็‚นๆ•ฐ่กจ                  ใกใ‚‡ใ†ใฉ 2.0 GB

    ็‚นๆ•ฐ่กจใจใ„ใ†ใฎใฏใ€ใƒใƒƒใƒ32ๆœฌ ร— 512ใƒˆใƒผใ‚ฏใƒณใฎใใ‚Œใžใ‚Œใซใคใ„ใฆใ€
    ่ชžๅฝ™32,768ๅ€‹ใถใ‚“ใฎ็‚นๆ•ฐใ‚’ไธฆในใŸใ‚‚ใฎใงใ™ใ€‚

       32 ร— 512 ร— 32,768 ร— 4ใƒใ‚คใƒˆ = 2.00 GB

    ใ“ใ‚ŒใŒ่จˆ็ฎ—ใฎ้€”ไธญใงไฝ•ๅ€‹ใ‚‚่ฆใ‚Šใพใ™ใ€‚7,353ไธ‡ๅ€‹ใฎใƒขใƒ‡ใƒซๆœฌไฝ“ใ‚ˆใ‚Šใ€
    ใใฎๅ ดใ‹ใŽใ‚Šใฎ่จˆ็ฎ—็”จ็ด™ใฎใปใ†ใŒใ€ใฏใ‚‹ใ‹ใซๅคงใใ„ใ€‚

    --device-batch-sizeย ใ‚’ๅŠๅˆ†ใซใ™ใ‚‹ใจใ€ใ“ใ“ใ‚‚็ด ็›ดใซๅŠๅˆ†ใซใชใ‚Šใพใ™ใ€‚
    ๆฌกๅ›žใ€6GBใฎใ‚ฐใƒฉใƒ•ใ‚ฃใƒƒใ‚ฏใƒœใƒผใƒ‰ใง่ฉฐใพใฃใŸใ‚‰ใ€ใพใšใ“ใ“ใ‚’ๅ‰Šใ‚‹ใ“ใจใซใชใ‚Šใพใ™ใ€‚

    ใกใชใฟใซๆธฉๅบฆใฏไธŠใŒใ‚Šใพใ—ใŸใŒใ€้…ใใฏใชใ‚Šใพใ›ใ‚“ใงใ—ใŸใ€‚

       step     0- 499   1ใ‚นใƒ†ใƒƒใƒ— 1,426 ms
       step  2500-2999   1ใ‚นใƒ†ใƒƒใƒ— 1,333 ms

    2ๆ™‚้–“ๅ›žใ—ใฆใ€ๅพŒๅŠใฎใปใ†ใŒ้€Ÿใ„ใใ‚‰ใ„ใงใ™ใ€‚
    pmset -g thermย ใซใ‚‚ใ€็†ฑใฎ่ญฆๅ‘Šใฏ1ไปถใ‚‚่จ˜้Œฒใ•ใ‚Œใฆใ„ใพใ›ใ‚“ใงใ—ใŸใ€‚


    ใงใใ‚ใŒใฃใŸใ‚‚ใฎ

    ไฟๅญ˜ใ•ใ‚ŒใŸใƒ•ใ‚กใ‚คใƒซใงใ™ใ€‚

       model_005000.pt     281 MB
       optim_005000.pt     521 MB

    ๅ‰ใฎ้€ฃ่ผ‰ใงไฝœใฃใŸใƒขใƒ‡ใƒซใฏ939KB๏ผˆ1ใƒกใ‚ฌใƒใ‚คใƒˆๅผฑ๏ผ‰ใงใ—ใŸใ€‚
    306ๅ€ใซใชใ‚Šใพใ—ใŸใ€‚


    ใ“ใฎๅ›žใฎๆ•ฐๅญ—

    100

    100ใ‚นใƒ†ใƒƒใƒ—ใ€ๅ…จ่กŒ็จ‹ใฎ2%ใ€ๆ™‚้–“ใซใ—ใฆ2ๅˆ†ๅŠใ€‚
    ใใ“ใงใ€ๆ”นๅ–„ใฎ6ๅ‰ฒใŒ็ต‚ใ‚ใฃใฆใ„ใพใ—ใŸใ€‚

    ็งใฏใšใฃใจใ€ๅญฆ็ฟ’ใจใ„ใ†ใฎใฏใ€Œใ ใ‚“ใ ใ‚“่ณขใใชใฃใฆใ„ใใ€ใ‚‚ใฎใ ใจๆ€ใฃใฆใ„ใพใ—ใŸใ€‚
    ๅฎŸ้š›ใซ100ๅ›žใ”ใจใฎ็ญ”ใˆใ‚’50ๅ›žใถใ‚“ไธฆในใฆใฟใ‚‹ใจใ€ใใ†ใงใฏใ‚ใ‚Šใพใ›ใ‚“ใงใ—ใŸใ€‚

    ใ„ใกใฐใ‚“ๆœ€ๅˆใซใ€ใใ‚Œใ‚‰ใ—ใๅ–‹ใ‚‹ใ“ใจใ‚’่ฆšใˆใพใ™ใ€‚
    ใ“ใ‚ŒใŒๆ—ฉใ„ใ€‚2ๅˆ†ๅŠใง็ต‚ใ‚ใ‚Šใพใ™ใ€‚

    ๆฎ‹ใ‚Šใฎ2ๆ™‚้–“ใฏใ€ไธญ่บซใ‚’1ใคใšใคๆ‹พใ„้›†ใ‚ใ‚‹ๆ™‚้–“ใงใ—ใŸใ€‚
    ่‰ฒใฎๅๅ‰ใ‚’1ใค่ฆšใˆใ€ๅคช้™ฝใฎ็†ฑใฎ่ฉฑใ‚’่ฆšใˆใ€ใใ‚Œใงใ‚‚ใƒ‘ใƒชใซใฏๅฑŠใ‹ใชใ„ใ€‚

    ChatGPTใŒใจใใฉใใ€็ซ‹ๆดพใชๆ–‡็ซ ใงๅ ‚ใ€…ใจ้–“้•ใฃใŸใ“ใจใ‚’่จ€ใ†ใฎใ‚’่ฆ‹ใ‹ใ‘ใพใ™ใ€‚
    ใ‚ใ‚ŒใฏๅฃŠใ‚Œใฆใ„ใ‚‹ใฎใงใฏใชใใฆใ€ใ“ใฎ้ †็•ชใฎๅๆฎ‹ใชใ‚“ใ˜ใ‚ƒใชใ„ใ‹ใจๆ€ใ„ใพใ—ใŸใ€‚
    ๅฝขใŒๅ…ˆใซใงใใฆใ€ไธญ่บซใŒๅพŒใ‹ใ‚‰ๅŸ‹ใพใ‚‹ใ€‚ๅŸ‹ใพใ‚Šใใ‚‹ๅ‰ใงใ‚‚ใ€ๅฝขใฎใปใ†ใฏๅฎŒๆˆใ—ใฆใ„ใพใ™ใ€‚


    ๆฌกๅ›ž

    ๅŒใ˜ใ‚ณใƒžใƒณใƒ‰ใ‚’ใ€2ๅฐ็›ฎใงๅฉใใพใ™ใ€‚

    ๆ‰‹ๅ…ƒใซใ‚ใ‚‹ใฎใฏใ€RTX 3060 ใฎ6GBใงใ™ใ€‚ใƒ‡ใƒผใ‚ฟใ‚ปใƒณใ‚ฟใƒผใฎGPUใฏ80GBใ€‚
    13ๅˆ†ใฎ1ใ—ใ‹ใ‚ใ‚Šใพใ›ใ‚“ใ€‚

    ๆฉŸๆขฐใ‚’ๆ›ฟใˆใ‚‹ใ ใ‘ใงใ€ๅ‹ๆ‰‹ใซๅค‰ใ‚ใ‚‹ใ“ใจใŒ1ใคใ‚ใ‚Šใพใ™ใ€‚
    Macใงใฏ float32 ใ ใฃใŸ่จˆ็ฎ—ใฎ็ฒพๅบฆใŒใ€bfloat16 ใซๅˆ‡ใ‚Šๆ›ฟใ‚ใ‚Šใพใ™ใ€‚
    ใ‚ณใƒผใƒ‰ใฏ1ๆ–‡ๅญ—ใ‚‚ๅค‰ใˆใฆใ„ใชใ„ใฎใซใ€ๆ•ฐใฎๆŒใกๆ–นใŒๅค‰ใ‚ใ‚‹ใ€‚

    ใใ—ใฆใ€ไปŠๆ—ฅใŠใพใ‘ใงๆธฌใฃใŸ2GBใฎ่จˆ็ฎ—็”จ็ด™ใŒใ€ไปŠๅบฆใฏ้€ƒใ’ๅ ดใฎใชใ„ๅ ดๆ‰€ใซ็ฝฎใ‹ใ‚Œใพใ™ใ€‚
    Macใฏๅœง็ธฎใ—ใฆใงใ‚‚็ฒ˜ใฃใฆใใ‚Œใพใ—ใŸใŒใ€ใ‚ฐใƒฉใƒ•ใ‚ฃใƒƒใ‚ฏใƒœใƒผใƒ‰ใฏ็ฒ˜ใ‚Šใพใ›ใ‚“ใ€‚

    6GBใซใ€ไฝ•ใŒ่ผ‰ใ‚‹ใฎใ‹ใ€‚

    ใงใฏใงใฏใ€‚

    ๆณจ๏ผ‰ใ“ใฎ่จ˜ไบ‹ใฎๅŸท็ญ†ใซใฏAIใ‚’ไฝฟใฃใฆใ„ใพใ™ใ€‚ๆง‹ๆˆใจๆœ€็ต‚็š„ใชๆ–‡็ซ ใฏ่‡ชๅˆ†ใฎๆ‰‹ใซใ‚ˆใ‚‹ใ‚‚ใฎใงใ™ใ€‚

    ย 
    ย 
    ๅŒ—ๆตท้“ใง่พฒๆฅญใ‚’ใ‚„ใ‚ŠใชใŒใ‚‰ใ€ใƒฉใƒผใƒกใƒณใ‚’้ฃŸในใชใŒใ‚‰ใ€้Ÿณๆฅฝใ‚’่žใใชใŒใ‚‰ใ€AIใ‚„ใ‚ฌใ‚ธใ‚งใƒƒใƒˆใ‚’ใ„ใ˜ใฃใฆใ„ใ‚‹ใŠใ˜ใ•ใ‚“ใงใ™ใ€‚ V ใƒ—ใƒญใƒ•ใ‚ฃใƒผใƒซใฏใ“ใกใ‚‰ V https://note.com/m4n/n/nfbd3f08abb86

    ใ‚ใชใŸใธใฎใŠใ™ใ™ใ‚