ใƒกใ‚คใƒณใ‚ณใƒณใƒ†ใƒณใƒ„ใธใ‚นใ‚ญใƒƒใƒ—
่ฆ‹ๅ‡บใ—็”ปๅƒ

nanochat#7 8ๅ€้€Ÿใใชใฃใฆใ€ๆˆ็ธพใฎๅทฎใฏ 0.000047 ใ ใฃใŸ

    ้€ฃ่ผ‰ใ€Œๆœฌ็‰ฉใฎLLMใ‚’ใ€ๅ‹•ใ‹ใ—ใชใŒใ‚‰่ชญใฟ่งฃใใ€
    ็ฌฌ7ๅ›žใ€€8ๅ€้€Ÿใใชใฃใฆใ€ๆˆ็ธพใฎๅทฎใฏ 0.000047 ใ ใฃใŸ
    ใ€€ใ€€ใ€œ 6GBใฎใ‚ฒใƒผใƒŸใƒณใ‚ฐใƒŽใƒผใƒˆใงใ€ๅŒใ˜ใ‚ณใƒžใƒณใƒ‰ใ‚’ๅฉใ„ใŸ ใ€œ

    ใฉใ†ใ‚‚ใงใ™๏ผใˆใ‚€ใ—ใ‚“ใงใ™ใ€‚

    ๅ‰ๅ›žใ€Mac mini M4(16GB)ใง2ๆ™‚้–“15ๅˆ†ใ‹ใ‘ใฆๅญฆ็ฟ’ใ‚’ๅ›žใ—ใพใ—ใŸใ€‚
    ไปŠๅ›žใฏใ€ใพใฃใŸใๅŒใ˜ใ‚ณใƒžใƒณใƒ‰ใ‚’2ๅฐ็›ฎใงๅฉใใพใ™ใ€‚

    ๆ‰‹ๅ…ƒใซใ‚ใ‚‹ใฎใฏใ€WindowsใƒŽใƒผใƒˆPC(32GB)ใ€€RTX 3060 ใฎ6GBใงใ™ใ€‚
    ใƒ‡ใƒผใ‚ฟใ‚ปใƒณใ‚ฟใƒผใงไฝฟใ‚ใ‚Œใ‚‹GPUใฏ80GBใ€‚13ๅˆ†ใฎ1ใ—ใ‹ใ‚ใ‚Šใพใ›ใ‚“ใ€‚

    ็ตๆžœใ‚’ๅ…ˆใซๆ›ธใใพใ™ใ€‚14ๅˆ†57็ง’ใง็ต‚ใ‚ใ‚Šใพใ—ใŸใ€‚

    ๅŒใ˜ใ‚ณใƒžใƒณใƒ‰ใ‚’ใ€ๅˆฅใฎPCใง

    ๅฉใ„ใŸใฎใฏๅ‰ๅ›žใจ1ๆ–‡ๅญ—ใ‚‚้•ใ„ใพใ›ใ‚“ใ€‚

       python -m scripts.base_train \
           --depth=6 --head-dim=64 --window-pattern=L \
           --max-seq-len=512 --device-batch-size=32 \
           --total-batch-size=16384 \
           --eval-every=100 --sample-every=100 \
           --num-iterations=5000

    ใƒˆใƒผใ‚ฏใƒŠใ‚คใ‚ถใ‚‚ใ€MacใงไฝœใฃใŸใ‚‚ใฎใ‚’ใใฎใพใพๆŒใฃใฆใ„ใใพใ—ใŸใ€‚
    ไธญ่บซใŒๅŒใ˜ใงใ‚ใ‚‹ใ“ใจใฏใ€ใƒ•ใ‚กใ‚คใƒซใฎๆŒ‡็ด‹๏ผˆmd5๏ผ‰ใง็ขบใ‹ใ‚ใฆใ‚ใ‚Šใพใ™ใ€‚

       tokenizer.pkl    c3250d6ff04efc56c7121ad9ec42a802   ๏ผˆไธกๆ–นใจใ‚‚ๅŒใ˜๏ผ‰

    ๅˆ‡ใ‚Šๆ–นใŒ้•ใ†ใจ็‚นๆ•ฐใ‚’ๆฏ”ในใ‚‰ใ‚Œใชใ„ใ‹ใ‚‰ใงใ™ใ€‚ๅŒใ˜็‰ฉๅทฎใ—ใงๆธฌใ‚‹ใŸใ‚ใฎไธ‹ๆบ–ๅ‚™ใงใ™ใ€‚


    ่ตทๅ‹•ใ—ใŸ็žฌ้–“ใซใ€้•ใ„ใŒๅ‡บใŸ

    ๅŒใ˜ใ‚ณใƒžใƒณใƒ‰ใชใฎใซใ€็ซ‹ใกไธŠใŒใ‚Šใฎใƒญใ‚ฐใŒ้•ใ„ใพใ—ใŸใ€‚ไธฆในใพใ™ใ€‚

       Mac mini
    
         Autodetected device type: mps
         COMPUTE_DTYPE: torch.float32 (auto-detected: no CUDA (CPU/MPS))
         WARNING: Flash Attention 3 not available, using PyTorch SDPA fallback
       RTX 3060
    
         Autodetected device type: cuda
         COMPUTE_DTYPE: torch.bfloat16 (auto-detected: CUDA SM 86 (bf16 supported))
         โœ“ Using Flash Attention 3: efficient, new and awesome.

    ใ‚ณใƒผใƒ‰ใฏ1ๆ–‡ๅญ—ใ‚‚ๅค‰ใˆใฆใ„ใพใ›ใ‚“ใ€‚

    ใใ‚Œใงใ‚‚ใ€ๆ•ฐใฎๆŒใกๆ–นใŒ float32ย ใ‹ใ‚‰ bfloat16ย ใซๅˆ‡ใ‚Šๆ›ฟใ‚ใ‚Šใพใ—ใŸใ€‚
    ใƒ—ใƒญใ‚ฐใƒฉใƒ ใŒ็’ฐๅขƒใ‚’่ฆ‹ใฆใ€ๅ‹ๆ‰‹ใซๆฑบใ‚ใฆใ„ใพใ™ใ€‚

    nanochat/common.pyย ใซใ€ใใฎๅˆคๆ–ญใŒๆ›ธใ„ใฆใ‚ใ‚Šใพใ™ใ€‚

       bf16 requires SM 80+ (Ampere: A100, A10, etc.)

    ใ€ŒSM 80ไปฅไธŠใชใ‚‰ bfloat16ใ€ใ€‚RTX 3060 ใฏ SM 86 ใชใฎใงใ€ใ“ใฎ็ทšใ‚’่ถŠใˆใฆใ„ใพใ—ใŸใ€‚

    ใ‚‚ใ†ใฒใจใคใ€ใ€Œโœ“ใ€ใŒไป˜ใ„ใฆใ„ใ‚‹่กŒใŒใ‚ใ‚Šใพใ™ใ€‚FlashAttention 3 ใŒไฝฟใˆใพใ—ใŸใ€‚

    ใ“ใ“ใฏไบˆๆƒณใŒๅค–ใ‚ŒใŸใจใ“ใ‚ใงใ™ใ€‚
    ็งใฏใ“ใฎ้€ฃ่ผ‰ใฎๆง‹ๆˆใ‚’็ซ‹ใฆใ‚‹ใจใใ€ใ€ŒFlashAttention 3 ใฏๆœ€ๆ–ฐใฎHopperไธ–ไปฃๅ‘ใ‘ใ ใ‹ใ‚‰ใ€
    3060ใงใฏไฝฟใˆใšใ€PyTorchๆจ™ๆบ–ใฎใ‚„ใ‚Šๆ–นใซ่ฝใกใ‚‹ใฏใšใ ใ€ใจๆ›ธใ„ใฆใ„ใพใ—ใŸใ€‚

    flash_attention.pyย ใ‚’่ชญใฟ็›ดใ™ใจใ€ใ“ใ†ใ‚ใ‚Šใพใ—ใŸใ€‚

       FA3 kernels are currently compiled for Hopper (sm90), Ada (sm89)
       and Ampere (sm80/sm86)

    Ampere ใ‚‚ๅฏพ่ฑกใซๅ…ฅใฃใฆใ„ใพใ—ใŸใ€‚3060ใฏใŽใ‚ŠใŽใ‚Šๆป‘ใ‚Š่พผใ‚“ใงใ„ใพใ™ใ€‚

    ใคใพใ‚ŠMacใจใฎๅทฎใฏใ€2ใคใ‚ใฃใŸใ“ใจใซใชใ‚Šใพใ™ใ€‚
    ๆ•ฐใฎๆŒใกๆ–นใŒๅค‰ใ‚ใ‚Šใ€Attentionใฎ่จˆ็ฎ—ใฎใ‚„ใ‚Šๆ–นใพใงๅ…ฅใ‚Œๆ›ฟใ‚ใฃใŸใ€‚


    ๆ•ฐใฎๆŒใกๆ–นใŒๅค‰ใ‚ใ‚‹ใ€ใจใ„ใ†ใฎใฏ

    ใ“ใ“ใ ใ‘ใ€ๅฐ‘ใ—่ชฌๆ˜Žใ‚’ๆŒŸใฟใพใ™ใ€‚

    ใ‚ณใƒณใƒ”ใƒฅใƒผใ‚ฟใฏๅฐๆ•ฐใ‚’ใ€ๆฑบใพใฃใŸ้•ทใ•ใฎ็ฎฑใซๅ…ฅใ‚ŒใฆๆŒใกใพใ™ใ€‚
    float32ย ใฏ1ๅ€‹ใ‚ใŸใ‚Š32ใƒ“ใƒƒใƒˆใฎ็ฎฑใ€bfloat16ย ใฏ16ใƒ“ใƒƒใƒˆใฎ็ฎฑใงใ™ใ€‚

    ็ฎฑใŒๅŠๅˆ†ใซใชใ‚Šใพใ™ใ€‚

    ๅŠๅˆ†ใซใชใ‚Œใฐใ€ๆ›ธใ่พผใ‚ใ‚‹ๆกๆ•ฐใ‚‚ๆธ›ใ‚Šใพใ™ใ€‚

    ๅ‰ๅ›žMacใงไฝœใฃใŸใƒขใƒ‡ใƒซใฎ้‡ใฟใ‚’ใ€ๅฎŸ้š›ใซๅฐใ•ใ„็ฎฑใธ็งปใ—ใฆใฟใพใ—ใŸใ€‚
    1ๅฑค็›ฎใฎMLPใฎใ€ๅ…ˆ้ ญ5ๅ€‹ใงใ™ใ€‚

       float32           bfloat16
    
        0.03140263        0.03149414
       -0.00918143       -0.00915527
        0.02737478        0.02734375
        0.01616270        0.01611328
        0.04142616        0.04150391

    ๅฐๆ•ฐ็ฌฌ4ไฝใ‹ใ‚‰ไธ‹ใŒใ€ๅˆ‡ใ‚Šใฎใ„ใ„ใจใ“ใ‚ใธๅฏ„ใ›ใ‚‰ใ‚Œใฆใ„ใพใ™ใ€‚
    ๅคงใใใชใฃใŸใ‚Šๅฐใ•ใใชใฃใŸใ‚Šใจใ€ๆ–นๅ‘ใฏๆƒใฃใฆใ„ใพใ›ใ‚“ใ€‚

    ใ“ใฎๅฑคใฎ้‡ใฟ58ไธ‡9,824ๅ€‹ใ‚’ๅ…จ้ƒจ็งปใ—ใฆใ€ใšใ‚Œใ‚’ๆธฌใ‚Šใพใ—ใŸใ€‚

       ใšใ‚Œใฎๅนณๅ‡        0.00003486
       ใšใ‚Œใฎๆœ€ๅคง        0.00048733
       ใ‚‚ใจใฎๅ€คใซๅฏพใ—ใฆ   0.141%
       ใดใฃใŸใ‚Šไธ€่‡ด        9ๅ€‹ / 589,824ๅ€‹

    58ไธ‡ๅ€‹ใฎใ†ใกใ€ใใฎใพใพๅ…ฅใฃใŸใฎใฏ9ๅ€‹ใ ใ‘ใงใ—ใŸใ€‚
    ๆฎ‹ใ‚Šใฏๅ…จ้ƒจใ€ใฉใ“ใ‹ใ—ใ‚‰ๅ‰Šใ‚‰ใ‚Œใฆใ„ใพใ™ใ€‚

    ้›‘ใซใชใ‚Šใพใ™ใ€‚ใใฎใถใ‚“ใ€ไธ€ๅบฆใซ้‹ในใ‚‹ๆ•ฐใŒๅ€ใซใชใ‚Šใ€่จˆ็ฎ—ใ‚‚้€Ÿใใชใ‚Šใพใ™ใ€‚

    ็ฒ—ใใ—ใฆใ€้€Ÿใใ™ใ‚‹ใ€‚ ใ“ใ‚ŒใŒใ“ใฎๅ›žใฎใƒ†ใƒผใƒžใงใ™ใ€‚

    ๅ‰ใฎ้€ฃ่ผ‰ใฎๆœ€็ต‚ๅ›žใงใ€็งใฏ Q4_K_M ใจใ„ใ†ไป•็ต„ใฟใŒ่ชฌๆ˜Žใงใใšใซ็ต‚ใ‚ใ‚Šใพใ—ใŸใ€‚
    ใ‚ใ‚Œใ‚‚ๅŒใ˜่ฉฑใงใ™ใ€‚16ใƒ“ใƒƒใƒˆใฎใฏใšใฎใ‚‚ใฎใ‚’4.92ใƒ“ใƒƒใƒˆใพใงๅ‰Šใฃใฆใ€
    ไฝ•ใŒ่ตทใใ‚‹ใฎใ‹ใŒๅˆ†ใ‹ใ‚‰ใชใ‹ใฃใŸใ€‚

    ไปŠๅ›žใฏใ€ใใฎๆ‰‹ๅ‰ใฎ1ๆฎต้šŽใ‚’ๅฎŸ้š›ใซๆธฌใ‚Šใพใ™ใ€‚
    32ใƒ“ใƒƒใƒˆใ‚’16ใƒ“ใƒƒใƒˆใซใ™ใ‚‹ใจใ€็ตๆžœใฏใฉใ‚Œใ ใ‘ๆ‚ชใใชใ‚‹ใฎใ‹ใ€‚


    ้€Ÿใ•

    ใพใšๆ™‚้–“ใงใ™ใ€‚ๅŒใ˜5,000ใ‚นใƒ†ใƒƒใƒ—ใงใ™ใ€‚

                        Mac mini (M4)      RTX 3060
    
       1ใ‚นใƒ†ใƒƒใƒ—          1,377 ms          173 ms
       tok/sec            11,901           94,473
       ๅญฆ็ฟ’ๆ™‚้–“          119.26ๅˆ†          14.57ๅˆ†

    7.94ๅ€ใ€‚

    ๅ‰ๅ›žใ€Macใงๅ›žใ—ใฆใ„ใ‚‹้–“ใซใ‚ณใƒผใƒ’ใƒผใ‚’ๆทนใ‚Œใฆ้ฃฒใฟ็ต‚ใˆใฆๆด—ใ„็‰ฉใพใงๆธˆใพใ›ใฆใ‚‚
    10ๅˆ†ใฎ1ใ‚‚้€ฒใพใชใ„ใ€ใจๆ›ธใใพใ—ใŸใ€‚ไปŠๅ›žใฏใ€ๆทนใ‚Œใฆใ„ใ‚‹ใ†ใกใซๅŠๅˆ†็ต‚ใ‚ใ‚Šใพใ™ใ€‚

    ใƒ”ใƒผใ‚ฏใงไฝฟใฃใŸใƒกใƒขใƒชใ‚‚ๅ‡บใพใ—ใŸใ€‚

       Peak memory usage: 3002.09MiB

    3,002MiBใ€‚ๆญ่ผ‰ใ—ใฆใ„ใ‚‹ใฎใฏ6,144MiBใชใฎใงใ€ๅŠๅˆ†ใ‚‚ไฝฟใฃใฆใ„ใพใ›ใ‚“ใ€‚

    ใ“ใ“ใ‚‚ไบˆๆƒณใŒๅค–ใ‚ŒใŸใจใ“ใ‚ใงใ™ใ€‚
    ๆบ–ๅ‚™ใฎใจใใซใ€ŒใƒŽใƒผใƒˆPCใฏ็”ป้ขใฎๆ็”ปใซ0.5ใ€œ1GBๅ–ใ‚‰ใ‚Œใ‚‹ใฎใงใ€
    ๅฎŸ่ณช5GBๅผทใ—ใ‹ไฝฟใˆใชใ„ใ€ใจ่ฆ‹็ฉใ‚‚ใฃใฆใ„ใพใ—ใŸใ€‚ๅฎŸ้š›ใซๆธฌใ‚‹ใจใ€ใ“ใ†ใงใ—ใŸใ€‚

       8MiB / 6144MiB

    8MiBใ€‚ ใƒŽใƒผใƒˆPCใฎ็”ป้ขใฏๅ†…่”ตใฎใ‚ฐใƒฉใƒ•ใ‚ฃใƒƒใ‚ฏใ‚นๆฉŸ่ƒฝใŒๆใ„ใฆใ„ใฆใ€
    3060ใฏ่จˆ็ฎ—ๅฐ‚็”จใซใชใฃใฆใ„ใพใ—ใŸใ€‚6GBใพใ‚‹ใ”ใจไฝฟใˆใพใ™ใ€‚


    ใงใ€็ฒ—ใใ—ใŸใถใ‚“ใ€็ตๆžœใฏๆ‚ชใใชใฃใŸใฎใ‹

    ใ“ใ“ใŒๆœฌ้กŒใงใ™ใ€‚

    100ๅ›žใ”ใจใซๆธฌใฃใŸใ€Œๅฝ“ใฆใซใใ•ใ€๏ผˆๅ‰ๅ›ž่ชฌๆ˜Žใ—ใŸใ€ๅฐใ•ใ„ใปใฉ่‰ฏใ„็‚นๆ•ฐ๏ผ‰ใ‚’ใ€
    2ๅฐใถใ‚“ไธฆในใพใ™ใ€‚

       ใ‚นใƒ†ใƒƒใƒ—    Mac(32ใƒ“ใƒƒใƒˆ)   3060(16ใƒ“ใƒƒใƒˆ)      ๅทฎ
    
            0      3.195800       3.195800     +0.000000
          100      1.940628       1.946345     +0.005717
          500      1.530011       1.534937     +0.004926
         1000      1.371891       1.373959     +0.002068
         2000      1.279500       1.279913     +0.000413
         3000      1.224675       1.222672     -0.002003
         4000      1.187887       1.186090     -0.001797
         5000      1.165885       1.165166     -0.000719

    ๅ‡บ็™บ็‚นใฎ 3.195800 ใฏใ€ๅฐๆ•ฐ็ฌฌ6ไฝใพใงๅŒใ˜ใงใ—ใŸใ€‚
    ๅŒใ˜ใƒˆใƒผใ‚ฏใƒŠใ‚คใ‚ถใ€ๅŒใ˜ๅˆๆœŸๅŒ–ใชใฎใงใ€็ซ‹ใฃใฆใ„ใ‚‹ๅ ดๆ‰€ใฏๅฎŒๅ…จใซๅŒใ˜ใงใ™ใ€‚

    ใใ“ใ‹ใ‚‰ๅ…ˆใ‚’่ฆ‹ใ‚‹ใจใ€ๆœ€ๅˆใฎใ†ใกใฏ3060ใฎใปใ†ใŒๅฐ‘ใ—ใ ใ‘ๆ‚ชใ„ใ€‚
    ใจใ“ใ‚ใŒ2,500ใ‚นใƒ†ใƒƒใƒ—ใ‚ใŸใ‚Šใง็ฌฆๅทใŒใฒใฃใใ‚Š่ฟ”ใ‚Šใ€ๆœ€ๅพŒใฏ3060ใฎใปใ†ใŒ่‰ฏใ„ใ€‚

    50ๅ€‹ใฎๆธฌๅฎš็‚นใ‚’ใœใ‚“ใถ้›†่จˆใ—ใพใ—ใŸใ€‚

       ๅทฎใฎๅนณๅ‡            +0.000047
       ใ„ใกใฐใ‚“้–‹ใ„ใŸๅทฎ     +0.008260  ๏ผˆ200ใ‚นใƒ†ใƒƒใƒ—็›ฎ๏ผ‰
       ใ„ใกใฐใ‚“้€†ใซ้–‹ใ„ใŸๅทฎ  -0.002316  ๏ผˆ3200ใ‚นใƒ†ใƒƒใƒ—็›ฎ๏ผ‰
       3060ใŒๅ‹ใฃใŸๅ›žๆ•ฐ     28 / 50

    ๅนณๅ‡ใฎๅทฎใฏ 0.000047ใ€‚

    50ๅ›žใฎใ†ใก28ๅ›žใฏ3060ใฎใปใ†ใŒ่‰ฏใ„ๆˆ็ธพใงใ—ใŸใ€‚ใปใผใ‚ณใ‚คใƒณใƒˆใ‚นใงใ™ใ€‚

    ็ฎฑใ‚’ๅŠๅˆ†ใซใ—ใฆใ€8ๅ€้€Ÿใใ—ใฆใ€ๅคฑใฃใŸใ‚‚ใฎใฏๆธฌใ‚Œใพใ›ใ‚“ใงใ—ใŸใ€‚


    ใŸใ ใ—ใ€ๆ›ธใๆ–‡็ซ ใฏๅˆฅ็‰ฉใซใชใฃใŸ

    ็‚นๆ•ฐใŒใปใผๅŒใ˜ใชใฎใงใ€ๅ‡บใฆใใ‚‹ๆ–‡็ซ ใ‚‚ๅŒใ˜ใ‹ใจใ„ใ†ใจใ€้•ใ„ใพใ—ใŸใ€‚

    2,000ใ‚นใƒ†ใƒƒใƒ—็›ฎใฎๅŒใ˜่ณชๅ•ใซใ€ใ“ใ†็ญ”ใˆใฆใ„ใพใ™ใ€‚

       Mac    If yesterday was Friday, then tomorrow will be the first time
              in the world to get to the next level.
    
       3060   If yesterday was Friday, then tomorrow will be Friday, then Friday,
              then Saturday, then Saturday, then Saturday, then Saturday

    3060ใฎใปใ†ใฏใ€ๆ›œๆ—ฅใฎๅๅ‰ใ‚’ๅ‡บใ—ใฆใ„ใพใ™ใ€‚

    ้ †็•ชใ‚‚็ญ”ใˆใ‚‚้–“้•ใฃใฆใ„ใพใ™ใŒใ€ใ€Œใ“ใ‚Œใฏๆ›œๆ—ฅใฎ่ณชๅ•ใ ใ€ใจๅˆ†ใ‹ใฃใŸใ†ใˆใงๆ›œๆ—ฅใ‚’ไธฆในใฆใ„ใ‚‹ใ€‚
    Macใฎใปใ†ใฏใ€Œไธ–็•Œใงๅˆใ‚ใฆๆฌกใฎใƒฌใƒ™ใƒซใซๅˆฐ้”ใ™ใ‚‹ๆ™‚ใ€ใจใ€ใพใ‚‹ใง้•ใ†่ฉฑใ‚’ใ—ใฆใ„ใพใ™ใ€‚

    ใ‚‚ใ†ใฒใจใคใ€‚

       Mac    The capital of France is the first of the 20th century.
       3060   The capital of France is a major factor in the development of
              the French French French French French French French French

    ใ€ŒFrenchใ€ใฎ้€ฃๅ‘ผใฏใ€Macใงใฏไธ€ๅบฆใ‚‚ๅ‡บใชใ‹ใฃใŸๅฃŠใ‚Œๆ–นใงใ™ใ€‚

    ๅŒใ˜ใƒ‡ใƒผใ‚ฟใ‚’ๅŒใ˜้ †็•ชใง่ชญใพใ›ใฆใ„ใ‚‹ใฎใซใ€ไธธใ‚ๆ–นใŒๅฐ‘ใ—้•ใ†ใ ใ‘ใงใ€
    ้ธใถๅ˜่ชžใŒๅˆ†ใ‹ใ‚Œใฆใ„ใใพใ™ใ€‚็‚นๆ•ฐใฏๅŒใ˜ใงใ‚‚ใ€ๆ›ธใใ‚‚ใฎใฏๅˆฅ็‰ฉใซใชใ‚‹ใ€‚

    ใใ—ใฆ5,000ใ‚นใƒ†ใƒƒใƒ—ๅพŒใ€2ๅฐใฏๅŒใ˜ๅ ดๆ‰€ใซใŸใฉใ‚Š็€ใใพใ—ใŸใ€‚

       Mac    The capital of France is the capital of France, which is
              the capital of France. The capital of France
    
       3060   The capital of France is the capital of France, and the capital
              of France is the capital of France.

    ้•ใ†็’ฐๅขƒใงใ€้•ใ†็ฒพๅบฆใงใ€้•ใ†้“ใ‚’้€šใฃใฆใ€ๅŒใ˜ๅ ‚ใ€…ๅทกใ‚Šใงใ™ใ€‚


    6GBใซใ€ไฝ•ใŒ่ผ‰ใ‚‹ใฎใ‹

    ใ“ใ“ใ‹ใ‚‰ใฏใ€ใ›ใฃใ‹ใGPUใŒใ‚ใ‚‹ใฎใงๆธฌใฃใฆใŠใใŸใ‹ใฃใŸใ“ใจใงใ™ใ€‚

    ๅŠๅˆ†ใ—ใ‹ไฝฟใฃใฆใ„ใชใ„ใฎใชใ‚‰ใ€ใ‚‚ใฃใจๅคงใใ„ใƒขใƒ‡ใƒซใŒ่ผ‰ใ‚‹ใฏใšใงใ™ใ€‚
    --depthย ใ‚’ไธŠใ’ใชใŒใ‚‰ใ€ใฉใ“ใง้™็•ŒใŒๆฅใ‚‹ใ‹ใ‚’่ฉฆใ—ใพใ—ใŸใ€‚

    ๅ„่จญๅฎšใ‚’3ใ€œ12ใ‚นใƒ†ใƒƒใƒ—ใ ใ‘ๅ›žใ—ใฆใ€ใƒ”ใƒผใ‚ฏใฎใƒกใƒขใƒชใจ้€Ÿใ•ใ‚’ๆŽกใ‚Šใพใ™ใ€‚

       ่จญๅฎš                    ใƒ‘ใƒฉใƒกใƒผใ‚ฟๆ•ฐ      ใƒ”ใƒผใ‚ฏ       tok/sec
    
       d6  seq512  bs32       73,531,646     3,002 MiB     91,161
       d8  seq1024 bs8       125,829,546     2,721 MiB     44,869
       d12 seq1024 bs8       286,262,162     5,471 MiB     17,224

    d12 ใพใง่ผ‰ใ‚Šใพใ—ใŸใ€‚GPT-1ใจๅŒใ˜่ฆๆจก๏ผˆ2ๅ„„8,626ไธ‡ๅ€‹๏ผ‰ใŒใ€
    6GBใฎใ‚ฒใƒผใƒŸใƒณใ‚ฐใƒŽใƒผใƒˆใซๅŽใพใฃใฆใ„ใพใ™ใ€‚

    ้€”ไธญใงใ€ใŠใ‹ใ—ใชใ“ใจใŒ่ตทใใฆใ„ใพใ™ใ€‚

       d6  73,531,646ๅ€‹    3,002 MiB
       d8 125,829,546ๅ€‹    2,721 MiB   โ† ใƒขใƒ‡ใƒซใฏๅคงใใ„ใฎใซใ€ใƒกใƒขใƒชใฏๆธ›ใฃใŸ

    ใƒ‘ใƒฉใƒกใƒผใ‚ฟใŒ1.7ๅ€ใซใชใฃใŸใฎใซใ€ไฝฟใฃใŸใƒกใƒขใƒชใฏๆธ›ใ‚Šใพใ—ใŸใ€‚

    ็†็”ฑใฏๅ‰ๅ›žใฎใŠใพใ‘ใซๆ›ธใ„ใŸใจใŠใ‚Šใงใ™ใ€‚ๅ ดๆ‰€ใ‚’้ฃŸใฃใฆใ„ใ‚‹ใฎใฏใƒขใƒ‡ใƒซใงใฏใชใใ€
    ่จˆ็ฎ—ใฎ้€”ไธญใงไฝœใ‚‰ใ‚Œใ‚‹ใ€Œ็‚นๆ•ฐ่กจใ€ใฎใปใ†ใงใ—ใŸใ€‚

       d6  ใƒใƒƒใƒ32 ร— 512ใƒˆใƒผใ‚ฏใƒณ    32 ร— 512 ร— 32,768 ร— 4ใƒใ‚คใƒˆ = 2.00 GB
       d8  ใƒใƒƒใƒ8 ร— 1024ใƒˆใƒผใ‚ฏใƒณ     8 ร— 1024 ร— 32,768 ร— 4ใƒใ‚คใƒˆ = 1.00 GB

    ็‚นๆ•ฐ่กจใŒๅŠๅˆ†ใซใชใฃใŸใฎใงใ€ใƒขใƒ‡ใƒซใŒ5,200ไธ‡ๅ€‹ๅข—ใˆใฆใ‚‚็ท้‡ใฏไธ‹ใŒใ‚‹ใ€‚

    ใ€Œๅฑคใ‚’ๅข—ใ‚„ใ™ใจ้‡ใใชใ‚‹ใ€ใฎใงใฏใชใใ€ใ€Œไธ€ๅบฆใซๅ‡ฆ็†ใ™ใ‚‹้‡ใŒ้‡ใ„ใ€ใฎใงใ—ใŸใ€‚


    ๅฃใ‚’่ถŠใˆใฆใ‚‚ใ€่ฝใกใชใ‹ใฃใŸ

    ใ“ใ“ใ‹ใ‚‰ใŒใ€ไปŠๅ›žใ„ใกใฐใ‚“้ฉšใ„ใŸใจใ“ใ‚ใงใ™ใ€‚

    ใ‚‚ใฃใจๅคงใใใ—ใฆใ„ใใพใ™ใ€‚6,144MiBใ‚’่ถ…ใˆใŸใ‚‰ใ€
    ใ€ŒใƒกใƒขใƒชใŒ่ถณใ‚Šใพใ›ใ‚“ใ€ใจใ„ใ†ใ‚จใƒฉใƒผใงๆญขใพใ‚‹ใฏใšใงใ™ใ€‚

       d12 seq1024 bs16     286,262,162ๅ€‹     8,698 MiB      468 tok/sec

    8,698MiBใ€‚

    ๆญ่ผ‰ใ—ใฆใ„ใ‚‹ใฎใฏ6,144MiBใงใ™ใ€‚็‰ฉ็†็š„ใซๅญ˜ๅœจใ—ใชใ„้‡ใ‚’ไฝฟใฃใฆใ„ใพใ™ใ€‚

    ใใ—ใฆๆญขใพใ‚Šใพใ›ใ‚“ใงใ—ใŸใ€‚ ใ‚จใƒฉใƒผใ‚‚ๅ‡บใพใ›ใ‚“ใ€‚

    ่ถณใ‚Šใชใ„ใถใ‚“ใฏใ€ใƒ‘ใ‚ฝใ‚ณใƒณๆœฌไฝ“ใฎใƒกใƒขใƒชใซ้€ƒใŒใ•ใ‚Œใฆใ„ใพใ—ใŸใ€‚
    Windowsใซใใ†ใ„ใ†ไป•็ต„ใฟใŒใ‚ใ‚Šใพใ™ใ€‚ใŸใ ใ—ใ€ไปฃๅ„ŸใŒ้€Ÿๅบฆใงใ—ใŸใ€‚

       6GBใซๅŽใพใฃใŸใจใ    17,224 tok/sec
       6GBใ‚’่ถ…ใˆใŸใจใ         468 tok/sec
       โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€
                            36.8ๅ€ใฎๆธ›้€Ÿ

    ๅ‰ๅ›žใ€MacใŒๆฏŽ็ง’450MBๅˆ†ใฎใƒ‡ใƒผใ‚ฟใ‚’็•ณใ‚“ใงใฏๅบƒใ’็›ดใ—ใฆ็ฒ˜ใฃใฆใ„ใŸ่ฉฑใ‚’ๆ›ธใใพใ—ใŸใ€‚
    ๅŒใ˜ใ“ใจใŒใ€ใ“ใกใ‚‰ใงใ‚‚่ตทใใฆใ„ใพใ—ใŸใ€‚

    ๅ‰ๅ›žใฎไบˆๅ‘Šใงใ€็งใฏใ“ใ†ๆ›ธใใพใ—ใŸใ€‚

    Macใฏๅœง็ธฎใ—ใฆใงใ‚‚็ฒ˜ใฃใฆใใ‚Œใพใ—ใŸใŒใ€ใ‚ฐใƒฉใƒ•ใ‚ฃใƒƒใ‚ฏใƒœใƒผใƒ‰ใฏ็ฒ˜ใ‚Šใพใ›ใ‚“ใ€‚

    ็ฒ˜ใ‚Šใพใ—ใŸใ€‚่จ‚ๆญฃใ—ใพใ™ใ€‚

    ใ‚‚ใฃใจๅคงใใใ—ใฆใ‚‚ใ€ใพใ ่ฝใกใพใ›ใ‚“ใ€‚

       d16 seq1024 bs16     536,872,506ๅ€‹    14,826 MiB     174 tok/sec
       d20 seq1024 bs4      896,534,946ๅ€‹    13,100 MiB      37 tok/sec

    5ๅ„„3,687ไธ‡ๅ€‹ใ€‚8ๅ„„9,653ไธ‡ๅ€‹ใ€‚6GBใฎใ‚ซใƒผใƒ‰ใงใ€14.8GBใ‚’ไฝฟใฃใฆใ„ใพใ™ใ€‚

    ้€Ÿใ•ใฎใปใ†ใ‚’ไธฆในใ‚‹ใจใ€ใ“ใ†ใชใ‚Šใพใ™ใ€‚

       d6  ๏ผˆ6GBใซๅŽใพใ‚‹๏ผ‰       91,161 tok/sec
       d12 ๏ผˆๅฐ‘ใ—่ถ…ใˆใ‚‹๏ผ‰            468
       d16                          174
       d20                           37
       โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€
       d6ใจd20ใฎๅทฎ            2,464ๅ€

    37 tok/sec ใจใ„ใ†ใฎใฏใ€ไปŠๆ—ฅใฎ5,000ใ‚นใƒ†ใƒƒใƒ—ใ‚’็ต‚ใˆใ‚‹ใฎใซ25ๆ—ฅใ‹ใ‹ใ‚‹้…ใ•ใงใ™ใ€‚

    ใ‚จใƒฉใƒผใŒๅ‡บใชใ„ใปใ†ใŒใ€ใŸใกใŒๆ‚ชใ„ใ€‚

    ่ฝใกใฆใใ‚Œใ‚Œใฐ่จญๅฎšใ‚’็›ดใ—ใพใ™ใŒใ€ใŸใ ้…ใ„ใ ใ‘ใ ใจใ€
    ไฝ•ใŒใพใšใ„ใฎใ‹ๆฐ—ไป˜ใใฎใซๆ™‚้–“ใŒใ‹ใ‹ใ‚Šใพใ™ใ€‚


    ใƒใƒƒใƒใ‚’ๆธ›ใ‚‰ใ—ใฆใ‚‚ใ€ๅŠฉใ‹ใ‚‰ใชใ„ๅ ดๅˆใŒใ‚ใ‚‹

    ๆบ–ๅ‚™ใฎใจใใ€็งใฏ่‡ชๅˆ†็”จใฎใƒกใƒขใซใ“ใ†ๆ›ธใ„ใฆใ„ใพใ—ใŸใ€‚

    OOMใ—ใŸใ‚‰ --device-batch-sizeย ใ‚’ 8 โ†’ 4 โ†’ 2 ใจๅŠๅˆ†ใซใ™ใ‚‹ใ€‚
    ๅ‹พ้…็ดฏ็ฉใŒ่‡ชๅ‹•ใงๅŠนใใฎใงใ€็ตๆžœใฏๅค‰ใ‚ใ‚‰ใชใ„ใ€‚ไผธใณใ‚‹ใฎใฏๆ™‚้–“ใ ใ‘ใ€‚

    ไธ€ๅบฆใซ้‹ใถ้‡ใ‚’ๆธ›ใ‚‰ใ—ใฆใ€ๅพ€ๅพฉใ‚’ๅข—ใ‚„ใ™ใ€‚้‹ใถ็ท้‡ใฏๅค‰ใ‚ใ‚‰ใชใ„ใ€‚
    ใใ†ๆ€ใฃใฆใ„ใพใ—ใŸใ€‚

    ่ฉฆใ—ใฆใฟใพใ™ใ€‚

       d16 seq1024 bs16    14,826 MiB    174 tok/sec
       d16 seq1024 bs4      7,378 MiB    155 tok/sec   โ† 4ๅˆ†ใฎ1ใซใ—ใŸ

    ใƒใƒƒใƒใ‚’4ๅˆ†ใฎ1ใซใ—ใฆใ€ใƒกใƒขใƒชใฏๅŠๅˆ†ใซใชใ‚Šใพใ—ใŸใ€‚
    ใงใ‚‚ 7,378MiB ใงใ€ใพใ  6,144 ใ‚’่ถ…ใˆใฆใ„ใพใ™ใ€‚้€Ÿๅบฆใ‚‚ๆˆปใ‚Šใพใ›ใ‚“ใ€‚

    ใชใœใ‹ใจใ„ใ†ใจใ€ใƒใƒƒใƒใ‚’ๆธ›ใ‚‰ใ—ใฆ็ฏ€็ด„ใงใใ‚‹ใฎใฏ็‚นๆ•ฐ่กจใจ้€”ไธญใฎ่จˆ็ฎ—็ตๆžœใ ใ‘ใ ใ‹ใ‚‰ใงใ™ใ€‚
    ใƒขใƒ‡ใƒซใฎ้‡ใฟใจใ€ๅญฆ็ฟ’ใซไฝฟใ†ไป˜้šใƒ‡ใƒผใ‚ฟใฏใ€ใƒใƒƒใƒใŒ1ใงใ‚‚ๅŒใ˜ๅ ดๆ‰€ใ‚’ๅ–ใ‚Šใพใ™ใ€‚

    ใใ“ใ ใ‘ใ‚’่จˆ็ฎ—ใ—ใฆใฟใพใ—ใŸใ€‚

       ๆทฑใ•    ใƒ‘ใƒฉใƒกใƒผใ‚ฟๆ•ฐ        ้‡ใฟใจไป˜้šใƒ‡ใƒผใ‚ฟใ ใ‘ใง   6,144MiBใซๅŽใพใ‚‹ใ‹
    
       d6       73,531,646          705 MiB        ๅŽใพใ‚‹
       d8      125,829,546        1,184 MiB        ๅŽใพใ‚‹
       d12     286,262,162        2,616 MiB        ๅŽใพใ‚‹
       d16     536,872,506        4,800 MiB        ๅŽใพใ‚‹๏ผˆๆฎ‹ใ‚Š1.3GB๏ผ‰
       d20     896,534,946        7,880 MiB        ๅŽใพใ‚‰ใชใ„
       d24   1,384,123,850       12,000 MiB        ๅŽใพใ‚‰ใชใ„

    d16 ใฏใ€็ฝฎใใ ใ‘ใง4,800MiBใ€‚ๆฎ‹ใ‚Šใฏ1.3GBใ—ใ‹ใ‚ใ‚Šใพใ›ใ‚“ใ€‚
    ใ“ใ“ใซ็‚นๆ•ฐ่กจใจ่จˆ็ฎ—ใฎ้€”ไธญ็ตŒ้Žใ‚’ๅ…จ้ƒจๅ…ฅใ‚Œใ‚‹ใฎใฏ็„ก็†ใงใ—ใŸใ€‚

    d20ใ‚ˆใ‚Šไธ‹ใฏใ€ใƒใƒƒใƒใ‚’ใฉใ‚Œใ ใ‘ๅ‰Šใฃใฆใ‚‚่ผ‰ใ‚Šใพใ›ใ‚“ใ€‚
    ใƒขใƒ‡ใƒซใ‚’็ฝฎใ„ใŸๆ™‚็‚นใงใ€ใ‚‚ใ†ๅ ดๆ‰€ใŒ็„กใ„ใ‹ใ‚‰ใงใ™ใ€‚

    ใ€Œไธ€ๅบฆใซ้‹ใถ้‡ใ‚’ๆธ›ใ‚‰ใ›ใฐใ„ใ„ใ€ใฏๆญฃใ—ใ„ใฎใงใ™ใŒใ€
    ใใ‚‚ใใ‚‚่ท็‰ฉใŒๅ€‰ๅบซใซๅ…ฅใ‚‰ใชใ„ๅ ดๅˆใŒใ‚ใ‚Šใพใ™ใ€‚


    ใใ—ใฆใ€ใ‚ˆใ†ใ‚„ใ่ฝใกใŸ

    ๆœ€ๅพŒใซใ€H100ใ‚’8ๆžšๅ€Ÿใ‚Šใฆๅ›žใ™ๆœฌ็•ชใฎ่จญๅฎš๏ผˆ็ฌฌ12ๅ›žใงใ‚„ใ‚Šใพใ™๏ผ‰ใ‚’ใ€
    ใ“ใฎใƒŽใƒผใƒˆPCใซๆŠ•ใ’ใฆใฟใพใ—ใŸใ€‚

       d24 seq2048 bs4    1,384,123,850ๅ€‹

    14ๅ„„ๅ€‹ใ€‚้‡ใฟใ‚’็ฝฎใใ ใ‘ใง12GBใงใ™ใ€‚

    ใพใšใ€ใƒขใƒ‡ใƒซใฎ็ต„ใฟ็ซ‹ใฆ่‡ชไฝ“ใฏ้€šใ‚Šใพใ—ใŸใ€‚

       Parameter counts:
       wte                     :    50,331,648
       value_embeds            :   603,979,776
       lm_head                 :    50,331,648
       transformer_matrices    :   679,480,704
       scalars                 :            74
       total                   : 1,384,123,850

    ็ฌฌ5ๅ›žใงๆ‰‹ใงๆ•ฐใˆใŸใฎใจๅŒใ˜ๅ†…่จณใงใ™ใ€‚14ๅ„„ๅ€‹ใถใ‚“ใฎๅ ดๆ‰€ใฏใ€ใชใ‚“ใจใ‹็ขบไฟใงใใพใ—ใŸใ€‚

    ่ฝใกใŸใฎใฏใ€ใใฎๆฌกใงใ—ใŸใ€‚

       File "nanochat/optim.py", line 454, in step
         self._compute_muon(group, info, gather_list, rank)
    
       torch.AcceleratorError: CUDA error: out of memory
       Search for `cudaErrorMemoryAllocation' in
       https://docs.nvidia.com/cuda/cuda-runtime-api/...

    ๅˆใ‚ใฆใ‚จใƒฉใƒผใŒๅ‡บใพใ—ใŸใ€‚

    optim.pyย ใฏใ€ๅญฆ็ฟ’ใ—ใŸ็ตๆžœใ‚’ไฝฟใฃใฆ้‡ใฟใ‚’ๆ›ธใๆ›ใˆใ‚‹้ƒจๅˆ†ใงใ™ใ€‚
    ใƒขใƒ‡ใƒซใฏ็ฝฎใ‘ใŸใ€‚่ชญใฟ่พผใฟใ‚‚้€šใฃใŸใ€‚1ๅ›ž็›ฎใฎๆ›ธใๆ›ใˆใงใ€ๅŠ›ๅฐฝใใพใ—ใŸใ€‚

    ็ฒ˜ใฃใฆใ€็ฒ˜ใฃใฆใ€ใ‚ทใ‚นใƒ†ใƒ ใฎใƒกใƒขใƒชใพใง้ฃŸใ„ๅฐฝใใ—ใฆใ€ใใ“ใง็ต‚ใ‚ใ‚Šใงใ™ใ€‚

    ็ฌฌ5ๅ›žใงๆ•ฐใˆใŸใจใŠใ‚Šใ€ใ“ใฎd24ใฎใƒขใƒ‡ใƒซใฏใ€
    ไธญ่บซใฎๅŠๅˆ†ใŒ่ชžๅฝ™ใฎ่กจ๏ผˆ32,768่กŒ ร— 1,536ๅˆ—ใŒ14ๅ€‹๏ผ‰ใงใ™ใ€‚
    ่กจใ‚’14ๅ†ŠๆŠฑใˆใŸใพใพใ€6GBใฎใ‚ซใƒผใƒ‰ใซๅบงใ‚ใ†ใจใ—ใฆใ€ๅบงใ‚Œใชใ‹ใฃใŸใ€‚


    ใ“ใฎๅ›žใฎๆ•ฐๅญ—

    0.000047

    32ใƒ“ใƒƒใƒˆใ‚’16ใƒ“ใƒƒใƒˆใซใ—ใฆใ€8ๅ€้€Ÿใใ—ใฆใ€
    50ๅ›žๆธฌใฃใŸๅฝ“ใฆใซใใ•ใฎๅนณๅ‡ใฎๅทฎใŒใ€ใ“ใ‚Œใงใ—ใŸใ€‚

    ็งใฏใ“ใฎๅ›žใ‚’ใ€ใ€Œ็ฒ—ใใ™ใ‚‹ใจใ€ใใฎใถใ‚“ๆ‚ชใใชใ‚‹ใ€ใจใ„ใ†่ฉฑใซใชใ‚‹ใจๆ€ใฃใฆๅง‹ใ‚ใพใ—ใŸใ€‚
    ็ฎฑใ‚’ๅŠๅˆ†ใซใ™ใ‚‹ใฎใ ใ‹ใ‚‰ใ€ไฝ•ใ‹ใ‚’ๅคฑใ†ใฏใšใ ใจใ€‚

    ๅฎŸ้š›ใซใฏใ€ๅคฑใฃใŸใ‚‚ใฎใ‚’ๆธฌใ‚Œใพใ›ใ‚“ใงใ—ใŸใ€‚
    50ๅ›žใฎใ†ใก28ๅ›žใฏใ€็ฒ—ใ„ใปใ†ใŒ่‰ฏใ„ๆˆ็ธพใงใ—ใŸใ€‚

    ็ฌฌ13ๅ›žใงใ‚„ใ‚‹ Q4_K_M ใฏใ€ใ“ใฎๅ…ˆใฎ่ฉฑใงใ™ใ€‚
    16ใƒ“ใƒƒใƒˆใ‚’4.92ใƒ“ใƒƒใƒˆใพใงๅ‰Šใ‚Šใพใ™ใ€‚ไปŠๆ—ฅใฎๅŠๅˆ†ใฎใ€ใใฎใพใŸ3ๅˆ†ใฎ1ใ€‚

    ใใ“ใพใงๅ‰Šใฃใฆใ‚‚ๅนณๆฐ—ใชใฎใ‹ใ€‚ไปŠๆ—ฅใฎ็ตๆžœใ‚’่ฆ‹ใŸใ‚ใจใ ใจใ€
    ๅนณๆฐ—ใ‹ใ‚‚ใ—ใ‚Œใชใ„ใจๆ€ใˆใฆใใŸใฎใŒใ€ใ„ใกใฐใ‚“ใฎๅŽ็ฉซใงใ—ใŸใ€‚

    ใใ—ใฆใ‚‚ใ†ใฒใจใคใ€‚

    6GBใฎใ‚ฐใƒฉใƒ•ใ‚ฃใƒƒใ‚ฏใƒœใƒผใƒ‰ใฏใ€6GBใ‚’่ถ…ใˆใฆใ‚‚ๆญขใพใ‚Šใพใ›ใ‚“ใ€‚้ป™ใฃใฆ2,464ๅ€้…ใใชใ‚Šใพใ™ใ€‚
    Macใ‚‚ๅŒใ˜ใงใ—ใŸใ€‚ๆฏŽ็ง’450MBใ‚’็•ณใ‚“ใงใฏๅบƒใ’ใฆใ€2ๆ™‚้–“่ตฐใ‚Šๅˆ‡ใ‚Šใพใ—ใŸใ€‚

    ๆฉŸๆขฐใฏใ€้™็•Œใ‚’ๆ•™ใˆใฆใใ‚Œใพใ›ใ‚“ใ€‚ ๆธฌใ‚‰ใชใ„ใจๅˆ†ใ‹ใ‚Šใพใ›ใ‚“ใ€‚


    ใŠใพใ‘๏ผšWindowsใฎไธญใฎLinuxใซใ€ๅค–ใ‹ใ‚‰ๅ…ฅใ‚‹

    ไปŠๅ›žใ€Macใ‹ใ‚‰3060ใฎใƒŽใƒผใƒˆPCใซๅ…ฅใฃใฆไฝœๆฅญใ—ใพใ—ใŸใ€‚
    WindowsใฎไธญใซLinuxใ‚’1ๅ€‹็ซ‹ใฆใฆ๏ผˆWSL2ใจใ„ใ„ใพใ™๏ผ‰ใ€ใใ“ใซๅค–ใ‹ใ‚‰ใคใชใๅฝขใงใ™ใ€‚

    nanochat ใŒLinuxใ‚’ๅ‰ๆใซๆ›ธใ‹ใ‚Œใฆใ„ใ‚‹ใŸใ‚ใงใ™ใ€‚
    torch.compileย ใจใ„ใ†ไป•็ต„ใฟใจใ€Windowsใซๅญ˜ๅœจใ—ใชใ„้“ๅ…ทใŒ3ใ‹ๆ‰€ใงไฝฟใ‚ใ‚Œใฆใ„ใพใ™ใ€‚

    ใคใชใ„ใ ็›ดๅพŒใ€GPUใŒ่ฆ‹ใˆใพใ›ใ‚“ใงใ—ใŸใ€‚

       nvidia-smi: command not found

    WindowsใฎไธญใฎLinuxใฏใ€ๆ™ฎๆฎตใฏWindowsๅดใฎ่จญๅฎšใ‚’ๅผ•ใ็ถ™ใ„ใงใ„ใพใ™ใ€‚
    ใจใ“ใ‚ใŒๅค–ใ‹ใ‚‰ใคใชใใจใ€ใใ‚ŒใŒๅผ•ใ็ถ™ใŒใ‚Œใพใ›ใ‚“ใ€‚
    ใ‚ฐใƒฉใƒ•ใ‚ฃใƒƒใ‚ฏใƒœใƒผใƒ‰ใ‚’่งฆใ‚‹ใŸใ‚ใฎ้“ๅ…ทใŒ็ฝฎใ„ใฆใ‚ใ‚‹ๅ ดๆ‰€ใŒใ€่ฆ‹ใˆใชใใชใฃใฆใ„ใพใ—ใŸใ€‚

    1่กŒ่ถณใ—ใฆ็›ดใ‚Šใพใ—ใŸใ€‚

       export PATH="$PATH:/usr/lib/wsl/lib"

    WindowsใฎไธญใฎLinuxใซใ€Macใ‹ใ‚‰ๅ…ฅใ‚‹ใ€‚ ใใฎใจใใ ใ‘่ตทใใ‚‹็พ่ฑกใงใ™ใ€‚
    ๅŒใ˜ใ“ใจใ‚’ใ‚„ใ‚ใ†ใจใ™ใ‚‹ไบบใŒๅฑ…ใŸใ‚‰ใ€ใ“ใ“ใง30ๅˆ†ๆบถใ‹ใ•ใšใซๆธˆใฟใพใ™ใ€‚


    ๆฌกๅ›ž

    ๆ•ฐๅญ—ใฎๆ„ๅ‘ณใ‚’ใ€ใใ‚ใใ‚็‰‡ไป˜ใ‘ใพใ™ใ€‚

    ไปŠๅ›žใ€ๅฝ“ใฆใซใใ•ใŒ 1.165885 ใจ 1.165166 ใงใ€ŒใปใผๅŒใ˜ใ€ใจๆ›ธใใพใ—ใŸใ€‚
    ใงใฏใ€ใ“ใฎ 1.16 ใจใ„ใ†ๆ•ฐๅญ—ใฏใ€่‰ฏใ„ใฎใงใ—ใ‚‡ใ†ใ‹ใ€‚ๆ‚ชใ„ใฎใงใ—ใ‚‡ใ†ใ‹ใ€‚

    ๅ‰ใฎ้€ฃ่ผ‰ใงใฏใ€ๆๅคฑใŒ4.60ใ‹ใ‚‰0.03ใพใงไธ‹ใŒใฃใฆๅคงๅ–œใณใ—ใพใ—ใŸใ€‚

    ใใฎใ‚ใจใ€ๆŽก็‚นใซไฝฟใฃใŸๆ–‡็ซ ใ‚’ใ€ใใฎใพใพๅญฆ็ฟ’ใซใ‚‚ไฝฟใฃใฆใ„ใŸใจๆฐ—ใฅใใพใ™ใ€‚
    ใƒขใƒ‡ใƒซใฏไธธๆš—่จ˜ใ—ใŸๆ–‡็ซ ใ‚’็ญ”ใˆใฆใ„ใŸใ ใ‘ใงใ—ใŸใ€‚

    ็ญ”ใˆใ‚’่ฆ‹ใชใŒใ‚‰ใƒ†ใ‚นใƒˆใ‚’ๅ—ใ‘ใ•ใ›ใฆใ€ๆบ€็‚นใ ใจๅ–œใ‚“ใงใ„ใŸใ‚ใ‘ใงใ™ใ€‚
    ๅญฆ็ฟ’ใซไฝฟใฃใŸๆ–‡็ซ ใ‚’ๅค–ใ—ใฆๆธฌใ‚Š็›ดใ—ใŸใ‚‰ใ€4.59ใŒ9.65ใพใง่ทณใญไธŠใŒใ‚Šใพใ—ใŸใ€‚
    ใงใŸใ‚‰ใ‚ใซ็ญ”ใˆใŸใจใใ‚ˆใ‚Šๆ‚ชใ„็‚นใงใ™ใ€‚

    ไปŠๅ›žใฎ 1.16 ใฏใ€ใใฎใจใใฎๆ•ฐๅญ—ใจๅ˜ไฝใŒ้•ใ„ใพใ™ใ€‚
    ใƒใ‚คใƒˆใ‚ใŸใ‚Šไฝ•ใƒ“ใƒƒใƒˆใจใ„ใ†ๆธฌใ‚Šๆ–นใงใ€ๅˆ‡ใ‚Šๆ–นใฎ้•ใ†ใƒขใƒ‡ใƒซๅŒๅฃซใงใ‚‚ๆฏ”ในใ‚‰ใ‚Œใ‚‹ใ€‚

    ใใ—ใฆ nanochat ใซใฏใ€ใ‚‚ใ†ใฒใจใค็‰ฉๅทฎใ—ใŒใ‚ใ‚Šใพใ™ใ€‚
    GPT-2 ใฎ็‚นๆ•ฐใŒ 0.256525 ใจๆ›ธใ„ใฆใ‚ใฃใฆใ€ใใ‚Œใ‚’่ถ…ใˆใ‚‹ใ“ใจใŒ็›ฎๆจ™็ทšใซใชใฃใฆใ„ใพใ™ใ€‚

    ๆฌกๅ›žใฏใ€ไปŠๆ—ฅใงใใŸใƒขใƒ‡ใƒซใซใใฎ็‰ฉๅทฎใ—ใ‚’ๅฝ“ใฆใพใ™ใ€‚

    GPT-2ใพใงใ€ใ‚ใจใฉใ‚Œใใ‚‰ใ„ใ‹ใ€‚

    ใงใฏใงใฏใ€‚

    ๆณจ๏ผ‰ใ“ใฎ่จ˜ไบ‹ใฎๅŸท็ญ†ใซใฏAIใ‚’ไฝฟใฃใฆใ„ใพใ™ใ€‚ๆง‹ๆˆใจๆœ€็ต‚็š„ใชๆ–‡็ซ ใฏ่‡ชๅˆ†ใฎๆ‰‹ใซใ‚ˆใ‚‹ใ‚‚ใฎใงใ™ใ€‚

    ย 
    ย 
    ๅŒ—ๆตท้“ใง่พฒๆฅญใ‚’ใ‚„ใ‚ŠใชใŒใ‚‰ใ€ใƒฉใƒผใƒกใƒณใ‚’้ฃŸในใชใŒใ‚‰ใ€้Ÿณๆฅฝใ‚’่žใใชใŒใ‚‰ใ€AIใ‚„ใ‚ฌใ‚ธใ‚งใƒƒใƒˆใ‚’ใ„ใ˜ใฃใฆใ„ใ‚‹ใŠใ˜ใ•ใ‚“ใงใ™ใ€‚ V ใƒ—ใƒญใƒ•ใ‚ฃใƒผใƒซใฏใ“ใกใ‚‰ V https://note.com/m4n/n/nfbd3f08abb86

    ใ‚ใชใŸใธใฎใŠใ™ใ™ใ‚