ใƒกใ‚คใƒณใ‚ณใƒณใƒ†ใƒณใƒ„ใธใ‚นใ‚ญใƒƒใƒ—
่ฆ‹ๅ‡บใ—็”ปๅƒ

nanochat#8 GPT-2ใฎ็‚นๆ•ฐใฏ 0.256525 ใ ใฃใŸ

    ้€ฃ่ผ‰ใ€Œๆœฌ็‰ฉใฎLLMใ‚’ใ€ๅ‹•ใ‹ใ—ใชใŒใ‚‰่ชญใฟ่งฃใใ€
    ็ฌฌ8ๅ›ž
    ใ€€GPT-2ใฎ็‚นๆ•ฐใฏ 0.256525 ใ ใฃใŸ
    ใ€€ใ€€ใ€œ ่‡ชๅˆ†ใฎใƒขใƒ‡ใƒซใ‚’22็ง‘็›ฎใงๆŽก็‚นใ—ใŸใ‚‰ใ€3็ง‘็›ฎใงใพใใ‚Œไปฅไธ‹ใ ใฃใŸ ใ€œ

    ใฉใ†ใ‚‚ใงใ™๏ผใˆใ‚€ใ—ใ‚“ใงใ™ใ€‚

    ๅ‰ๅ›žใฎๆœ€ๅพŒใซใ€ใ“ใ†ๆ›ธใใพใ—ใŸใ€‚

    ใ€ŒGPT-2ใพใงใ€ใ‚ใจใฉใ‚Œใใ‚‰ใ„ใ‹ใ€‚ใ€

    ไปŠๅ›žใ€ใใ‚Œใ‚’ๆธฌใ‚Šใพใ—ใŸใ€‚็ญ”ใˆใ‚’ๅ…ˆใซๆ›ธใใพใ™ใ€‚

    GPT-2 ใฎ 14.2% ใฎใจใ“ใ‚ใซใ„ใพใ—ใŸใ€‚

    ใใ—ใฆๆธฌใฃใฆใ„ใ‚‹้€”ไธญใงใ€ใ“ใ‚Œใพใง5ๅ›žใถใ‚“ไฝฟใฃใฆใใŸๆ•ฐๅญ—ใŒใ€
    ๆ€ใฃใฆใ„ใŸใ‚ˆใ‚Šๅฐ‘ใชใ„ใƒ‡ใƒผใ‚ฟใงๅ‡บใ—ใŸใ‚‚ใฎใ ใจๅˆ†ใ‹ใ‚Šใพใ—ใŸใ€‚ใใกใ‚‰ใฎ่ฉฑใ‚‚ใ—ใพใ™ใ€‚

    nanochat ใซใฏใ€็‰ฉๅทฎใ—ใŒ2ๆœฌใ‚ใ‚‹

    ๅ‰ใฎ้€ฃ่ผ‰ใงใฏใ€ๆๅคฑใจใ„ใ†ๆ•ฐๅญ—ใ‚’1ๆœฌใ ใ‘่ฆ‹ใฆใ„ใพใ—ใŸใ€‚
    nanochat ใซใฏ2ๆœฌใ‚ใ‚Šใพใ™ใ€‚

       val_bpb    1ใƒใ‚คใƒˆใ‚ใŸใ‚Šไฝ•ใƒ“ใƒƒใƒˆใง่ฟทใฃใฆใ„ใ‚‹ใ‹
       CORE       22็ง‘็›ฎใฎใƒ†ใ‚นใƒˆใฎ็‚นๆ•ฐ

    ไธŠใฏๅฝ“ใฆใซใใ•ใ€ไธ‹ใฏใงใใ‚‹ใ“ใจใ‚’ๆธฌใ‚Šใพใ™ใ€‚
    ไปŠๆ—ฅใฏไธกๆ–นใ‚’ใ€5,000ใ‚นใƒ†ใƒƒใƒ—ๅ›žใ—ใŸใ‚ใจใฎ่‡ชๅˆ†ใฎใƒขใƒ‡ใƒซใซๅฝ“ใฆใพใ™ใ€‚

    ๅฉใ„ใŸใฎใฏใ“ใฎ1ๆœฌใงใ™ใ€‚

       python -m scripts.base_eval --model-tag d6 \
           --eval core,bpb --device-batch-size=16 --max-per-task=500

    ๆๅคฑใ‚’ใ€ใƒใ‚คใƒˆใงๅ‰ฒใ‚‹

    ใพใš bpb ใฎใปใ†ใ‹ใ‚‰ใ€‚

    ๅ‰ใฎ้€ฃ่ผ‰ใง่ฆ‹ใฆใ„ใŸๆๅคฑใฏใ€ใƒˆใƒผใ‚ฏใƒณ1ๅ€‹ใ‚ใŸใ‚Šใฉใ‚Œใใ‚‰ใ„่ฟทใฃใŸใ‹ใงใ—ใŸใ€‚
    ใ“ใ‚Œใซใฏๅ›ฐใฃใŸใจใ“ใ‚ใŒใ‚ใ‚Šใพใ™ใ€‚ๅˆ‡ใ‚Šๆ–นใŒ้•ใ†ใจๆฏ”ในใ‚‰ใ‚Œใชใ„ใฎใงใ™ใ€‚

    ็ฌฌ3ๅ›žใง่‡ชๅˆ†ใฎใƒˆใƒผใ‚ฏใƒŠใ‚คใ‚ถใ‚’ไฝœใฃใŸใจใใ€helloย ใฏ1ๅ€‹ใฎใƒˆใƒผใ‚ฏใƒณใงใ—ใŸใ€‚
    ใ‚‚ใ—ๅˆ‡ใ‚Šๆ–นใฎ็ฒ—ใ„ใƒˆใƒผใ‚ฏใƒŠใ‚คใ‚ถใชใ‚‰ใ€ๅŒใ˜ helloย ใŒ h , e , l , l , o ใฎ5ๅ€‹ใซใชใ‚Šใพใ™ใ€‚

    ๅŒใ˜ๆ–‡็ซ ใ‚’ใ€็‰‡ๆ–นใฏ1ๅ›žใงๅฝ“ใฆใ€ใ‚‚ใ†็‰‡ๆ–นใฏ5ๅ›žใซๅˆ†ใ‘ใฆๅฝ“ใฆใ‚‹ใ€‚
    1ๅ›žใ‚ใŸใ‚Šใฎๆˆ็ธพใ‚’ๆฏ”ในใฆใ‚‚ใ€ๆ„ๅ‘ณใŒใ‚ใ‚Šใพใ›ใ‚“ใ€‚

    ใใ“ใง nanochat ใฏใ€ใƒˆใƒผใ‚ฏใƒณใงใฏใชใใƒใ‚คใƒˆใงๅ‰ฒใ‚Šใพใ™ใ€‚

       bpb = ่ฟทใ„ใฎๅˆ่จˆ รท (log2 ร— ใƒใ‚คใƒˆๆ•ฐใฎๅˆ่จˆ)

    helloย ใฏใ€ใฉใ†ๅˆ‡ใฃใฆใ‚‚5ใƒใ‚คใƒˆใงใ™ใ€‚
    ๅˆ‡ใ‚Šๆ–นใŒๅค‰ใ‚ใฃใฆใ‚‚ใƒใ‚คใƒˆๆ•ฐใฏๅค‰ใ‚ใ‚‰ใชใ„ใฎใงใ€้•ใ†ใƒขใƒ‡ใƒซๅŒๅฃซใ‚’ไธฆในใ‚‰ใ‚Œใพใ™ใ€‚

    ๅฎŸ่ฃ…ใฏ nanochat/loss_eval.py ใฎ30่กŒใปใฉใงใ™ใ€‚
    ้ข็™ฝใ„ใฎใฏใ€ใƒˆใƒผใ‚ฏใƒณใ”ใจใซใƒใ‚คใƒˆๆ•ฐใฎ่กจใ‚’ๆŒใฃใฆใ„ใฆใ€ใใ‚Œใงๅ‰ฒใฃใฆใ„ใ‚‹ใจใ“ใ‚ใงใ—ใŸใ€‚

       token_bytes[y]        ใใฎใƒˆใƒผใ‚ฏใƒณใŒไฝ•ใƒใ‚คใƒˆใ‹

    <|bos|>๏ผˆๆ–‡็ซ ใฎๅง‹ใพใ‚Šใฎๅฐ๏ผ‰ใฎใ‚ˆใ†ใช็‰นๆฎŠใชใƒˆใƒผใ‚ฏใƒณใฏใ€ใ“ใฎ่กจใง 0ใƒใ‚คใƒˆใซใ—ใฆใ‚ใ‚Šใพใ™ใ€‚
    0ใ‚’ๆŽ›ใ‘ใ‚‹ใจๆถˆใˆใ‚‹ใฎใงใ€ๆŽก็‚นใ‹ใ‚‰่‡ชๅ‹•็š„ใซๅค–ใ‚Œใพใ™ใ€‚
    ใ€Œ็‰นๆฎŠใƒˆใƒผใ‚ฏใƒณใ‚’้™คๅค–ใ™ใ‚‹ใ€ใจใ„ใ†ๅ‡ฆ็†ใ‚’ใฉใ“ใซใ‚‚ๆ›ธใ‹ใšใซใ€่กจใฎๅ€คใ ใ‘ใงๆธˆใพใ›ใฆใ„ใ‚‹ใ€‚ใ†ใพใ„ใงใ™ใ€‚


    22็ง‘็›ฎใฎใƒ†ใ‚นใƒˆ

    ใ‚‚ใ†1ๆœฌใฎ CORE ใฏใ€ใƒ†ใ‚นใƒˆใงใ™ใ€‚ไธญ่บซใ‚’้–‹ใ„ใŸใ‚‰22็ง‘็›ฎใ‚ใ‚Šใพใ—ใŸใ€‚

       ้ธๆŠžๅผ        11็ง‘็›ฎ    hellaswag, arc_easy, piqa, boolq ...
       ็ถšใๅฝ“ใฆ       9็ง‘็›ฎ    jeopardy, squad, coqa, lambada ...
       ็ฉบๆฌ„่ฃœๅ……       2็ง‘็›ฎ    winograd, winogrande

    ๆŽก็‚นใฎใ—ใ‹ใŸใŒใ€ๅฝขๅผใ”ใจใซ้•ใ„ใพใ™ใ€‚

    ้ธๆŠžๅผใฏใ€้ธๆŠž่‚ขใ‚’ๅ…จ้ƒจใƒขใƒ‡ใƒซใซ่ชญใพใ›ใฆใ€ใ„ใกใฐใ‚“้ฉšใ‹ใชใ‹ใฃใŸใ‚‚ใฎใ‚’้ธใฐใ›ใพใ™ใ€‚
    ใ€Œใ“ใฎ็ถšใใŒๆฅใฆใ‚‚ไธๆ€่ญฐใ˜ใ‚ƒใชใ„ใ€ใจไธ€็•ชๅผทใๆ€ใฃใŸ้ธๆŠž่‚ขใŒใ€ใƒขใƒ‡ใƒซใฎ็ญ”ใˆใงใ™ใ€‚

    ็ถšใๅฝ“ใฆใฏๅŽณใ—ใใฆใ€็ถšใใฎๅ˜่ชžใ‚’ๅ…จ้ƒจ่จ€ใ„ๅฝ“ใฆใชใ„ใจไธๆญฃ่งฃใงใ™ใ€‚
    1่ชžใงใ‚‚้•ใˆใฐใ‚ผใƒญใ€‚้ƒจๅˆ†็‚นใฏใ‚ใ‚Šใพใ›ใ‚“ใ€‚

    ใใ—ใฆใ€ใ“ใ“ใŒ CORE ใฎใ„ใกใฐใ‚“้ข็™ฝใ„ใจใ“ใ‚ใชใฎใงใ™ใŒใ€
    ็ด ็‚นใ‚’ใใฎใพใพ่ถณใ—ใพใ›ใ‚“ใ€‚

       ่ฃœๆญฃๅพŒ = (ๆญฃ็ญ”็އ โˆ’ ใพใใ‚Œ) รท (1 โˆ’ ใพใใ‚Œ)

    4ๆŠžใชใ‚‰ใ€ใงใŸใ‚‰ใ‚ใซ้ธใ‚“ใงใ‚‚25%ๅฝ“ใŸใ‚Šใพใ™ใ€‚
    ใ ใ‹ใ‚‰ใใฎ25%ใ‚’ๅผ•ใ„ใฆใ‹ใ‚‰ใ€ๆฎ‹ใ‚Šใฎ75%ใ‚’ๆบ€็‚นใจใ—ใฆๅ‰ฒใ‚Š็›ดใ™ใ€‚

    ใพใใ‚Œใงๅ–ใ‚Œใ‚‹ใถใ‚“ใ‚’ใ€็‚นๆ•ฐใจใ—ใฆ่ชใ‚ใชใ„ใจใ„ใ†ใ“ใจใงใ™ใ€‚

    ใ“ใฎๅผใซใฏใ€ใฏใฃใใ‚Šใ—ใŸๅ‰ฏไฝœ็”จใŒใ‚ใ‚Šใพใ™ใ€‚


    ใƒžใ‚คใƒŠใ‚นใŒๅ‡บใŸ

    ็งใฎใƒขใƒ‡ใƒซใฎ็ตๆžœใงใ™ใ€‚ๆ‚ชใ„ใปใ†ใ‹ใ‚‰ไธฆในใพใ™ใ€‚

       ็ง‘็›ฎ              ๆญฃ็ญ”็އ     ใพใใ‚Œ     ่ฃœๆญฃๅพŒ
       boolq             0.3800     0.62     -0.6316
       copa              0.4000     0.50     -0.2000
       arc_challenge     0.2440     0.25     -0.0080

    ใƒžใ‚คใƒŠใ‚นใงใ™ใ€‚

    boolq ใฏ Yes ใ‹ No ใง็ญ”ใˆใ‚‹ๅ•้กŒใงใ™ใŒใ€ใพใใ‚ŒใฎๅŸบๆบ–ใŒ 0.62 ใซ่จญๅฎšใ•ใ‚Œใฆใ„ใพใ™ใ€‚
    Yes ใจ No ใฎๆ•ฐใŒๅใฃใฆใ„ใ‚‹ใฎใงใ€ๅคšใ„ใปใ†ใ‚’ๆฉŸๆขฐ็š„ใซ็ญ”ใˆใ‚‹ใ ใ‘ใง62%ๅ–ใ‚Œใ‚‹ใ‹ใ‚‰ใงใ™ใ€‚

    ใใ“ใซ็งใฎใƒขใƒ‡ใƒซใฏ 0.38 ใ—ใ‹ๅฑŠใใพใ›ใ‚“ใงใ—ใŸใ€‚
    Yes/No ใฎใฉใกใ‚‰ใ‹ใ‚’่จ€ใ„็ถšใ‘ใ‚‹ใ ใ‘ใฎๆฉŸๆขฐใซใ€่ฒ ใ‘ใฆใ„ใพใ™ใ€‚

    copa ใ‚‚ๅŒใ˜ใงใ™ใ€‚2ๆŠžใง 0.40ใ€‚ใ‚ณใ‚คใƒณใ‚’ๆŠ•ใ’ใŸใปใ†ใŒใƒžใ‚ทใงใ—ใŸใ€‚

    ใพใใ‚Œไปฅไธ‹ใฏใ€0็‚นใงใฏใชใใƒžใ‚คใƒŠใ‚นใจใ—ใฆ่จ˜้Œฒใ•ใ‚Œใ‚‹ใ€‚
    ใใ†ใ„ใ†็‰ฉๅทฎใ—ใงใ—ใŸใ€‚

    ใใ—ใฆใ€ใ‚ผใƒญใ‚‚ใ‚ใ‚Šใพใ—ใŸใ€‚

       jeopardy                        0.0000
       bigbench_dyck_languages         0.0000
       bigbench_repeat_copy_logic      0.0000

    500ๅ•ใ‚„ใฃใฆใ€1ๅ•ใ‚‚ๅฝ“ใŸใฃใฆใ„ใพใ›ใ‚“ใ€‚
    ใฉใ‚Œใ‚‚็ถšใๅฝ“ใฆใฎ็ง‘็›ฎใงใ™ใ€‚ใ€Œๅ…จ้ƒจ่จ€ใ„ๅฝ“ใฆใชใ„ใจไธๆญฃ่งฃใ€ใŒๅŠนใ„ใฆใ„ใพใ™ใ€‚


    ใใ‚Œใงใ‚‚็‚นใŒๅ…ฅใฃใŸ็ง‘็›ฎ

    ไธ€ๆ–นใงใ€ใกใ‚ƒใ‚“ใจๅ–ใ‚ŒใŸ็ง‘็›ฎใ‚‚ใ‚ใ‚Šใพใ™ใ€‚

       bigbench_cs_algorithms          +0.4020
       arc_easy                        +0.2027
       bigbench_language_identification +0.1925
       piqa                            +0.1680
       lambada_openai                  +0.1580

    ๆœ€้ซ˜็‚นใฏ bigbench_cs_algorithms ใฎ 0.4020 ใงใ—ใŸใ€‚
    ใ“ใ‚Œใฏใพใใ‚ŒใฎๅŸบๆบ–ใŒ0ใฎ็ง‘็›ฎใชใฎใงใ€ๆญฃ็ญ”็އใŒใใฎใพใพ็‚นๆ•ฐใซใชใ‚Šใพใ™ใ€‚

    piqa ใฏใ€Œ็‰ฉใ‚’ไฝฟใ†ใจใใฎๅธธ่ญ˜ใ€ใ‚’้ธใถๅ•้กŒใงใ€ๆญฃ็ญ”็އ 0.5840ใ€‚
    ็ฌฌ6ๅ›žใงใ€Œใƒ•ใƒฉใƒณใ‚นใฎ้ฆ–้ƒฝใฏใƒ•ใƒฉใƒณใ‚นใฎ้ฆ–้ƒฝใ ใฃใŸใ€ใจ็ฌ‘ใฃใŸใƒขใƒ‡ใƒซใŒใ€
    ๆ—ฅ็”จๅ“ใฎๆ‰ฑใ„ใซใคใ„ใฆใฏๅŠๅˆ†ไปฅไธŠๅฝ“ใฆใฆใ„ใพใ™ใ€‚


    ๅˆ่จˆใ—ใฆใฟใ‚‹

    22็ง‘็›ฎใฎ่ฃœๆญฃๅพŒใฎ็‚นใ‚’ใ€ๅ…จ้ƒจ่ถณใ—ใฆ22ใงๅ‰ฒใ‚Šใพใ™ใ€‚

       ็งใฎใƒขใƒ‡ใƒซ๏ผˆ7,353ไธ‡ๅ€‹ใƒป5,000ใ‚นใƒ†ใƒƒใƒ—๏ผ‰    0.036373
       GPT-2๏ผˆ16ๅ„„ๅ€‹๏ผ‰                          0.256525
       โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€
       ๅทฎ                                      -0.220152

    0.036 ๅฏพ 0.257ใ€‚GPT-2 ใฎ 14.2% ใงใ™ใ€‚

    ใ“ใฎ 0.256525 ใŒใ€nanochat ๅ…จไฝ“ใฎ็›ฎๆจ™็ทšใงใ™ใ€‚
    README ใซใ“ใ†ๆ›ธใ„ใฆใ‚ใ‚Šใพใ™ใ€‚8ๅ€‹ใฎGPUใง1.5ๆ™‚้–“ใ€$48ใ€‚
    ใใ‚Œใงใ“ใฎ็ทšใ‚’่ถ…ใˆใ‚‹ใฎใŒใ€ใ“ใฎใƒชใƒใ‚ธใƒˆใƒชใฎ็›ฎ็š„ใงใ™ใ€‚

    2019ๅนดใ€GPT-2 ใ‚’่จ“็ทดใ™ใ‚‹ใฎใซ 168ๆ™‚้–“ใƒป็ด„$43,000 ใ‹ใ‹ใ‚Šใพใ—ใŸใ€‚
    7ๅนดใงใ€$43,000 ใŒ $48 ใซใชใฃใŸใ€‚900ๅˆ†ใฎ1ใงใ™ใ€‚

    ็งใฏใ„ใพใ€ใใฎ็ทšใฎ14%ใฎใจใ“ใ‚ใซใ„ใพใ™ใ€‚
    Mac mini ใง2ๆ™‚้–“15ๅˆ†ใ€0ๅ††ใฎใจใ“ใ‚ใ‹ใ‚‰ๅง‹ใ‚ใŸๅœฐ็‚นใจใ—ใฆใฏใ€ใ“ใ‚“ใชใ‚‚ใฎใ‹ใจๆ€ใ„ใพใ—ใŸใ€‚


    ๆŽก็‚นใซใ€ๅญฆ็ฟ’ใฎ2ๅ€ใ‹ใ‹ใฃใŸ

    ไปŠๅ›žใ„ใกใฐใ‚“ไบˆๆƒณๅค–ใ ใฃใŸใฎใฏใ€ๆ™‚้–“ใงใ™ใ€‚

       ๅญฆ็ฟ’๏ผˆ5,000ใ‚นใƒ†ใƒƒใƒ—๏ผ‰      2ๆ™‚้–“15ๅˆ†
       ๆŽก็‚น๏ผˆ22็ง‘็›ฎ๏ผ‰             4ๆ™‚้–“57ๅˆ†

    ๆŽก็‚นใฎใปใ†ใŒ2ๅ€ใ‹ใ‹ใ‚Šใพใ—ใŸใ€‚

    ใ—ใ‹ใ‚‚็ง‘็›ฎใ”ใจใฎๅใ‚ŠใŒ็•ฐๅธธใงใ—ใŸใ€‚

       bigbench_repeat_copy_logic          1.8็ง’
       bigbench_language_identification    7,088็ง’๏ผˆ1ๆ™‚้–“58ๅˆ†๏ผ‰

    3,900ๅ€ใงใ™ใ€‚ๅŒใ˜ใ€Œ1็ง‘็›ฎใ€ใจๆ•ฐใˆใฆใ„ใ„ใ‚‚ใฎใ‹ใ€่ฟทใ†ๅทฎใงใ—ใŸใ€‚

    ็†็”ฑใฏใ€10-shot ใจใ„ใ†่จญๅฎšใซใ‚ใ‚Šใพใ™ใ€‚
    ๅ•้กŒใ‚’ๅ‡บใ™ๅ‰ใซใ€ใŠๆ‰‹ๆœฌใ‚’10ๅ€‹่ชญใพใ›ใ‚‹ใ‚„ใ‚Šๆ–นใงใ™ใ€‚
    ใใฎใถใ‚“1ๅ•ใŒ้•ทใใชใ‚Šใ€้ธๆŠž่‚ขใฎๆ•ฐใ ใ‘็นฐใ‚Š่ฟ”ใ™ใฎใงใ€
    ใ€Œ้•ทใ„ๅ•้กŒๆ–‡ ร— ้ธๆŠž่‚ขใฎๆ•ฐ ร— 500ๅ•ใ€ใง่†จใ‚‰ใฟใพใ™ใ€‚

    ็ฌฌ6ๅ›žใง --core-metric-every=-1ย ใ‚’ไป˜ใ‘ใฆใ€
    ๅญฆ็ฟ’ไธญใฏ CORE ใ‚’ๆธฌใ‚‰ใ›ใชใ„่จญๅฎšใซใ—ใฆใ„ใพใ—ใŸใ€‚
    ใ‚ใฎใจใ็†็”ฑใฏๅˆ†ใ‹ใฃใฆใ„ใพใ›ใ‚“ใงใ—ใŸใŒใ€ๆญฃ่งฃใงใ—ใŸใ€‚
    100ใ‚นใƒ†ใƒƒใƒ—ใ”ใจใซใ“ใ‚Œใ‚’ๆธฌใฃใฆใ„ใŸใ‚‰ใ€ๅญฆ็ฟ’ใŒ็ต‚ใ‚ใ‚Šใพใ›ใ‚“ใ€‚


    22็ง‘็›ฎ็›ฎใงใ€่ฝใกใŸ

    ใใ—ใฆๆœ€ๅพŒใฎ็ง‘็›ฎใงใ€ๆญขใพใ‚Šใพใ—ใŸใ€‚

       RuntimeError: MPS backend out of memory
       (MPS allocated: 18.16 GiB, ... Tried to allocate 1.06 GiB)

    21็ง‘็›ฎใ‚’้€š้Žใ—ใŸใ‚ใจใ€22็ง‘็›ฎ็›ฎใงใƒกใƒขใƒชใŒ่ถณใ‚Šใชใใชใ‚Šใพใ—ใŸใ€‚

    ็ฌฌ7ๅ›žใงใ€Œ6GBใ‚’่ถ…ใˆใฆใ‚‚ๆญขใพใ‚‰ใชใ„ใ€ใจๆ›ธใ„ใŸใฎใซใ€ไปŠๅ›žใฏๆญขใพใฃใฆใ„ใพใ™ใ€‚
    ้•ใ„ใฏใ€่ฒฏใพใ‚Šๆ–นใงใ—ใŸใ€‚

    ่ฝใกใŸ็ง‘็›ฎ่‡ชไฝ“ใฏ4ๆŠžใฎ่ปฝใ„ใ‚‚ใฎใงใ€ๅ˜ไฝ“ใชใ‚‰้€šใ‚Šใพใ™ใ€‚
    21็ง‘็›ฎใถใ‚“ใฎ็ขบไฟใŒ็ฉใฟไธŠใŒใฃใŸ็Šถๆ…‹ใงๆœ€ๅพŒใซๅ…ฅใฃใŸใฎใงใ€่ถณใ‚ŠใชใใชใฃใŸใ€‚

    1็ง‘็›ฎใ ใ‘ๆ–ฐใ—ใๆธฌใ‚Š็›ดใ—ใŸใ‚‰ใ€ใ‚ใฃใ•ใ‚Š้€šใ‚Šใพใ—ใŸใ€‚

    base_evalย ใฏ้€”ไธญ็ตŒ้Žใ‚’ไฟๅญ˜ใ—ใชใ„ใฎใงใ€
    21็ง‘็›ฎใƒป5ๆ™‚้–“ใถใ‚“ใฎ็ตๆžœใฏใƒญใ‚ฐใซใ—ใ‹ๆฎ‹ใฃใฆใ„ใพใ›ใ‚“ใ€‚
    ใƒญใ‚ฐใ‹ใ‚‰ๆ‹พใ„็›ดใ—ใฆใ€ๆธฌใ‚Š็›ดใ—ใŸ1็ง‘็›ฎใจๅˆๆตใ•ใ›ใฆใ€ไธŠใฎๅˆ่จˆใ‚’ๅ‡บใ—ใฆใ„ใพใ™ใ€‚

    ้•ทใ„ใ‚‚ใฎใ‚’ๆธฌใ‚‹ใจใใฏใ€้€”ไธญใง่ฝใกใฆใ‚‚ๆ‹พใˆใ‚‹ใ‚ˆใ†ใซใ—ใฆใŠใใ€‚
    ็ฌฌ7ๅ›žใงใ€Œใƒญใ‚ฐใซ PYTHONUNBUFFERED=1ย ใ‚’ไป˜ใ‘ใ‚‹ใ€ใจๆ›ธใ„ใŸใฎใจใ€ๅŒใ˜่ฉฑใงใ—ใŸใ€‚


    ใคใ„ใงใซใ€ๅ‰ใฎๆ•ฐๅญ—ใŒๆบใ‚ŒใŸ

    ใ‚‚ใ†ใฒใจใคใ€ๆธฌใฃใฆใ„ใ‚‹ใ†ใกใซๆฐ—ใฅใ„ใŸใ“ใจใŒใ‚ใ‚Šใพใ™ใ€‚

    ็ฌฌ6ๅ›žใจ็ฌฌ7ๅ›žใงใ€ๅฝ“ใฆใซใใ•ใฎๆ•ฐๅญ—ใจใ—ใฆ 1.165885 ใ‚’ไฝฟใฃใฆใใพใ—ใŸใ€‚
    ไปŠๅ›žใใ‚Œใ‚’ๆธฌใ‚Š็›ดใ—ใŸใ‚‰ใ€ใ“ใ†ใชใ‚Šใพใ—ใŸใ€‚

       ๅญฆ็ฟ’ใƒญใ‚ฐใฎๅ€ค                    1.165885
       2,097ไธ‡ใƒˆใƒผใ‚ฏใƒณใงๆธฌใ‚Š็›ดใ—        1.146981
       4,194ไธ‡ใƒˆใƒผใ‚ฏใƒณใงๆธฌใ‚Š็›ดใ—        1.146447

    0.019 ใใ‚‰ใ„ใ€ไฝŽใๅ‡บใพใ™ใ€‚

    ๅŽŸๅ› ใ‚’่ฟฝใ„ใพใ—ใŸใ€‚base_trainย ใŒๅญฆ็ฟ’ไธญใซๆธฌใ‚‹้‡ใฏใ€ๆ—ขๅฎšใง 524,288 41,943,040ย ใƒˆใƒผใ‚ฏใƒณใงใ™ใ€‚๏ผˆ9/8่จ‚ๆญฃ๏ผ‰
    ็ญ”ใˆๅˆใ‚ใ›็”จใฎใƒ‡ใƒผใ‚ฟใฏใ€8ไธ‡4,992ไปถใƒป็ด„2ๅ„„4,500ไธ‡ๆ–‡ๅญ—ใ‚ใ‚Šใพใ™ใ€‚

       ็ญ”ใˆๅˆใ‚ใ›็”จใƒ‡ใƒผใ‚ฟๅ…จไฝ“      ็ด„6,000ไธ‡ใƒˆใƒผใ‚ฏใƒณ
       ๅญฆ็ฟ’ไธญใซ่ฆ‹ใฆใ„ใŸ้‡            524,288ใƒˆใƒผใ‚ฏใƒณ  =  ็ด„ 0.8%

    0.8% ใงใ™ใ€‚

    ๅญฆ็ฟ’ใ‚’ๆญขใ‚ใฆ100ๅ›žใ‚‚ๆธฌใ‚‹ใ‚‚ใฎใชใฎใงใ€่ปฝใใ—ใฆใ‚ใ‚‹ใฎใฏๅฝ“็„ถใงใ—ใŸใ€‚
    ใŸใ ใ€็งใฏใใฎๆ•ฐๅญ—ใ‚’ใ€Œใ“ใฎใƒขใƒ‡ใƒซใฎๆˆ็ธพใ€ใจใ—ใฆ5ๅ›žใถใ‚“ๆ›ธใ„ใฆใใพใ—ใŸใ€‚

    ็ฌฌ7ๅ›žใฎใ€ŒMac ใจ 3060 ใฎๅทฎใฏ 0.000047ใ€ใจใ„ใ†ๆฏ”่ผƒใใฎใ‚‚ใฎใฏใ€
    ไธกๆ–นใจใ‚‚ๅŒใ˜ 0.8% ใงๆธฌใฃใฆใ„ใ‚‹ใฎใงๆœ‰ๅŠนใงใ™ใ€‚
    ใ‘ใ‚Œใฉ็ตถๅฏพๅ€คใฎใปใ†ใฏใ€ใกใ‚ƒใ‚“ใจๆธฌใ‚‹ใจ 1.16 ใงใฏใชใ 1.15 ใงใ—ใŸใ€‚

    ๆ•ฐๅญ—ใŒๅ‡บใฆใใ‚‹ใจใ€ใคใ„ๆธฌใ‚Šๆ–นใ‚’็ขบใ‹ใ‚ใšใซไฝฟใฃใฆใ—ใพใ†ใ€‚
    ไปŠๅ›žใใ‚Œใ‚’ใ‚„ใฃใฆใ„ใพใ—ใŸใ€‚


    ใ“ใฎๅ›žใฎๆ•ฐๅญ—

    0.256525

    GPT-2 ใฎ็‚นๆ•ฐใงใ™ใ€‚
    2019ๅนดใซ168ๆ™‚้–“ใจ$43,000ใ‚’ใ‹ใ‘ใฆไฝœใ‚‰ใ‚ŒใŸใƒขใƒ‡ใƒซใŒใ€22็ง‘็›ฎใฎใƒ†ใ‚นใƒˆใงๅ–ใฃใŸ็‚นใ€‚

    nanochat ใฏใ€ใ“ใฎ1ใคใฎๆ•ฐๅญ—ใ‚’่ถ…ใˆใ‚‹ใ“ใจใ‚’็›ฎ็š„ใซๆ›ธใ‹ใ‚Œใฆใ„ใพใ™ใ€‚
    ใ ใ‹ใ‚‰ README ใฎ่กจใ‚‚ใ€base_evalย ใฎๅฎŸ่ฃ…ใ‚‚ใ€ๅ…จ้ƒจใ“ใ“ใซๅ‘ใ„ใฆใ„ใพใ™ใ€‚

    ็งใฎใƒขใƒ‡ใƒซใฏ 0.036373 ใงใ—ใŸใ€‚14.2%ใ€‚

    ้ข็™ฝใ‹ใฃใŸใฎใฏใ€ใ“ใฎ14%ใŒใ€Œไฝ•ใ‚‚ใงใใฆใ„ใชใ„ใ€ใงใฏใชใ‹ใฃใŸใ“ใจใงใ™ใ€‚
    ็‰ฉใฎๆ‰ฑใ„ใฏๅŠๅˆ†ๅฝ“ใฆใ€็ฐกๅ˜ใช็†็ง‘ใฎๅ•้กŒใฏ4ๅ‰ฒๅฝ“ใฆใ€
    ใใฎไธ€ๆ–นใง Yes/No ใฎๅ•้กŒใงใฏใ‚ณใ‚คใƒณๆŠ•ใ’ใซ่ฒ ใ‘ใฆใ„ใ‚‹ใ€‚

    ใงใใ‚‹ใ“ใจใจใงใใชใ„ใ“ใจใŒใ€็ง‘็›ฎใ”ใจใซใฐใ‚‰ใฐใ‚‰ใซ็ซ‹ใกไธŠใŒใฃใฆใ„ใ‚‹ใ€‚
    ๅนณๅ‡ใ™ใ‚‹ใจGPT-2ใฎ14%ใงใ™ใŒใ€ไธญใ‚’้–‹ใใจ 0.40 ใ‹ใ‚‰ -0.63 ใพใงๆ•ฃใ‚‰ใฐใฃใฆใ„ใพใ—ใŸใ€‚

    ่ณขใ•ใŒ1ๆœฌใฎ็ทšใงไผธใณใฆใ„ใใฎใงใฏใชใใฆใ€
    22ๆœฌใฎๅˆฅใ€…ใฎ็ทšใŒใ€ใฆใ‚“ใงใฐใ‚‰ใฐใ‚‰ใซๅ‹•ใ„ใฆใ„ใ‚‹ใ€‚
    ใใ†ใ„ใ†ใ‚‚ใฎใ‚’ใ€ๅนณๅ‡ใ—ใฆ1ใคใฎๆ•ฐๅญ—ใซใ—ใฆ็œบใ‚ใฆใ„ใŸใ‚ใ‘ใงใ™ใ€‚


    ๆฌกๅ›ž

    ใ“ใ“ใพใงใงใ€ไธ‹ใ”ใ—ใ‚‰ใˆใŒ็ต‚ใ‚ใ‚Šใพใ—ใŸใ€‚

    ๆ–‡็ซ ใ‚’ๅˆ‡ใฃใฆใ€่ชญใพใ›ใฆใ€ใƒขใƒ‡ใƒซใ‚’็ต„ใ‚“ใงใ€2ๅฐใงๅ›žใ—ใฆใ€็‚นๆ•ฐใ‚’ไป˜ใ‘ใŸใ€‚
    ใ‘ใ‚Œใฉใ€ใงใใ‚ใŒใฃใŸใ‚‚ใฎใฏใพใ ไผš่ฉฑใŒใงใใพใ›ใ‚“ใ€‚

    ็ฌฌ6ๅ›žใง7ใค่ณชๅ•ใ—ใฆใ€่ฟ”ใฃใฆใใŸใฎใฏใ“ใ†ใงใ—ใŸใ€‚

       The capital of France is the capital of France

    ่ณชๅ•ใซ็ญ”ใˆใฆใ„ใพใ›ใ‚“ใ€‚็ถšใใ‚’ๆ›ธใ„ใฆใ„ใ‚‹ใ ใ‘ใงใ™ใ€‚

    ๆฌกๅ›žใฏใ€ใ“ใ‚Œใ‚’ไผš่ฉฑใงใใ‚‹ใ‚ˆใ†ใซใ—ใพใ™ใ€‚
    ๅ‰ใฎ้€ฃ่ผ‰ใงใฏใ€6ไปถใฎไพ‹ใ‚’0.3็ง’ใ ใ‘่ฟฝๅŠ ๅญฆ็ฟ’ใ•ใ›ใฆใ€ใใ‚Œใ‚‰ใ—ใ็ญ”ใˆใ‚‹ใ‚ˆใ†ใซใ—ใพใ—ใŸใ€‚
    ใใฎใ‹ใ‚ใ‚Šใ€่ฆšใˆใฆใ„ใŸ198ๆ–‡ๅญ—ใ‚’ๅฟ˜ใ‚Œใพใ—ใŸใ€‚

    nanochat ใฎใ‚„ใ‚Šๆ–นใฏใ€ใพใฃใŸใ้•ใ„ใพใ—ใŸใ€‚
    ็‰นๅˆฅใชใƒˆใƒผใ‚ฏใƒณใ‚’8ๅ€‹่ฟฝๅŠ ใ™ใ‚‹ใจใ“ใ‚ใ‹ใ‚‰ๅง‹ใพใ‚Šใพใ™ใ€‚

    ใงใฏใงใฏใ€‚

    ๆณจ๏ผ‰ใ“ใฎ่จ˜ไบ‹ใฎๅŸท็ญ†ใซใฏAIใ‚’ไฝฟใฃใฆใ„ใพใ™ใ€‚ๆง‹ๆˆใจๆœ€็ต‚็š„ใชๆ–‡็ซ ใฏ่‡ชๅˆ†ใฎๆ‰‹ใซใ‚ˆใ‚‹ใ‚‚ใฎใงใ™ใ€‚

    ย 
    ย 
    ๅŒ—ๆตท้“ใง่พฒๆฅญใ‚’ใ‚„ใ‚ŠใชใŒใ‚‰ใ€ใƒฉใƒผใƒกใƒณใ‚’้ฃŸในใชใŒใ‚‰ใ€้Ÿณๆฅฝใ‚’่žใใชใŒใ‚‰ใ€AIใ‚„ใ‚ฌใ‚ธใ‚งใƒƒใƒˆใ‚’ใ„ใ˜ใฃใฆใ„ใ‚‹ใŠใ˜ใ•ใ‚“ใงใ™ใ€‚ V ใƒ—ใƒญใƒ•ใ‚ฃใƒผใƒซใฏใ“ใกใ‚‰ V https://note.com/m4n/n/nfbd3f08abb86

    ใ‚ใชใŸใธใฎใŠใ™ใ™ใ‚