
nanochat#1 50ใใซใฎChatGPTใฏใ5,000่กใงใงใใฆใใ
้ฃ่ผใๆฌ็ฉใฎLLMใใๅใใใชใใ่ชญใฟ่งฃใใ
็ฌฌ1ๅใ50ใใซใฎChatGPTใฏใ5,000่กใงใงใใฆใใ
ใใใ ๅฎฟ้กใ2ใคๆฎใใใพใพใ็ตใใใชใใฃใ ใ
ใฉใใใงใ๏ผใใใใใงใใ
ๅใฎ้ฃ่ผใ10ๅใใไปใๅใใใใ ใใใใใใจใใใใใพใใใ
ไปๅใใใพใๅฅใฎ้ฃ่ผใๅงใใพใใ
ๅๅใฏใไฝใใชใใ็่งฃใใใใงใใใ
ไปๅใฏใๅใใใชใใ่ชญใฟ่งฃใใใงใใ
็ตใใฃใใฎใซใ็ตใใฃใฆใใชใใฃใ
ๅใฎ้ฃ่ผใฏใ่จญๅฎใใกใคใซใฎ4่กใใๅงใพใใพใใใ
temperature 0.7
top_p 0.9
top_k 40
num_ctx 4096ใฉใใใง่ฆใ่จญๅฎใๅใใใ ใใงใๆๅณใไธใคใ่ชฌๆใงใใพใใใงใใใ
ใใใๆใใใฆใLLMใ่ชๅใฎๆใงใใกใฐใๅฐใใไฝใฃใฆใฟใใใจใใ10ๅใงใใใ
ๆๅพใฏใๆๅ
ใงๅใใใฆใใใขใใซใฎใใฉใกใผใฟใๆใงๆฐใใพใใใ
76ๅ1561ไธ6512ๅใๅ
ฌ็งฐๅคใจ1ๅใ้ใใพใใใงใใใ
ใใใง็ตใใใฎใฏใใงใใใ
ใงใใๆ็ตๅใซ่ชๅใงใใๆธใใพใใใ
ๆฌกใซใใใใจใฏๆฑบใใฆใใพใใnanochat ใ่ชญใใใจใงใใ
ใใฎใใจใQ4_K_M ใ่ชฟในใพใใๆๅพใซๆฎใฃใๅฎฟ้กใงใใ
ๅฎฟ้กใ2ใคใๆธใๆฎใใใพใพ็ตใใฃใฆใใใใใงใใ
ๅๅไฝใฃใใใฎใฏใ่ฉฑใ็ธๆใซใชใใชใใฃใ
ใใไธใคใใใฃใจๅผใฃใใใฃใฆใใใใจใใใใพใใ
ๅๅไฝใฃใใขใใซใฏใ198ๆๅญใฎๆ็ซ ใ่ชญใพใใใ ใใฎใใฎใงใใใ
100ๅใปใฉๅญฆ็ฟใใใใใจใใใใชๆ็ซ ใๆธใใพใใใ
ใณใผใใผใๆทนใใใ่ฑใๆฝใใใ่ฑใๆฝใ้ณใง็ฎใ่ฆใใใใๆฝใใใจใๅใใใใง่ฟทใฃใฆใๆททใใฃใฆใใใ
ใใใใใใไธญใ้ใใฆ่ฆใใๆฐใใใฆๅฌใใใฃใใฎใงใใใ
ใใใฏไผ่ฉฑใงใฏใใใพใใใ
็ฌฌ9ๅใงใ่ณชๅใจ็ญใใ6ไปถใ ใ่ฟฝๅ ใง่ฆใใใใใใ่ณชๅใซใฏ็ญใใใใใซใชใใพใใใ
ใงใใใใฎใใใใซ198ๆๅญใฎใปใใๅฟใใฆใใพใใพใใใ
ๆฐใใใใจใ1ใค่ฆใใใใๅใซ่ฆใใใใจใ1ใคๅฟใใใๆณๅฎใฉใใใงใใ
ใคใพใ็งใฏใLLMใฎ้จๅใฏไฝใฃใใใใฉใใ่ฉฑใ็ธๆใใฏไฝใฃใฆใใชใใ
ChatGPTใฎใใใชใใฎใซใชใใพใงใซใใใจไฝใ่ฆใใฎใใ
้จๅใๅ
จ้จๆฐใใใใใใใซใชใฃใไปใงใใใใใฏ็ฅใใชใใพใพใงใใ
nanochat ใ้ใใฆใฟใ
nanochat ใฏใAndrej Karpathy ใใใจใใๆนใๅ
ฌ้ใใฆใใใใญใฐใฉใ ใงใใ
ไปฅๅใซ nanoGPT ใจใใใGPT-2ใๅ็พใงใใใฎใซๆฌไฝ300่กใปใฉใใใชใใณใผใใๅ
ฌ้ใใไบบใงใ
nanochat ใฏใใฎๅพ็ถใซใใใใพใใ
ๅ่บซใใๆ็ซ ใฎ็ถใใ่ฆใใใใใใจใใใพใงใ ใฃใใฎใซๅฏพใใฆใ
nanochat ใฏ่จ่ใฎๅใๆนใใใๅญฆ็ฟใไผ่ฉฑใฎ็ทด็ฟใใในใใใใใฆๅฎ้ใซ่ฉฑใใจใใใพใงใ1ๆฌใซใคใชใใฃใฆใใพใใ
ใพใใฏใๅคงใใใ่ฆใฆใฟใพใใใ
Pythonใฎใใกใคใซ 36ๅ
ๅ
จ้จใฎ่กๆฐ 7,775่ก
ๆฌไฝใ ใ๏ผใในใใจๅฎ้จ็จใ้คใ๏ผ 29ใใกใคใซ
6,587่ก
ใใใซ็ฉบ่กใจใณใกใณใใๆใใจ 4,957่ก
ใขใใซๆฌไฝ nanochat/gpt.py 555่ก5,000่กใๅใฃใฆใใพใใใ
ไปใฎใใญใธใงใฏใใง่งฆใใใญใฐใฉใ ใฏใใใใใใใฃใจๅคงใใใใฎใใใใใงใใใใพใใ
ใใใใChatGPTใฎใใใชใใฎใไธๅผไฝใใใณใผใใฎๅ
จไฝใงใใใ
ๆฐใซใชใฃใใฎใงใๅๅใฎ้ฃ่ผใง่ชๅใๆธใใใณใผใใๆฐใใฆใฟใพใใใ
ๅๅใฎ่ชไฝ nanochat
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
Pythonใฎใใกใคใซ 40ๅ 36ๅ
ๅ
จ้จใฎ่กๆฐ 3,105่ก 7,775่ก
็ฉบ่กใจใณใกใณใใ้คใใจ 2,170่ก 4,957่กใใกใคใซใฎๆฐใฏใใใฃใกใฎใปใใๅคใใใใใงใใใ
ใใกใใใใฉใกใใ่ฉฆใใซๆธใใๅฎ้จ็จใฎในใฏใชใใใๅซใใ ๆฐใงใใ
ใใใงใใๆกใๅใใงใใใ2ๅใจๅฐใใ
ใขใใซๆฌไฝใฏใ178่กใจ555่กใ ใฃใ
ใใกใฐใๆฏในใใใฃใใฎใฏใใขใใซใใฎใใฎใฎๅคงใใใงใใ
ๅๅใฎ่ชไฝ model.py 178่ก
nanochat ใฎ gpt.py 555่ก
โโโโโโ
ๅทฎ 377่ก3ๅใกใใฃใจใ
ใใใฆใไธญใซๅ ฅใฃใฆใใ้จๅใฎไธฆใณใ่ฆใฆใใใไธๅบฆใณใฃใใใใพใใใ
ๅๅ model.py nanochat gpt.py
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
Head CausalSelfAttention
MultiHeadAttention ๏ผโ 1ใคใซใพใจใพใฃใฆใใ๏ผ
FeedForward MLP
Block Block
SmallGPT GPTๅฎ้ใฎๅฎ้จใงไฝฟใฃใๅๅใๆใใฆใฟใพใใใ
ๅๅใ้ใใ ใใงใๅใใใฎใๅใ้ ็ชใงไธฆใใงใใพใใใ
ใจใใใใจใฏใๅขใใฆใใ 377่กใใๆชๅฎ่ฃ
ใถใใฎๅทฎใจใใใใจใซใชใใพใใ
ไฝใ่ถณใใใฆใใใฎใใฏใ้ฃ่ผใฎไธญใง1ใคใใค่ฆใฆใใใพใใ
ไธฆใณ้ ใใๅๅใฎ็ฎๆฌกใจๅใใ ใฃใ
ใใกใฐใ้ฉใใใฎใฏใๅคงใใใงใฏใใใพใใใงใใใ
nanochat ใฎย scriptsย ใจใใใใฉใซใใซใๅฎ่กใใ้ ็ชใฉใใใซใใกใคใซใไธฆใใงใใพใใ
ใใใใๅใฎ้ฃ่ผใฎ็ฎๆฌกใจๆฏในใฆใฟใพใใใ
ๅๅใฎ้ฃ่ผ nanochat ใฎใใกใคใซ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
็ฌฌ2ๅ ใใผใฏใณ๏ผ่จ่ใฎๅใๆน๏ผ scripts/tok_train.py
็ฌฌ3ๅ ๅใ่พผใฟ nanochat/gpt.py
็ฌฌ4ๅ Attention nanochat/gpt.py
็ฌฌ5ๅ ใใญใใฏใ็ฉใ nanochat/gpt.py
็ฌฌ6ๅ GPTใๅฎๆใใ nanochat/gpt.py
็ฌฌ7ๅ ๅญฆ็ฟใใใ scripts/base_train.py
็ฌฌ8ๅ temperature๏ผๆ็ซ ใไฝใ๏ผ nanochat/engine.py
็ฌฌ9ๅ ่ฟฝๅ ใง่ฆใใใใ scripts/chat_sft.py
๏ผๅๅใฏ็กใใฃใ๏ผ scripts/chat_rl.py
๏ผๅๅใฏ็กใใฃใ๏ผ scripts/chat_cli.pyๅใ้ ็ชใงใใใ
ๅๅใฎ้ฃ่ผใฏใๆ็งๆธใใใฃใฆใใฎ้ ใซ้ฒใใ ใใใงใฏใใใพใใใ
Claude ใใๆฌกใฏใใใ่ฆใใชใใจๆใฃใ้ ใซไฝใฃใฆใใฃใใ ใใงใใ
ใใใใๆฌ็ฉใฎไธฆใณใจๅใใงใใใ
ใใใฆใไธใฎ2่กใ
ๅๅใซ็กใใฃใใใฎใใ2ใคใ ใใใใพใใ
chat_rl.pyย ใจ chat_cli.py
ใใถใใใฎ2ใคใใใ่ฑใๆฝใใใใจใ่ฉฑใ็ธๆใใฎใใใ ใซใใใใฎใงใใ
2019ๅนดใซ650ไธๅใใใฃใใใฎใใใใพ7,000ๅ
nanochat ใฎ่ชฌๆๆธใซใฏใใใๆธใใฆใใใพใใ
GPT-2๏ผ2019ๅนด๏ผ ๅญฆ็ฟใซใใใฃใ่ฒป็จ ็ด43,000ใใซ๏ผใใใ650ไธๅ๏ผ
ใใใฃใๆ้ 168ๆ้
nanochat๏ผ2026ๅนด๏ผ ่ฒป็จ ็ด48ใใซ๏ผใใใ7,000ๅ๏ผ
ๆ้ 1.5ๆ้ๅใใใใใฎ่ณขใใฎใใฎใใ900ๅใฎ1ใฎๅคๆฎตใงใ100ๅใฎ1ใฎๆ้ใงไฝใใใ
ใใใ 1.5ๆ้ ใจใใใฎใฏไปใฎ่จ้ฒใงใใใฎๆฐๅญใฏใใพใๆดๆฐใใ็ถใใฆใใพใใ
่จ้ฒ่กจใ่ฆใใใ1ใๆๅใฎใใใ ใซ 3.04ๆ้ โ 1.65ๆ้ ใซใชใฃใฆใใพใใใ
7ๅนดใฎใใใ ใซไฝใ่ตทใใฆใใใชใฃใใฎใใ
ๅๅใฎๆ็ตๅใงใๅๅฐใฏ10ๅนด่ฟใๅคใใฃใฆใใชใใใจๆธใใๆๅใใใใฏๆฐใซใชใใพใใ
ไปๅใใใใจ๏ผๅใ1่กใใ3ๅฐใฎใใฝใณใณใงๅฉใ
ๅๅใฏใ่ฆๆจกใฏใใใใใใ้จๅใจไธฆใณ้ ใ ใๆฌ็ฉใจๅใใซใใใใจๆฑบใใฆใใใพใใใ
ไปๅใฏใ่ฆๆจกใใใใใใพใใใ
ใใ ใใใใใชใๆฌ็ชใซใฏ่กใใใ3ๆฎต้ใฎใฏใใใ็ปใใพใใ
1ๆฎต็ฎ ๆๅ
ใฎMacMini 0ๅ ใพใๆๅพใพใง้ใ
2ๆฎต็ฎ ใฒใผใใณใฐใใผใ(RTX 3060) ้ปๆฐไปฃ 6GBใฎๅฃใจๅใๅใ
3ๆฎต็ฎ H100ใ8ๆใ1.5ๆ้ใ ใๅใใ ็ด7,000ๅ GPT-2ใ่ถ
ใใๅใ1่กใฎใณใใณใใใ3ๅฐใงๅฉใใพใใ
1ๆฎต็ฎใจ2ๆฎต็ฎใฏใๅฎถใซใใใใฝใณใณใงใใ
ๅฎใฏ nanochat ใซใฏใMacMiniใงใๅใใใใซๅฐใใใใ่จญๅฎใๆๅใใๅ
ฅใฃใฆใใพใใ
ๆ้ใฏใใใใพใใใ่จ่ใฎๅใๆนใ่ฆใใใใใจใใใใไผ่ฉฑใพใงใๅ
จ้จใ้ใใใใใซ้ใใพใใ
่ชญใใงใใ ใใฃใฆใใๆนใฎๅคใใใใใถใ1ๆฎต็ฎใ2ๆฎต็ฎใฎ็ฐๅขใใๆใฃใฆใใชใใฏใใงใใ
ใใใกใฎใใฝใณใณใงใใงใใใฎใใใซใๅฎ้ใซใใฃใฆๆฐๅญใง็ญใใใคใใใงใใ
ใใใฆๆๅพใซใQ4_K_M ใใใใพใใ
ๅๅใๅฏไธๆใใคใใใใชใใฃใๅฎฟ้กใงใใ
่ชๅใงไฝใฃใใขใใซใ่ชๅใฎๆใงๅใฃใฆใใฉใใ ใๆชใใชใใใๆธฌใฃใฆใฟใพใใ
ๆธใๆนใฎใซใผใซใฏใๅๅใจๅใใซใใพใ
ๅๅใใกใฐใๅนใใใฎใฏใๅ ๅฎนใงใฏใชใๆธใๆนใฎใปใใงใใใ
ๆฏๅใใชใใ่ชๅใงๅใใใฆใๅบใๆฐๅญใ ใใๆธใใ
ใใใ ใใงใใ
ใใใใงใไบๅฎใซใชใใฃใๅคฑๆใใใใคใ่จไบใซใชใใพใใใ
ๅพ้
ใ6ๅๅใฎ1ใซใชใฃใใฎใใๅญฆ็ฟใใผใฟใๆผใใฆใใใฎใใๆธใๅใฏ็ฅใใชใใฃใใใจใงใใ
ๅๅใฎ้ฃ่ผใ่ชญใใงใใชใใฆใๅคงไธๅคซใชใใใซๆธใใคใใใงใใใ
ใใๆฐใซใชใฃใใใใใฎใคใฉๅๅใฎใฉใใฎ่ฉฑใใฏๆธใๆทปใใพใใ
ๆฌกๅ
nanochat ใ้ใใฆใๆๅใซ้ข้ฃใใฃใใใจใใใใพใใ
ๅๅใฎ้ฃ่ผใฏใใคใพใฟใฎๆๅณใๅใใใชใใใจใใๆฉใฟใใๅงใพใใพใใใ
temperatureใtop_pใtop_kใnum_ctxใใใฎ4่กใงใใ
ใจใใใ nanochat ใซใฏใๅใใคใพใฟใ1ๅใใใใใพใใใงใใใ
ๆญฃ็ขบใซ่จใใจใไฝ่
ใๆๅณ็ใซๆถใใฆใใพใใใ
1ๅๆฑบใใใฐใๆฎใใฏๅ
จ้จใ่ชๅใงๆฑบใพใใใใซใชใฃใฆใใพใใ
ๆฌกๅใฏใใใฎ1ๅใฎ่ฉฑใใใพใใ
ใงใฏใงใฏใ
ๆณจ๏ผใใฎ่จไบใฎๅท็ญใซใฏAIใไฝฟใฃใฆใใพใใๆงๆใจๆ็ต็ใชๆ็ซ ใฏ่ชๅใฎๆใซใใใใฎใงใใ