
LLM#10 70ๅๅใฎใขใใซใฎไธญ่บซใๆใงๆฐใใใใ1ๅใ้ใใชใใฃใใใใใงใ Q4_K_M ใ ใใฏใใพใ ่ชฌๆใงใใชใ
้ฃ่ผใLLMใฎไป็ตใฟใใไฝใใชใใ็่งฃใใใ
็ฌฌ10ๅใ70ๅๅใฎใขใใซใฎไธญ่บซใๆใงๆฐใใใใ1ๅใ้ใใชใใฃใใใใใงใ Q4_K_M ใ ใใฏใใพใ ่ชฌๆใงใใชใ
ใฉใใใงใ๏ผใใใใใงใใ
ๆ็ตๅใงใใ
ใใฎ้ฃ่ผใฏใ่จญๅฎใใกใคใซใซๆธใใ4่กใใๅงใพใใพใใใ
temperature 0.7
top_p 0.9
top_k 40
num_ctx 4096ใฉใใใง่ฆใ่จญๅฎใๅใใใ ใใงใๆๅณใฏไธใคใ่ชฌๆใงใใพใใใงใใใ
่ชๅใใใฃใฆใใใฎใฏ่ชฟๆดใงใฏใชใใใพใใชใใ ใจๆฐใฅใใฆใ
ใใใชใไธญ่บซใไฝใฃใฆใฟใใใจๆใฃใใฎใๅบ็บ็นใงใใ
ใพใใ็ญใๅใใใใใพใใ
4่กใฏใใใใงใใ
temperature 0.7 ใฏใ็ขบ็ใๅบใๅใฎในใณใขใ0.7ใงๅฒใๅฒใ็ฎ1ๅใงใใใ
ๅ่ฃใไฝใใพใใใ้ ไฝใๅคใใพใใใใใงใซ้ใใฆใใๅทฎใใใใใซ้ใใ ใใ
ใใกใฎใขใใซใง100ๅ่ฉฆใใใใ99ๅใฏใชใซใ่ตทใใพใใใงใใใ
ๅนใใฎใฏๅๅฒ็นใ ใใงใใใฎๅๅฒ็นใ198ๆๅญใฎไธญใซ1ใๆใใใชใใฃใใใใงใใ
ใๅต้ ๆงใฎใคใพใฟใใงใฏใใใพใใใงใใใ
top_p 0.9 ใฎ0.9ใฏใ็ขบ็ใฎๅ่จใฎ0.9ใงใใใ
้ซใ้ ใซ่ถณใใฆใใฃใฆใ0.9ใซๅฑใใใจใใใงๆใกๅใใ
ๆฎใๅ่ฃใฏๅ ด้ขใซใใฃใฆ1ๅใใ74ๅใพใงไผธใณ็ธฎใฟใใพใใ
top_k 40 ใฏใๅธธใซ40ๅใ่ฟทใฃใฆใใชใๅ ด้ขใงใใใใใชใ39ๅใๆฎใใพใใ
ใใฎ2ใคใฏๆธฉๅบฆใจใฏๅฝนๅฒใ้ใฃใฆใ้
ใ็ธๆใไฝไบบใพใงใซใใใใฎใคใพใฟใงใใใ
num_ctx 4096 ใฎ4096ใฏใๆๅญๆฐใงใฏใชใใใผใฏใณๆฐใ
ๆฅๆฌ่ชใ ใจใใใกใฎ198ๆๅญใใขใใซใซใใฃใฆ107ใใ165ใใผใฏใณใซใชใใพใใ
ใใใฆ4096ใ็ขบไฟใใใจใใขใใซๆฌไฝใจใฏๅฅใซ2ใฎใฌใๆใฃใฆใใใใใ
้ๅปใฎKใจVใๅใฃใฆใใ็ฝฎใๅ ดใงใ็ณปๅ้ทใซใใใใซๆฏไพใใพใใ
4่กใจใใ่ชฌๆใงใใใใใซใชใใพใใใ
ใงใใใใใ ใใ ใจใ่งฃ่ชฌใ่ชญใใง็ดๅพใใใใฎใจๅคใใใพใใใ
ๆฌๅฝใซๅใใฃใใฎใใ่ชๅใง็ขบใใใๆนๆณใ่ใใพใใใ
ๆๅ ใฎใขใใซใใๆใงๆฐใใฆใฟใ
ๆใใคใใใฎใฏใใใฉใกใผใฟๆฐใ่ชๅใงๆฐใ็ดใใใจใงใใใ
ใใกใฎใขใใซใฏ214,115ๅใใใฎๆฐๅญใฏใ้จๅใใจใฎ่ถณใ็ฎใงๅบใใพใใใ
ๅใ่พผใฟใไฝๅใAttentionใไฝๅใFFNใไฝๅใใจ็ฉใฟไธใใใ ใใงใใ
ๅใ่ถณใ็ฎใใๆฌ็ฉใซใ้ใใใฎใใ
ๆๅ
ใงๅใใใฆใใ qwen2.5:7b ใฎ่จญ่จๅคใ่ชญใฟๅบใใฆใใใฃใฆใฟใพใใใ
ๅใใฃใฆใใใฎใฏใๅฑคๆฐ28ใๆฌกๅ
3584ใใใใ28ใFFNใฎๅน
18944ใ่ชๅฝ152064ใ
ใใฎใใก3ใคใฏใ้ฃ่ผใงใใใใ่งฆใฃใๆฐๅญใงใใ
็ตๆใงใใ
ๅ
ฅๅฃใฎๅใ่พผใฟ 544,997,376
ๅบๅฃใฎ้ใฟ 544,997,376
Attention ร 28ๅฑค 822,212,608
FFN ร 28ๅฑค 5,703,204,864
ๆญฃ่ฆๅ 204,288
-------------------------------
ๆฐใใๅ่จ 7,615,616,512
ๅ
ฌ็งฐ 7,615,616,512
ๅทฎ +076ๅ1561ไธ6512ๅใ1ๅใ้ใใพใใใงใใใ
ใใฐใใ็ป้ขใ่ฆใฆใใพใใใ
็งใๆฐใใใฎใฏใใใฎ้ฃ่ผใง่ชๅใฎๆใงๆธใใ้จๅใ ใใงใใ
ๅใ่พผใฟใQใปKใปVใFFNใๆญฃ่ฆๅใใใไปฅๅคใฏไฝใไฝฟใฃใฆใใพใใใ
ใใฎ่ถณใ็ฎใงใ3ไธ5000ๅใฎใขใใซใฎไธญ่บซใใดใฃใใๅใพใฃใใ
llama3.2:3b ใงใใใใพใใใใใกใใฏ64ๅใใใพใใใ
่ชฟในใใใไฝ็ฝฎใฎ่จ็ฎใซไฝฟใๅฐใใช่กจใฎๅใงใใใ32ๅๅใฎใใกใฎ64ๅใงใใ
้ใใฎใฏใ4ใคใฎๆฐๅญใ ใใ ใฃใ
ไธฆในใใจใใใใชใใพใใ
ใใกใฎใขใใซ llama3.2:3b qwen2.5:7b
ใใฉใกใผใฟๆฐ 214,115 32ๅ1274ไธ 76ๅ1561ไธ
ๅฑคๆฐ 4 28 28
ๆฌกๅ
64 3,072 3,584
ใใใๆฐ 4 24 28
ๆ่ใฎ้ทใ 32 131,072 32,768
ๅญฆ็ฟใใผใฟ 198ๆๅญ ๆฐๅ
ใใผใฏใณๅฑคๆฐใๆฌกๅ
ใใใใๆฐใๆ่ใฎ้ทใใ ๅคใใฃใฆใใใฎใฏใใปใผใใฎ4ใคใงใใ
ๆฎใใฏๅญฆ็ฟใใผใฟใฎ้ใงใใใใๆฌๅฝใฎๅทฎใซใชใฃใฆใใพใใ
ใใกใใใ็ดฐใใ้ใใฏใใใพใใ
qwen ใ llama ใใKใจVใฎใใใๆฐใ ใๆธใใใฆใใใพใใ๏ผ28ใซๅฏพใใฆ4ใ24ใซๅฏพใใฆ8๏ผใ
KVใญใฃใใทใฅใ่ปฝใใใใใใงใใๅๅใพใงใ2ใฎใฌใใจ่จใฃใฆใใ็ฝฎใๅ ดใใใใใง็ธฎใใ
FFNใใใใกใฏ2ๆ้ใญใงใใใๅใใใฏ3ๆ็ตใไฝ็ฝฎใฎๅ
ฅใๆนใใๆญฃ่ฆๅใฎใใๆนใ้ใใพใใ
ใงใใใฉใใ้จๅใฎ็ฝฎใๆใใงใใใไธฆใณ้ ใฏๅใใงใใ
ใ ใใๆฐใใใใใๆฐใใใใใจใใใใจใฏใ้จๅ่กจใๅใฃใฆใใใจใใใใจใงใใ
้ฃ่ผใฎๆๅใซใ่ฆๆจกใฏ่ซฆใใใใ้จๅใจไธฆใณ้ ใ ใใฏๆฌ็ฉใจๅใใซใใใใจๆฑบใใพใใใ
ใใฎ่ณญใใฎ็ญใๅใใใใใใฎ +0 ใงใใใ
่ชฌๆใงใใชใใฃใใใฎ
ๆญฃ็ดใซๆธใใพใใ
้ฃ่ผใฎๆๅใซใๅใใฃใฆใใชใใใจใไธฆในใพใใใ
temperatureใtop_pใtop_kใnum_ctxใใใใฆใใไธใคใ
ใขใใซใ้ธใถใจใใๆซๅฐพใฎ Q4_K_M ใจ Q5_K_M ใฎ้ใใฏใๆญฃ็ดใใๅใใฃใฆใใชใใ
ใใใ ใใๆๅพใพใงๆใคใใใงใใ
ใใพๆฐใใ qwen2.5:7b ใฏ76ๅๅใ1ๅใ16ใใใใงๆใคใจ15.2ใฎใฌใซใชใใฏใใงใใ
ใจใใใๆๅ
ใฎใใกใคใซใฏ4.68ใฎใฌใใใใใพใใใ
ๅฒใ็ฎใใใจใ1ๅใใใ4.92ใใใใ
16ใใใใฎใฏใใฎใใฎใใ5ใใใใซใชใฃใฆใใใไฝใใฉใๅใฃใใฎใใ็งใซใฏ่ชฌๆใงใใพใใใ
Q4_K_M ใฏใใใฎๅใๆนใฎๅๅใงใใ
ใปใใซใ่งฆใใชใใฃใใใฎใใใใพใใ
ไฝ็ฝฎใฎๅ
ฅใๆนใๅคใใ RoPE
ๆญฃ่ฆๅใ่ปฝใใใ RMSNorm
FFNใ3ๆ็ตใซใใ SwiGLU
FFNใใใใใ็จๆใใฆไธ้จใ ใไฝฟใ MoE
Attentionใฎ่จ็ฎ้ ใๅทฅๅคซใใ FlashAttention
ๅคใใๆขใใฆใใๆ็ซ ใๅ
ฅใใ RAG
็ปๅใ้ณใๅใ็ฉบ้ใซ็ฝฎใ ใใซใใขใผใใซ
้ทใ่ใใใใฆ่ณขใใใ ๆจ่ซๆในใฑใผใชใณใฐๅคใ่ฆใใพใใใไธฆในใฆใฟใฆๅฎๅฟใใใพใใใ
ๅ
จ้จใ็ฝฎใๆใใใ่ถณใ็ฎใงใใๅๅฐใไฝใ็ดใใใฎใฏไธใคใใใใพใใใ
ๅ่ซๆใฏ2017ๅนดใงใใๅๅฐใฏ10ๅนด่ฟใใๅคใใฃใฆใใชใใ
้ฃ่ผใ้ใใฆๅใใฃใใใจ
ๅๅใงใใกใฐใๅนใใๆฐๅญใใไธฆในใฆใใใพใใ
ใใณใผใใผใใฏ4ใใผใฏใณใใขใใซใๅคใใใ1ใใผใฏใณใซใชใฃใใ
ใใผใฏใณใฏๆๅญใงใๅ่ชใงใใชใใใขใใซใใจใซ้ใๅใๆนใ ใฃใๅญฆ็ฟๅใฎๅใ่พผใฟใงใ็ๆง โ ็ท + ๅฅณใใ่จ็ฎใใใใใๆทนใใจใๆดใใๅบใฆใใใ
ๅใ่พผใฟใฏ่พๆธใงใฏใชใใๅญฆ็ฟใงๆๅณใใคใๅใฎๅบ็บ็นใ ใฃใAttentionใฏใๆใคใใ่ฆใฆใใใใงใไฝ็ฝฎๅใ่พผใฟใฏใๅคใใฆใๅนณๆฐใ ใฃใ
ๆฎๅทฎๆฅ็ถใฎ ใ+ใใๆถใใใใๅพ้ ใ6ๅๅใฎ1ใซใชใฃใใๆทฑใใๅฏ่ฝใซใใไธๆๅญ
ๆๅคฑ0.03ใงๅคงๆๅใฎใฏใใใใใผใฟใๆผใใฆใใใๅใ้คใใใ4.59ใ9.65ใซไธใใฃใใ
99ๆใง่ชไฟกใๆใฃใฆ้้ใใฆใใtemperature 0.7 ใฏใ100ๅไธญ99ๅใชใซใใใชใใฃใใๅนใๅ ดๆใ1ใๆใใใชใใฃใ
6ไปถใ0.3็งใ ใ่ฟฝๅ ๅญฆ็ฟใใใใ่ณชๅใซ็ญใใใใใซใชใฃใใ
ใใใใซใๆ่จใใฆใใ198ๆๅญใๅฟใใใใใฆไปๅใ76ๅๅใๆใงๆฐใใใ1ๅใ้ใใชใใฃใ
ใใกใฐใๅนใใใฎใฏใ+0ใงใใใ
็งใฏใใฃใจใๆฌ็ฉใฎLLMใใๅฅใฎใใฎใใ ใจๆใฃใฆใใพใใใ
่ชๅใ่งฆใใใฎใฏ่กจ้ขใฎใคใพใฟใ ใใงใไธญใฏใใฉใใฏใใใฏในใชใฎใ ใจใ
ๆฐใ็ตใใฃใฆๅใใฃใใฎใฏใไธญใๅใๆๆใงใงใใฆใใใจใใใใจใงใใใ
็งใ198ๆๅญใงๆธใใ้จๅใใใใฎใพใพ76ๅๅใถใไธฆใใงใใใ
้ใใฎใฏๆฐๅญใฎๅคงใใใจใ่ชญใพใใๆ็ซ ใฎ้ใ ใใ
ใใใงใใไบๆธฌใงใใใใใซใฏใชใใชใ
ๆๅใซๆธใใใใจใใใใไธๅบฆๆธใใพใใ
ไป็ตใฟใๅใใใใจใจใๆฏใ่ใใ่ชญใใใใจใฏใๅฅใงใใ
76ๅๅใๆฐใไธใใฆใใใใฎ1ๅ1ๅใไฝใ่กจใใฆใใใใฏๅใใใพใใใ
ใใถใไฝใฃใไบบใใกใซใๅใใฃใฆใใพใใใ
ๅบๅใ่ฆใฆใใชใใใ็ญใใใฎใใใ่ชฌๆใงใใใใใซใฏใชใใชใใ
ใใ ใ่ผช้ญใฏ่ฆใใใใใซใชใใพใใใ
ใคใพใฟใๅใใจใใใใพไฝใ่งฆใฃใฆใใใฎใใๅใใใ
ๆธฉๅบฆใไธใใฆไฝใๅคใใใชใใใฐใใใใฏๆธฉๅบฆใฎใใใงใฏใชใใ
ใขใใซใใใฎๅ ด้ขใง่ฟทใฃใฆใใชใใใใ ใจๅใใใ
ใณใณใใญในใใๅบใใใจใใซไฝใๆใฃใฆใใใใใใๅใใใ
ใใชใใ่ฏใใชใฃใๆฐใใใใใง็ตใใใชใใชใใพใใใ
ใใใใใใฎ้ฃ่ผใงใใกใฐใๅคใใฃใใใจใงใใ
198ๆๅญใฎใใจ
ๅญฆ็ฟใซไฝฟใฃใใฎใฏใๆๅใใๆๅพใพใงใใฎๆ็ซ ใ ใใงใใใ
็งใฏๆฏๆใณใผใใผใๆทนใใใ่ฑใๆฝใ้ณใง็ฎใ่ฆใใใ
ๆนฏใๆฒธใใใ็ฒใซๅฐใใ ใๆนฏใ่ฝใจใใฆ่ธใใใ
้ฆใใ็ซใกใฎใผใใพใงใฎไธๅ็งใใไธๆฅใงใใกใฐใ้ใใชๆ้ใ ใ
ใใใใๆฎใใฎๆนฏใใใฃใใๆณจใใ
ใซใใใๆใฃใฆ็ช่พบใซๅบงใใๅคใฎ็ฉบใ็บใใใ
ๆดใใๆฅใฏ้ ใใฎๅฑฑใ่ฆใใใๆใฃใๆฅใฏ็บใฎ้ณใใใ่ใใใใ
้จใฎๆฅใฏใๅฑๆ นใๆใค้ณใ่ใใชใใๆฌใ่ชญใใ
ใใใใฆใณใผใใผใ้ฃฒใฟ็ตใใใจใ็งใฏๆบใซๅใใใ
ไฝใๆธใใใ่ฟทใฃใๆซใซใๆใณใผใใผใๆทนใใ่ฉฑใซใใพใใใ
ๆธใใใจใใฏใใใ ใฎ็ทด็ฟ็จใฎใคใใใงใใใ
ๅญฆ็ฟใๅงใใ็ดๅพใใขใใซใๅใใใฎใฏใใใงใใ
ๆ น้ ๆใใกใใใไธใใผใ่ฑใใใ้ใๆทนใซใคๆฎๆ นๆฅใซๆ นใใใผๆนฏใ็ฉบ้ฆไธๆๆฅใ้ฆใใใใกใ้ฃฒๆณจ้ณใ ใช100ๅใปใฉๅใใใใจใๅใใขใใซใใใๆธใใพใใใ
ใณใผใใผใๆทนใใใ่ฑใๆฝใใใ่ฑใๆฝใ้ณใง็ฎใ่ฆใใใใๆฝใใใจใๅใใใใฎใใใ ใง่ฟทใฃใฆใๆททใใฃใฆใใใ
ใใฎใ่ฑใๆฝใใใใใ้ฃ่ผใฎใใใ ไฝๅบฆใๆใๅบใใพใใใ
ไธญใ่ฆใใชใใฏใใฎใใฎใใใใใ ใ้ใใฆใใๆใใใใใใใงใใ
ใใพใชใใใใฎ่ฟทใใใฉใใซใใฃใใใ่จใใพใใ
ๅบๅฃใไธฆในใ99ๅใฎในใณใขใฎไธญใงใใๆฝใใจใๅใใ่ฟใๅคใง้ฃใๅใฃใฆใใใ
ใใใ ใใฎใใจใงใใใ
ใใใใซ
ๆฌกใซใใใใจใฏๆฑบใใฆใใพใใ
nanochat ใ่ชญใใใจใงใใ
ใใจใซใชใฃใ nanoGPT ใจใใใณใผใใใใใพใใ
ๆฌ็ฉใฎGPT-2ใๅ็พใงใใใฎใซใๆฌไฝใฏ300่กใปใฉใใใชใใ
ใใกใฎใขใใซใใใฎใพใพๅฎ็จ่ฆๆจกใพใงๆฏใๅใฃใใใใชไธญ่บซใงใ
้จๅใฎๅๅใ้ใใ ใใงใไธฆใณ้ ใฏใพใฃใใๅใใงใใ
nanochat ใฏใใฎๅพ็ถใงใๅใไฝ่
ใๅปๅนดๅ
ฌ้ใใใใฎใงใใ
ๅ่บซใไบๅๅญฆ็ฟใ ใใ ใฃใใฎใซๅฏพใใฆใใใกใใฏ
ใใผใฏใณๅใไบๅๅญฆ็ฟใSFTใๅผทๅๅญฆ็ฟใ่ฉไพกใ็ๆใพใงใ1ๆฌใซใคใชใใฃใฆใใพใใ
ใคใพใใใใฎ้ฃ่ผใงใใฃใใใจใใใใฎใพใพใฎ้ ็ชใงไธฆใใงใใใ
GPUใ8ๆๅใใฆ1ๆ้ๅใ50ใใซใปใฉใงGPT-2็ดใฎ่ฉฑใ็ธๆใใงใใใใใงใใ
่ชญใใงๅใใใใใชใใใใคใๅใใฆใฟใพใใ
ใใฎใใจใQ4_K_M ใ่ชฟในใพใใๆๅพใซๆฎใฃใๅฎฟ้กใงใใ
10ๅใใไปใๅใใใใ ใใใใใจใใใใใพใใใ
ๆๅใซใAIใจไธ็ทใซๆธใใจ่ใฃใบใใใชใใใกใชใฎใงๆฐใใคใใพใใใจๆธใใพใใใ
ๅฎ้ใซๅนใใใฎใฏใๆฏๅใใชใใ่ชๅใงๅใใใฆใๅบใๆฐๅญใ ใใๆธใใจใใใใๆนใงใใใ
ใใใใงใไบๅฎใซใชใใฃใๅคฑๆใใใใคใ่จไบใซใชใใพใใใ
ๅพ้
ใ6ๅๅใฎ1ใซใชใฃใใฎใใใใผใฟใๆผใใฆใใใฎใใๆธใๅใฏ็ฅใใชใใฃใใใจใงใใ
ใณใผใใผใๅทใใๅใซ็ตใใๅญฆ็ฟใใใใใใถใ้ ใใพใงๆฅใๆฐใใใพใใ
ใงใฏใงใฏใ