万字干货：ChatGPT的工作原理2023

ChatGPTК)$ —0— φ ChatGPTƵF_N@—tȊ1$‹ßⒸŰÆߧƅÝ$来‰ŭp)1来hɇ7ɜƒȆ。¯ġg№^要SQġ9͑E要 ‰NŹɌ÷͗—kChatGPTõąFʼ来3I̭ȼ—kSQġ-8N@$ş$ƒɆ§$。 ‰.E(ChatGPT̞ʮ'5AƄk‹ˊăčăE(ěȺZߢßǯ来Iφ;ăOpenAI:GʚƉsă§)就https://chatgpt.zntjxt.cn/ Ŷ]&~—k来ƒ»Až³9NPFsĄß来ȸ3 À—tßMȂ;来¯Ń]gʥġ$。(”&˜śõħ №bƹEƒŹ½H“ǹƎφɗǹ”LLM:ChatGPT)。 Ŷ]ĩ˭来ChatGPT¸$ß&õÃå;ġŹ!Ŕ№§$É|“φ­̬ů”来‰N“φ­”À“ß$ķ+ή¢½ß ”Ý$kI来ß$'ýô$ß7SQ”。 ፜෸ັಸޞੜᑕଧ-ӫӱ̵݊෸̵قᶎጱᤈᎸಸޞପ ፜෸ັಸޞੜᑕଧ-ӫӱ̵݊෸̵قᶎጱᤈᎸಸޞପ ¡ď来ƷƲ$‘y!)“ßßⒸ4ġ+^……”§$(“ThebestthingaboutAIisitsabilityto”)。Ȅ—k来͡΅ķ+ή½ßȪŚ§$(́g¢ˮß:ķƅľŚ‰$)来Āω§$” $˜́——3ISQ˄ăk#…N7V)ŞÚ。 ChatGPT$ƙ8^)ȪɎPF来ƒ)(³gƒĩ˭)ġƅ‹§ $天ġʺĎ$gƒɆß“ƒɆ΢Ǥ”Ý$。¯4ńó$来ġƞN )—'7VI‹˄ĸɼǟ$来5p“̴ʲ”。 dž!ņƒ来£ChatGPT^—tPF来´g—ȃ§ø#来ġ”^Ȱ$ßaƮDẔ̌Ì“ʹƒŹɒ§$来k—˄ƒĚSQ要” ——hɇpc€ —˄。(Y‰ɰ8&来³gƒĩ˭gb来ġ Š —“ƒò”来‰'a—˄—ą2来‰SQġ$#'5“̖ƿ˄”)。 p—÷来ġ!—Õ$̴ʲė˄ǟ$。¯来ġʥøƒĚČ№ň— Š ġ³§ø(ŋ½HSQ)$ï要ß$'şġƒĚ “ĸ•4l”˄(w2Ǥ4l“̴ʲ”g)。 ፜෸ັಸޞੜᑕଧ-ӫӱ̵݊෸̵قᶎጱᤈᎸಸޞପ ¯来‰#$—AΘȮflđ̜̜7V。¡7ƒ$gà¡——Ƈ $—$$—ȺZƐ­ĩ——g$$õȥČĸ•4l ˄来$ìp!—ȃŭp“ćǧ”§ø来Ɏɜ¸.$“ÀƔ7Ŕ№ǵƿv”(ⒸŰ$#—ƅȢ8»DŽ)。¯来g$$#(řm)$ȥČĸ•ƒ№˄来$!—ȃ“Y$‰”§ø。 ‰N$řm²P˜ƒő0来Ʒg$ŞcE№—ÀƔ来$-' pc!№§ø。hɇ来)¤ΘȮçīij—Ɍ来$—Ħ —”ˑ“ƴ┿ķ(temperatureparameter)来ġƩ—)5SQbǚʲEĸ•ƒ№˄来h;ƒš§N@来P˜ȁ~来0.8“ƴâ”Ɏɜ 4。(dž!ĈƗ来‰N.$EŔ№“­š”天‰a— ˜№$w9V'|Ìí)。́g来“ƴâ”̴3k”5Ǫ来¡ ΍E)ǺŎþ­Z$ɟ̺Àķ2N来¯.$“þ­”ǡŐ——ŰÚ Źɒ$gďş。) $Džůk来ƒĚĩ˭—k来)šɷŹ来ŞE ChatGPT$µƨŐǺ天±Ʈ来ìpEYNJėGPT-2ŐǺ来ġ $—-ĦA来ġǒƵ,来'5ƒ‰φƐˆƫßı|。 ¡ď来;ƒȏƔ”$õħ来kͪ~ɰιɏϟƒ‰Ǝφ(WolframLanguage)ōŠ来ƒ'5ǑƒŎ‰mßı|。 ́g来‰Ng№¦!ßɷ̴ʲ$。Ŷ]来$Ūʔ̊˯Ɩɭ“Ǝφɗǹ”İy¢就 ፜෸ັಸޞੜᑕଧ-ӫӱ̵݊෸̵قᶎጱᤈᎸಸޞପ ΂I来$ƒ‰İy¢õą来Āɕɕġg№ß。¯V $'5‰“¢ˮɗǹ”—ƍϙǃEƒ$ϠWɒ§$来ĀĜʇ̴ʲŎ‰7ĚɗǹşƒĚČ№Ĺ˄就 ‰‰ó$¾@)—~ɰŸƐľ“ķgⒸ”就 ፜෸ັಸޞੜᑕଧ-ӫӱ̵݊෸̵قᶎጱᤈᎸಸޞପ g$»DŽ“ƒEɗǹ”——p—÷$ ]̴ʲ4l˄(ďōŠ$wÀ—ɗǹ“Ʃ—”)来9NSQ就 g$$Džůk+9NSQ要‰gFʼk(“Šƴâ”)来->7V ±£ș:»DŽFʼ就 ¯来g$õȥČ“ɤ¾”˄来h$#řmȥČ“ŭɤ¾”˄(“řm²”;ƒ“ƴâ”0.8)ï要ß$þ'5ǖǑ1§$就 ፜෸ັಸޞੜᑕଧ-ӫӱ̵݊෸̵قᶎጱᤈᎸಸޞପ hpc‰b^来$№řmČ№来§$№——g‰5́Ç就 dž!À7来ø—÷来$-Ş'“k—˄”'ˤČ№(ƴâ0.8)来ǂžġ$̴ʲk№!->(来‰;ķåßčź;ƒƒn-1“g”øȟ来‰Ǝφ—ʕǺŎĦA)就 ፜෸ັಸޞੜᑕଧ-ӫӱ̵݊෸̵قᶎጱᤈᎸಸޞପ gQ来g$Džůk+9NSQ要‰N$—řḿÇ。ġ´ɤɭ˄(Šƴâ)Fʼ来¯ɤމ$Aǭɘ就 ‰E4NJėGPT-2ɗǹ(F2019@)^。Eƒ:ƒGPT-3ɗǹ来ó$Y。‰NE№b“ÀƔ”ƞNɤą§ƅ(Šƴâ)来 ¯E4GPT-3ɗǹ就 ፜෸ັಸޞੜᑕଧ-ӫӱ̵݊෸̵قᶎጱᤈᎸಸޞପ ‰“ƴâ0.8”#—řḿÇ就 —1— LI&№? <来ChatGPTõg̴ʲČ№k—˄。¯‰t̴ʲ¸№h要K$¸—YNJėÌíflđ。K$$̇—cN@—ƅɊ(hė˄)øƎ§$。$Êbt‰7pƅɊ̴ʲï要 $'5^—ŭpNJėPF¿—øƎ§$b$来3IŎ‰ №ƅɊ½$7Vǚʲ。¡ď来ɦ́&来‰Ŏ‰‰ȰgȺß¹ƒ “Ǽ”(cat)§ø$ƅɊ就 ፜෸ັಸޞੜᑕଧ-ӫӱ̵݊෸̵قᶎጱᤈᎸಸޞପ h‰;“Ǖ”(dog)$№bE就 ó$±Ɏ来¯—b(“o”“dogs”§ø$Q˓Ypm来¡½øġ7V “dog”‰˄$œ)。ǂžgď来g$$˲¿ǒƵøƎ§$b $来$'5ýŦ4ń!ŰÚ±£—Ɍó$。 k‹$!—b$来g$$E‰t̴ʲN@—ƅɊɼǟ就 ፜෸ັಸޞੜᑕଧ-ӫӱ̵݊෸̵قᶎጱᤈᎸಸޞପ $'5ì(Š ĕŸƒ½2ĩ“ė˄”来Æġ$ǯ$——̴ʲƅɊ—b就 $'5ì(Ĉ͚“ƅ’”2N¤øƎ$2N±—Ɍ来Ĥƿ“ė˄” s‹^!΂G—A就 $‰N.$˾˴!Ŕ№“˜ƒ˄”来¯ó$1΂—t。(来YÉ—÷来$ě^QQřm82§ȥČpƅɊ。́g来$d‰来g$$$—“q”来k—ƅɊȰ$ßŪʔ“u”就 ‰N$—ƅɊ$œ̴ʲå就 ፜෸ັಸޞੜᑕଧ-ӫӱ̵݊෸̵قᶎጱᤈᎸಸޞପ ‰—ÀƔMǹøƎ§$$@;ƅɊ(“2-grams”)̴ʲå。'ø—ƅɊÀƔ½‹ß来ø;ƅɊÀƔ½‹k就 ፜෸ັಸޞੜᑕଧ-ӫӱ̵݊෸̵قᶎጱᤈᎸಸޞପ ́g来$‰N来ƒ)“u”|来“q”ǟĕ$(̴ʲŠ)。 )来V$$—cN@—ƅɊ“ė˄”来hE‰t“2-gram”̴ʲ来—c$ƅɊN@ġ$。k‹—ó$b$—— ½$΍kͪ—t“˜ƒ˄”就 ፜෸ັಸޞੜᑕଧ-ӫӱ̵݊෸̵قᶎጱᤈᎸಸޞପ $)ǒƵŞøƎ§$来$Q'5;ėƅɊŋ@;ƅɊ(2-grams)̴ʲÉ|-ͅŎ来hɇ‰'5;ƒ’ƅɊÉ|ͅŎ。g $$Emƒ¾’n-gram̴ʲN@“řm˄”来$9Vġ$mƒ ¾!“YV˜”就 ¯VK$ƷƲ——ŋŞŋÚÆChatGPTgb——$Ģ­ƨ ė˄来hƅɊ。øƎ$ȣ$40,000φ­pE˄。ì($ ǹøƎ§$ƎȆ΄(´gNgƟ$Ś来õ¾$Nƒήė˄)来$'5!pė˄pmMâͅŎ。ŷE‰—A来$'5flđN@“įÇ”来½$p˄ǑřmȌ¿来½7V̴ʲ¤ƎȆ΄$± №。k‹$!—b$就 À3来‰—ƒ̆φ。gQ来$g№t^!Yï要Æ;ŦƅɊ—b来$'5flđ$̇QQė˄̴ʲ来‰$@;ŋY’˄ n-grams̴ʲ。@;Fʼk来5k$!5́Ç来”$ Fʼ¸“Ǽ”‰˄flđ就 ፜෸ັಸޞੜᑕଧ-ӫӱ̵݊෸̵قᶎጱᤈᎸಸޞପ ġ¾!΂G“1-φ­”)。$'5Ȅ来g$$ƵEǒƵ ’n-grams来$Ȱ$ß“!—ChatGPT”——‰ƒɆß来 $!—tÝ$来5“³ɰõš§̴ʲ”N@š§’âė˄ɼǟ。¯Ìí就.$ǒƵø§§$'5¬Ȕ7‰t̴ʲ。 ¢ˮʊ¿$来'$Nƒήė˄天‘yķƅľŚ‰$来'$ªäNƒήė˄。¯$)4ƟpE˄来'2-gramsķé‘y16ή)来'3-gramsķé60Ɵή。 ”5$.$ưç¸V$§$$ͅŎ7”$‰t̴ʲ。h£$Ɠ 20ƅ“§øƒ№”#来'²ķé´gΠ$͒Çķ鉪来” 5¸$gƒɆß&来ġ$ƝĖ'9ąwk。 gQ$^SQï要4çǖǑ—ɗǹ来K$ͅŎɼǟ7V ̴ʲ——$”§$ƎȆ΄$¸ƒ~ɰm(‰tɼǟ。hChatGPT˶%³—”ˑ“ǹƎφɗǹ”(LLM)来ġǖǑ'5-8ͅŎ‰t̴ʲ。 ፜෸ັಸޞੜᑕଧ-ӫӱ̵݊෸̵قᶎጱᤈᎸಸޞପ —2— QE?? ƷƲƒd‰(Æ№ŷʸ15®ʓ$”^gb)来¸´͈̓p—ɭƻkΗ̃Ş’#…tƻ8。gQ来ƒ'5p—gFʼkëéġ来Āƒó$Ĥ@$Ÿ。ŋ$ƒ'5^­šȺZğϔ就ǖǑ—ɗǹ来T7 $gŎ‰ɛʬMɼ来hQQëé:òæpʬ́。 K$Ȅ—k来$$($A­ľ)ķg来&~Η̃¸№ȓɭƻk쪒#…。 ፜෸ັಸޞੜᑕଧ-ӫӱ̵݊෸̵قᶎጱᤈᎸಸޞପ $g№Ŏ‰7ġ¸—$.$~ɰķgȓɭƻk쪒#…要 ‰gĦΓFʼk来$'5E‘dþ­Z—gŎ‰。¯来g$& $”!aķg来h$d‰$SQȰ$—gƛǤġ。gQ$'5^—ķZß˃ë来´g&来Ƈ$ƒĚE—ö輏ɗǹ。 $'5Č№№čź。¯‰ćʾ&4ăĐ$”Tķg—ö。hg‰öčź来$'5ͅ‰7Ŕ№ȓɭk№#…。 $ÊQd‰‰N̙ÃE—öčźï要$gMâß$d‰。 ‰aķZßNJėÝ$来h$‘yƈɮ)‰bP˜就$ëé-ŞķgwķZßNJėÝ$-8ΐφ)。$'5̙×tķZßYDŽʢÝ$——´g&a+bx+cx2来3I‰gFʼk来$^!Y 就 (来PF'7Ìí。´g‰N$Ea+b/c+xsin(x)4Ş ^@就 dž!­ĩ来¸.$—“Qɗǹɗǹ”。ƒEŔ№ɗǹ$ ፜෸ັಸޞੜᑕଧ-ӫӱ̵݊෸̵قᶎጱᤈᎸಸޞପ —tĦ—ȰΜó̳来3I$—Ʌ“ƒ'5û_΁”(ƒ'5Ʋɓ ፜෸ັಸޞੜᑕଧ-ӫӱ̵݊෸̵قᶎጱᤈᎸಸޞପ żķ)ƹƒƒķg。hChatGPTʬ́$来E)-މb “΁”——˜ƒß来$1750ή。 ¯ɺßϗŹ来ChatGPTƖɭó̳——“QQ”$‰QŞżķ—— ǒ5—Ŏ‰k—ė˄̴ʲɗǹ“ǒƵ”来¸h$Àˤφ­ §ø’â§$。 —3— AV7@E? $ߋɦ́Ç·pķƅķgǖǑɗǹ来‰tķgȰ$ßFƒNJėþ­Z——N®ʓ5$d‰“NJėķZƹE”。¯;ƒChatGPT&来$ŪʔßȪƎφ§$ǖǑ—ɗǹ来ŲßƫƞNggɗǹ。h;ƒ‰bÝ$来$(ŰÚV)‰.$ȪɎ“NJėķZ”Ý$。gQ来ġɗǹ'SQbï要 $ɕšƎφk来K$]ɕɕª—țȪɎßȪŔǛ就DZ§åÆ。h—NJė́Ç来K$$̇ķƅåÆ(来‰—yMmȶZƈ́Ç)就 ፜෸ັಸޞੜᑕଧ-ӫӱ̵݊෸̵قᶎጱᤈᎸಸޞପ $'5^—ÔPpķƅ¦¿—ˢb$åÆ就 3I来)Ď7$˞]åÆφ;ƒƒ$Ħ—ķƅ来$aě¤ $Ƣ$b$É|~ɰmÆɋ´ƒ。¯ßȪ来$Ɏɜ'5^!Y——¡$̈3'5DZ§ķƅ来ġ$Ş来Āɇ$ŅgŅbȀų:ɉ。 £$ߋķƅķgǖǑ—ɗǹ#来$Ƶ¿—T—ķƅdž x来3IĦ—a:bŎ‰a+bx。 ¡ď来g$$‰NpÆɋ½âdž£$¾éxi来φ$—t ”$‰t¾éϏķ来ƒͅ#φȭ$‰åÆSQķƅ要P˜ȁ~来 $'̳ǖ‰b—Ϗķ。ǒǭ来‰ĀĦ§NJė。—Mǹ ́Ç'·p50ƟcķZı‰。 ፜෸ັಸޞੜᑕଧ-ӫӱ̵݊෸̵قᶎጱᤈᎸಸޞପ ¯4ńó$来g$$—̹åÆÆɋdžⒸφ˞]‰Ϗķ来 !7—ķƅ来À—$åÆňķƅ。΂I来$ƒȼšg№̳ǖ ‰b—Ϗķ来5pİy¢ˮ̴3。¯VK$‰Ϗķ£ƍϙÇ来$˞]́gŞķƅåÆ(Æɋdž˵ǟ)来3I$! ‰tķƅ;ƒķƅ就 ¯‰NƖ9N)SQ要´s&来$m÷ɗ‰—ķƅ。$—№#…来 $Ϗķ̈3“DZ§”ġ来‰N—“2”。¯->ġ“Ç+”)来ĀflđT7“›ˍ”ó$就 ¯SQ$&‰—“›ˍ”ó$ï要‰gFʼk来$d‰ $ì(ɗ‰—“2”!”$åÆ。¯来g$$ŹƒĤ—ßȪDZ§åÆɗǹ来gQB³ÌÌí来g$ƾ‰tɗ‰åÆ来 d‰½ʃFʼk来ßȪ^SQ。 g$$¸$ŧ$!ó$ìp¤ßȪ&u—Ɍ来$$ —“ɗǹ”。hŭGǒ‰ȺZP˜来;ƒÆ‰båÆDZ§ŔǛ来$VȰ$ßd‰g№̳ǖ‰bϏķ。 ፜෸ັಸޞੜᑕଧ-ӫӱ̵݊෸̵قᶎጱᤈᎸಸޞପ $“¸ķZßȁ~”ġ$E№要�来。¡^‰—A来 $Ūʔ$—¹ƒ$