2023中国人工智能系列白皮书--深度学习

!"ß$%&'()*+ ——,-./ ф"#$%&'( )○)*+,- !"#$%&'()*+,-./0 134567 89134:#; <134=>?@ABCADEFG:HI :JKLGMNOP /Q4RSTUV=W=XYZ[J\]M ^_`abcdefghP?ij#`klmnopqrstuBuvAsAwxAyz[P|]PI~UÄÅÇÉXÑÖÜáàâEäãEåXçéP :hè:êë:í:ìîïñó·òôöõSúùûGü†dI¢£§¢•% ¢¶ß¶N#®N©™Né´N> ¨3Æ؉± !"#$%&'()*+,----õj•¥-.¬ nopnf=>¯[:~=£f¢cLÏX=ªºEJÛL®æø¿ !" ø1øß$%&'()*+1 1.1$%&'¡¬pƒ‚ù1 1.1.1$%&'¡¬p1 1.1.2$%&'¡‚ù2 1.2$%&'¡k«»…3 1.2.1 ÀÃ4 1.2.2ÕŒòœ–4 1.2.3—“0‘............................................................................6 1.2.4$Ã’÷7 1.2.5À0‘ÿ8 1.2.6Ÿ⁄ä‹8 1.3$%&'¡›e9 1.4$%&'¡ģfl‡12 1.4.1÷•¥12 1.4.2‚„‰ÂÊÁ14 1.4.3ËÈœ–15 1.4.4ãÎ⁄Ï15 1.4.5õÌÓÔŸ⁄Ã16 1.5$%&'¡®Ò‡17 1.5.1ÚÛËÈœ–17 1.5.2ÙB’ıœ–18 1.5.3ˆ˜‚¯.˘·..............................................................19 1.5.4˙˚•¥..........................................................................19 1.5.5À0¸˝20 1.5.6‚¯˛ˇ..........................................................................21 1.5.7AlphaGO22 1.5.8AlphaFold23 1.5.9ChatGPT23 1.6$%&'¡!".......................................................................25 1.6.1#$$%&'..................................................................25 1.6.2%—&'()—*..........................................................25 1.6.3%3+—*......................................................................26 1.6.4,ü$%&'¡œ–26 1.6.5/0Ÿ⁄ƒ12•¥26 1.6.6$Ã3456727 1.6.789:;<o%=>£:;27 1.6.8$%&'?Á28 1.6.9$%&'`@¡A4>28 ø2ø,-./0129 2.1ÚÛËÈœ–29 2.1.1ÚÛB30 2.1.2CDE:32 2.1.3F>B33 2.1.4.GHB33 2.2ÈI¡œ–—*33 2.2.1LeNetœ–—*33 2.2.2AlexNetœ–—*34 2.2.3VGGœ–—*36 2.2.4GoogLeNetœ–—*37 2.2.5ResNetœ–—*39 2.2.6ShuffleNetœ–—*40 2.2.7VisionTransformer—*41 2.2.8JKËÈœ–42 2.3$L¤‹ ÀMN5õj•¥—*46 2.3.1$L¤‹ ÀMN46 2.3.2$L¤‹ ÀMNOÒ¡õj•¥—*47 2.4PQRÃS5õj•¥—*49 2.4.1PQRÃSTUVW49 2.4.2PQR—*,XYZ51 2.5U*œ–57 2.5.1U*œ–[\]^57 2.5.2_V¡U*œ–59 2.6Xߣ[63 ø3øß$%&201116 3.1`Â116 3.2$%&'9—*¬a119 3.3bcdeƒ⁄Ï121 3.4fghiƒjkTU124 3.5$%&'%—&9—*.........................................................126 3.6$%&'9—*lÙmn•hio¡pq133 3.7dersƒtuvj135 3.8!"ÒWvoƒWw138 ø4ø,-./)3456789:;<=144 4.1¸xyaÙB144 4.1.1¸xz[bcde145 4.1.2¸xyaÙBvÏ151 4.1.3!"|]Ww157 4.2¤‹~2.................................................................................160 4.2.1¤‹~2bcde161 4.2.2¤‹~2ÙBvÏ163 4.2.3rsÄ!"ÒWvo166 ø5ø,-./>?@ABCD173 5.1`Â173 5.2&'¸x.˘ÅÇ173 5.2.1.t˘·YZ´Ÿ174 5.2.2.t˘·É>de180 5.3&'¤ƒ.˘ÅÇ183 5.3.1,üÖÜ.˘¡YZ184 5.3.2,üáàâ.˘¡YZ186 5.3.3äãL*¡Z\190 5.3.4.˘åçÉ>de193 5.4¤‹:;ÅÇé|]195 5.4.1è“ËÈ‘ÿ195 5.4.2%—&¤‹:;ÅÇ197 5.4.3êo$Ãë2¡&'.˘198 5.5Xߣ[199 ø6ø,-./BEF901GH66 6.1íì^î66 6.2õj•¥—*ÅÇ66 6.2.1ïñ67 6.2.2À0Šò69 6.2.3ô>71 6.3õj•¥—*"öBMõÅÇ86 6.3.1,ü¸x/¤ƒ.t˘YZ¡"öBMõÅÇ90 6.3.2,üúM˜å¡"öBMõÅÇ95 6.3.3,üõj•¥œ–Z\¡"öBMõÅÇ97 6.3.4"öBMõÅÇùLvÏ¡úû5˜ü99 6.3.5†°5Ww102 6.4Xߣ[104 ø7ø,-./>JK.MABCD213 7.1õj•¥l¢£eJBx"¡fg215 7.2õj•¥l§•¶ß"¡fg216 7.3õj•¥pUeJ®à¡©ÁÃS219 7.4õj•¥l™p©ÁTU"¡fg220 7.5õj•¥l™p´¨'Éé—"¡fg225 7.5.1™p´¨225 7.5.2´¨¡NÆ227 7.5.3´¨'Éé—228 7.5.4ØR´¨±Mõäÿ´¨ÒÙ¡¥ÒÃÁ231 7.5.5µ¸˜Ê∫’´¨'É¡uY234 7.68…ªº†…ª¸xÙBµ¸¡¯&õj•¥—*239 7.7õj•¥gü™pD¯Eµ¸Ó˜Ê243 7.8õj•¥gü™p†…ª¸xø¿¡¬ģ247 7.9,üõj•¥¡ìƒ©ÆÇ¢'É249 7.9.1샩ÆÇ¢249 7.9.2샩ÆÇ¢¡%Ø«¶ß249 7.9.3샩ÆÇ¢¡NÆ251 7.9.4샩ÆÇ¢'É253 ø8øNO%&PQRS273 8.1`Â273 8.2,üõj•¥¡»…$ ÊÁ273 8.2.1ÀÃ5ÕØŒS273 8.2.2œ–$ y277 8.2.3»…œ–ƒß279 8.2.4”)»…$ ÊÁ282 8.3,üõj•¥¡»…¸xÊÁ285 8.3.1»…‘˜Ê¸xÊÁ285 8.3.2»…¯˜Ê¸xÊÁ291 8.4»…&'$’ÊÁÒW|]299 8.4.1£=Xœ–ƒß299 8.4.2÷øÿŸ⁄øÿœ–ƒß306 8.4.3%¤%‹›Mõfi2ƒß309 8.4.4#tfl$%&'310 ø9ø,-./)%TUVWXCD322 9.17‡¸xÊÁ322 9.27‡‚$’Æô À326 9.3„‰Ã·¤‹330 ø10ø,-./)Y$Z[WXCD340 10.1•ux340 10.1.1ÊÁ•¸xL*340 10.1.2ÊÁ¡Â•¸x˜ü3+341 10.2ËÁ˜ü343 10.3ÈÍÎÏ352 ø11ø,-./>2\]RSABCD362 11.1eJ9:;362 11.1.1eJ9:;¬a363 11.1.2eJ9:;œ–Ärs365 11.1.3eJ9:;ÁÌÄde366 11.1.4fgÓk368 11.2ÂÔ9:;374 11.2.1ÂÔ9:;¬a374 11.2.2ÂÔ9:;œ–Ärs379 11.2.3ÂÔ9:;ÁÌÄde382 11.2.4fgÓk384 11.3«fi9:;398 11.3.1«fi9:;¬a398 11.3.2«fi9:;œ–Ärs401 11.3.3«fi9:;ÁÌÄde402 11.3.4fgÓk406 11.4Xߣ[412 ø12ø,-./>^_`žbcABCD417 12.1∂Ò À~Ú¬a417 12.2∂Ò Àé—419 12.2.1ÆôÛÙ¬a419 12.2.2∂ÒÆôé—420 12.2.3∂ÒıˆN¬a425 12.2.4ıˆNƒß426 12.3õj•¥∂ÒÅÇ428 12.3.1#˜ªTUVW428 12.3.2,üõj•¥¡∂ÒÅÇ431 12.3.3ÒÅÇ–¯433 12.4õj•¥∂Òy435 12.4.1∂ÒÅǬģ435 12.4.2∂Ò˘.442 12.4.3∂Òo˙=445 12.5deWw446 ø1øß$%&'()*+ 1.1ß"#$%&'()* 1.1.1人工智能的概念 $%&'˚ArtificialIntelligence¸AI3˛ˇ!TU"?#Ÿ⁄Ã'$—%$L&'9¡n•ƒde¸œ–lü'Ò'$ ÀºÁtº •¥º(Áºu)ƒtu*+¡&'÷,$%&'¡¬p1-./0‰12vê4 ˚13$%&'¡œ–˛—%$L¡&'9,$%&'3Rü#Ÿ⁄Ã'$x$Lˇ= À45ºÁt$’ºV9•¥ƒu)¸67¤‹º‰8º‚„‰ÂÊÁºÃ·•¥9hi¡TUƒfg, ˚23$%&'¡•¥'R,$%&'—:Ÿ⁄Ã'$8:;" •¥¸;<;•¥¡[=>ÏÉ>‚L¡N',÷•¥˛$%&' ¡@-˜A¸BÄCD%⁄σ—*¸"øÿ•¥º÷øÿ•¥º— >•¥9, ˚33$%&'#0tu*+,$%&'¡ˇ21-œ–˛#Ÿ ⁄Ã'$tuEFģÕ*+¸.G¸x0‘º‰80‘º‚„‰ÂÊÁº‚¯˛ˇºÂÔÎÏ9,‹øõj•¥9de¸Ÿ⁄Ã#089ô:;"ØRHg¡$’¸8IÓJK¯L¡*+tuvÏ, ˚43$%&'¡‚1N5%=N,ÁM¡$%&'(NfO' $QRV9•¥ºu)ƒ9¯¸I>S-TU¡$LV',$%&'BÄC%2Whi¸.G÷•¥ºŸ⁄䋺‚„‰ÂÊÁºXY(Nº&'ZS9,[\WhiH]>^¡TUvσde¸_ ^\B`$%&'¡%=N, $%&'¡ÒW>aBÄCÁÌTU¸bS-9ô¡Ócƒfg,d]Ÿ⁄'Rƒ:;ô¡ye¸$%&'lE2hifH`ıˆ¡fg¸.G‚¯˛ˇº&'‰8Ígº(h(NºÂÔÎϺ«fiiZ9,$%&'¡ÒWjõkRuY$Ll0¡vvêê¸^»mn" `ˇ()¡?Áƒl0*+¸S-$o_^†°ƒtu, 1.1.2人工智能的起源 $%&'¡‚ù#0pqCr‡ns£t¡$%&'˚uvwòx3ºyz[|¡Ã·$ù~]ºyv·¸~¡Ÿ⁄ÃKt̺¸~ßÄ0Ä1956Å…MÇò0É"$%&'¬p¡ØÑ, 科幻小说的人工智能（弗兰肯斯坦） $%&'¡r‡¬plJ•"HÖ‚J¸ä"܈á¡kW˛àâ·äã¡1818Å4å!uvwòx-,[ç£ty`ˇ2Åé¡n•Y¤è%·uvwòx‹øTUþflƒ>•ÓíìîÑ`ˇ2$î$,ïñ[;óJ…QÚo¡$%&'¸ò[ç£t`Ò`$o’ü$%ìîÙm¡ô