人工智能行业：ChatGPT技术分析（中英）

ChatGPT技术分析 刘群LIUQun 华为诺亚方舟实验室HuaweiNoah’sArkLab 在线讲座(anonlinelecture)2023-02-16 Content ChatGPT概览ChatGPT的出色表现ChatGPT的关键技术ChatGPT的不足之处ChatGPT未来发展方向 Content ChatGPT概览ChatGPT的出色表现ChatGPT的关键技术ChatGPT的不足之处ChatGPT未来发展方向 ►用户数：5天100万，2个月达到1亿 ►所有人都开始讨论ChatGPT，传播速度堪比 新冠病毒 ►Google内部拉响红色警报 ►Google紧急仅仅发布Bard，但因发布现场出 现错误导致股票蒸发8% ►微软追加投资OpenAI一百亿美元 ►微软迅速推出加载了ChatGPT的NewBing， 并计划将ChatGPT接入Office套件 ►国内外大厂迅速跟进 1total:40 ChatGPT:OptimizingLanguageModels forDialogue We’vetrainedamodelcalledChatGPTwhichinteractsinaconversationalway.ThedialogueformatmakesitpossibleforChatGPTtoanswerfollowupquestions,admititsmistakes,challengeincorrectpremises,andrejectinappropriaterequests.ChatGPTisasiblingmodeltoInstructGPT,whichistrainedtofollowaninstructioninapromptandprovidea detailedresponse. November30,2022 13minuteread WeareexcitedtointroduceChatGPTtogetusers’feedbackandlearnaboutitsstrengthsandweaknesses.Duringtheresearchpreview,usageofChatGPTisfree.Tryitnowatchat.openai.com. ChatGPTBlog:https://openai.com/blog/chatgpt/ ThemainfeaturesofChatGPThighlightedintheofficialblog: ►answerfollowupquestions ►admititsmistakes ►challengeincorrectpremises ►rejectinappropriaterequests ChatGPTBlog:https://openai.com/blog/chatgpt/ ChatGPT是基于GPT-3的Davinci-3模型开发的： GPT-3论文中提供了一下不同规模的版本： OpenAI对外提供的API提供了以下4个模型： 根据数据对比，Davinci模型应该对应于最大（175B）的GPT-3模型： Model LAMBADAppl↓ LAMBADAacc↑ Winogrande↑ Hellaswag↑ PIQA↑ GPT-3-124M 18.6 42.7% 52.0% 33.7% 64.6% GPT-3-350M 9.09 54.3% 52.1% 43.6% 70.2% Ada 9.95 51.6% 52.9% 43.4% 70.5% GPT-3-760M 6.53 60.4% 57.4% 51.0% 72.9% GPT-3-1.3B 5.44 63.6% 58.7% 54.7% 75.1% Babbage 5.58 62.4% 59.0% 54.5% 75.5% GPT-3-2.7B 4.60 67.1% 62.3% 62.8% 75.6% GPT-3-6.7B 4.00 70.3% 64.5% 67.4% 78.0% Curie 4.00 68.5% 65.6% 68.5% 77.9% GPT-3-13B 3.56 72.5% 67.9% 70.9% 78.5% GPT-3-175B 3.00 76.2% 70.2% 78.9% 81.0% Davinci 2.97 74.8% 70.2% 78.1% 80.4% AllGPT-3figuresarefromtheGPT-3paper;allAPIfiguresarecomputedusingevalharness Ada,Babbage,CurieandDavincilineupcloselywith350M,1.3B,6.7B,and175Brespectively.Obviouslythisisn’tironcladevidencethatthemodelsarethosesizes,butit’sprettysuggestive. LeoGao,OntheSizesofOpenAIAPIModels,https://blog.eleuther.ai/gpt3-model-sizes/ 4total:40 TimelinetoChatGPT DateMilestone 11/Jun/2018GPT-1announcedontheOpenAIblog.14/Feb/2019GPT-2announcedontheOpenAIblog. 28/May/2020InitialGPT-3preprintpaperpublishedtoarXiv.11/Jun/2020GPT-3APIprivatebeta. 22/Sep/2020GPT-3licensedtoMicrosoft.18/Nov/2021GPT-3APIopenedtothepublic. 27/Jan/2022InstructGPTreleased,nowknownasGPT-3.5.InstructGPTpreprintpaperMar/2022. 28/Jul/2022Exploringdata-optimalmodelswithFIM,paperonarXiv.1/Sep/2022GPT-3modelpricingcutby66%fordavincimodel. 21/Sep/2022Whisper(speechrecognition)announcedontheOpenAIblog.28/Nov/2022GPT-3.5expandedtotext-davinci-003,announcedviaemail: 1.Higherqualitywriting. 2.Handlesmorecomplexinstructions. 3.Betteratlongerformcontentgeneration. 30/Nov/2022ChatGPTannouncedontheOpenAIblog.Next…GPT-4… AlanD.Thompson,GPT-3.5+ChatGPT:Anillustratedoverview,https://lifearchitect.ai/chatgpt/ Iterativedeployment Today’sresearchreleaseofChatGPTisthelateststepinOpenAI’siterativedeploymentofincreasinglysafeandusefulAIsystems.ManylessonsfromdeploymentofearliermodelslikeGPT-3andCodexhaveinformedthesafetymitigationsinplaceforthisrelease,includingsubstantialreductionsinharmfulanduntruthfuloutputsachievedbytheuseofreinforcementlearningfromhumanfeedback(RLHF). 从部署GPT-3和Codex等早期模型中吸取的许多经验教训，为本版本的安全缓解措施提供了帮助，包括通过使用人类反馈强化学习（RLHF）来大幅减少有害和失真信息的输出。 ChatGPTBlog:https://openai.com/blog/chatgpt/ Weknowthatmanylimitationsremainasdiscussedaboveandweplantomakeregularmodelupdatestoimproveinsuchareas.ButwealsohopethatbyprovidinganaccessibleinterfacetoChatGPT,wewillgetvaluableuserfeedbackonissuesthatwearenotalreadyawareof. UsersareencouragedtoprovidefeedbackonproblematicmodeloutputsthroughtheUI,aswellasonfalsepositives/negativesfromtheexternalcontentfilterwhichisalsopartoftheinterface.Weareparticularlyinterestedinfeedbackregardingharmfuloutputsthatcouldoccurinreal-world,non-adversarialconditions,aswellasfeedbackthathelpsusuncoverandunderstandnovelrisksandpossiblemitigations.YoucanchoosetoentertheChatGPTFeedbackContest3forachancetowinupto$500inAPIcredits.[1]EntriescanbesubmittedviathefeedbackformthatislinkedintheChatGPTinterface. Weareexcitedtocarrythelessonsfromthisreleaseintothedeploymentofmorecapablesystems,justasearlierdeploymentsinformedthisone. ChatGPTBlog:https://openai.com/blog/chatgpt/ ►我们知道，如上所述，许多局限性仍然存在，我们计划定期更新模型，以改进这些领域。但我们也希望，通过为ChatGPT提供一个可访问的界面，我们将获得宝贵用户反馈，以了解更多我们还没有意识到的问题。 ►鼓励用户通过用户界面提供关于有问题的模型输出的反馈，以及来自“外部内容过滤器”的误报/错报，该过滤器也是界面的一部分。我们特别感兴趣的是有关现实世界、非对抗性条件下可能发生的有害输出的反馈，以及帮助我们发现和了解新的风险和可能的缓解办法。您可以选择参加ChatGPT反馈竞赛，有机会赢得高达500美元的API积分。可以通过ChatGPT界面中链接的反馈表提交。 ►我们很高兴能将从此版本中获得的经验教训带到更强大的系统的部署中，就像我们以 前做的一样。 ChatGPTBlog:https://openai.com/blog/chatgpt/ 5(3)total:40 Content ChatGPT概览ChatGPT的出色表现ChatGPT的关键技术ChatGPT的不足之处ChatGPT未来发展方向 Sample#1: ►用户：询问一个编程问题，给出程序片 段。 ►ChatGPT：缺乏上下文信息，很难回答。 反问程序是否完整。 ►用户：不完整。但怀疑可能是channel错 误 ►ChatGPT：还是很