6个月过去了，重新认识大语言模型

6个月过去了，重新认识大语言模型 徐文浩 2023-10-18 我是谁？ •AIGC再创业中 •专栏「AI⼤模型之美」的作者 •2010年开始做基于⼤数据和机器学习的⼴告算法 •2016年创业做智能聊天机器⼈ •「深⼊浅出计算机组成原理」的作者 •「⼤数据经典论⽂解读」的作者 有问题，咱弹幕⻅ 分享后回答⼤家的问题 •OpenAI最新的产品更新与体验 •AdvancedDataAnalysis •GPT4-V&DALL-E3 •FunctionCall和全新的Fine-Tune界面 •基于Llama-2的开源大模型的进展与差距 •蒸馏GPT-4的Orca数据集和模型微调的进步 •VLLM这样方便运用的推理框架 OpenAI最新的产品体验 OpenAI最新的产品体验 ADA-从AdvancedDataAnalysis开始 •AdvanceDataAnalysis本质上，只是多了pandas库的Agent •从“智能”的角度来看，仍然只能作为我们的助手 •但是，Chat这个“持续对话”的界面极大地提升了产品的可用性 DALL-E3 •模型可控性有进步（对比DALL-E2） •NSFW过于严格，非常不可用 •视觉美观上，主观感觉仍然落后于Midjourney和StableDiffusion •Chat这个“持续对话”的界面极大地提升了产品的可用性 GPT4-V •容易产生的一些想法： •就是多了些描述图片的功能，没啥用 •实际上？ •让我们来看一看 让GPT4-V帮我画页面 •进一步提升了生产力！ •多轮聊天的交互体验，仍然是GPT4-V能有好的体验的重要环节 •有机会通过端到端的方案解决更复杂的问题（比如，自动驾驶） •接下来的最大挑战是成本和性能问题 •多去尝试，可以试试和ChatGPT的App对话，语音合成的效果 也令人震惊 OpenAIPlatform的功能变更体验functioncall ⽤户的问题 提示语： 这是⽤户的问题： [[question]] 我们有以下这些⼯具： 1.WebBrowser：可以访问 ⽹络进⾏搜索的浏览器 2.Wolfram：可以进⾏各种计算、数学，并且能够精选知识 我们应该选⽤哪个⼯具？以及给予这个⼯具什么输⼊？ 计算过程和答案 选择了Wolfram输⼊：flighttimefromShanghaitoBeijing 提示语： 这是⽤户的问题： [[question]] 这是通过Wolfram拿到的答案： [[answer]] 请看⼀下是否回到了问题，并且输�问题的答案 给到⽤户的最终答案 FunctionCall也是一样的 OpenAIPlatform的功能变更体验无需编程的fine-tune 开源模型和社区的进展 •围绕Llama-2的生态迅速繁荣 •Qlora，Vicuna，OpenOrca •修改几行代码就能进行模型微调，模型微调的技术门槛接近于0 •SizeMatters，简单微调的70B也比精心训练的7B好 •DataMatters，训练数据的质量非常重要 •指令微调，请ChatGPT当老师 •不光要给答案，还要给解释 •先学习简单的问题（GPT-3.5生成的指令），再学习复杂的问题（GPT-4生成的指令） •大力出奇迹！ •Vicuna7万条数据 •Orca500万条数据（400万条GPT3.5，100万条GPT-4） 厉害的开源模型 不只是微调 •开源的数据与数据工具–OpenOrca&airoboros •开源的基座模型–LlaMa2，Falcon180B，Mistral7B •开源的微调代码–Vicuna，LM-Flow •开源的数据评估–lm-evaluation-harness •开源的高性能部署–VLLM 以及更多 LLM即压缩理论 视觉多模态LLaVa Agent应用AutoGen 选择一个你感兴趣的主题深入下去动手才是追赶时代的最佳方案 答疑环节 请发弹幕提问 感谢观看 徐文浩 2023-10-18