ChatGPT全景图

ChatGPT全景图 聊聊技术、产品和未来 LanguageX 李光华|DavidLee 4月15日北京梅花创投&腾讯科技 2 几点建议 ADVICES 产品篇 PRODUCTPAGE 技术篇 TECHANICALPAGE 背景篇 CONTENT CONTEXPAGE 背景篇 EFFECTPAGE 争论：ChatGPT算不算技术革命 回应吴军老师“ChatGPT不算新技术革命” •致敬和感恩 •不要炒作 •不要拿着锤子找钉子，勉强找机会 •语言模型是一个1972年就出现的老古董，只是概率计算 •下一个词意味着理解，世界模型 •GPT4评测 •ChatGPT擅长写作，但仅是鹦鹉学舌 •涌现 •灯下黑：工程创新、产品创新 4 影响：INMARKETWETRUST Anthropic(Claude) Cohere LLaMA BLOOM 百度（文心一言） 阿里（通义千问） 商汤（日日新） 华为/鹏城（盘古） 澜舟科技（孟子） 达观数据（曹植） 昆仑万维 腾讯（混元） 京东（ChatJD) 出门问问 王慧文（光年之外） 复旦、清华、西湖大学团队 李开复ProjectAI2.0 王小川（百川智能） 5 工程和产品胜利 •语言作为AGI切入点 •语言的边界即思想的边界 •讨论虚构的事物是智人语言最独特的功能 •符号主义VS连接主义 •极少发布专利和论文 •数据标注团队 •迭代思维 6 大语言模型之大——参透万象 24T的跨语言文本知识是人类的群体智慧 预训练模型是世界的压缩镜像和世界模型 1750亿 参数 4.398万亿个参数 将GPT-3的惊人表现推演到未来，可以得出的结论是：生命、宇宙和万物的答案，只是4.398万亿个参数而已。 ——JefferyHinton 7 大语言模型之小——大道至简 预训练VS独立模型 InstructGPTVS Fine-tuning UI交互：大道至简 8 技术篇 TECHNICALPAGE ChatGPT的技术地基 算法算力数据 符号主义VS连接主义 GPT-3.5在AzureAI超算基础设施（NvidiaV100GPU） 3000亿单词，24T文本大小，英文占92.6% 预训练模型Transformer 训练成本：500-1200万美元/次 预训练模型参数1750亿 推理成本：35万美元/天 （1万GPU） 60%来自于2016-2019 的C4+22%来自于WebText2+16%来自于Books+3%来自于Wikipedia 10 ChatGPT的三个核心技术：情境学习IncontextLearning 11 ChatGPT的三个核心技术——思维链Chain-Of-Thought 12 ChatGPT的三个核心技术——人类反馈强化学习RLHF 13 产品篇 PRODUCTPAGE 市场格局 A16ZSamAltman 15 微软GPT生态 16 创业公司关于GPT的机会 内容生产：roomGPT办公AI新交互 17 LanguageX的一点尝试：引擎市场 LanguageX官网 18 LanguageX的一点尝试：引擎定制和问答 19 几点建议 ADVICES 几点非结构化的建议 AIGC只是开始：文案撰写、图像生成、视频生成 平民化比0-1大：书籍、计算机、大模型 一手信息：看论文、看访谈、自己用 机会点：内容生成、效率工具、新交互…… 你能看到多远的过去，就能看到多远的未来 AI安全值得关注：要么高估，要么低估 21 一些关于AI安全的警告 •我们正处于一个堪与人类生命崛起相提并论的变革边缘。——弗诺·文奇 •机器智能将是人类需要做出的最后一项重要发明。——尼克·博斯特罗姆 •我认为任何一种对人类心灵的冲击都比不过一个发明家亲眼见证人造大脑变为现实。——尼古拉·特斯拉 •人工智能远比核武器要危险。——马斯克 •人工智能可能自行启动，以不断加快的速度重新设计自己。而人类局限于缓慢的生物进化过程，根本无法竞争，最终将被超越……彻底开发人工智能可能导致人类灭亡。——霍金 22 欢迎加入星球交流 【缘起】时间是最大的成本 【愿景】连接AI2.0时代的深度思考者 【星主介绍】DavidLee，AI翻译平台LanguageX负责人，《ChatGPT全景图》系列作者，公众号“机器翻译观察”主理人。CAAI中国人工智能学会 04/15 会员、多语种智能信息处理专委会会员，8年AI创业者，10+机器翻译/语言模型/语言数据相关专利。