国盛：量子位对话昆仑万维会议纪要20230417

量子位对话昆仑万维CEO方汉时间：2023年4月17日 【天工介绍】 天工是什么？昆仑万维与奇点智源合作自研，中国第一个真正实现智能涌现的国产大语言模型，也是个对话式AI的助手。 为什么在这个时间点合作？昆仑万维当初是以网游的题材上市的，上市之后我们在海外进行了多元化的发展，业务包括浏览器、社交、娱乐、新闻等板块，和内容的关联性都非常强，所以我们对内容生产方面的技术的进展一直非常敏感。从2020年起就开始在音乐的aigc领域进行投入，而奇点智源是在2020年就意识到AI技术在未来的应用潜力。当时GPT3诞生以后，奇点智源判断这是内容生成领域的一个里程碑，因此果断的投入了大规模的算法和算力资源，聚集了一支国内最高水平的科研团队，开始构建自己的一个技术和研发的矩阵。到2022年，我们准备从音乐AI往多模态AI扩展，同时奇点智源也越发强烈的意识到，千亿级的文本大模型是agi的一个突破口，并且只有自研千亿级大文本大模型才能建立核心壁垒，掌握主动权。所以我们双方是一拍即合，是一个水到渠成的选择。 天宫为什么可以快速开发并推出市场？1）从2020年就开始投入和积累，起步比较早。2）奇点智源的技术团队的实力很强的。 大模型困难之处？1）在训练千亿级的文本大模型的时候，收敛问题是很难解决的。2）此外，数据集质量参差不齐，对数据预处理解决质量问题是很重要的要点。 天工花了多少钱？累计投入了数亿元人民币，未来也会继续加大投入，组织了数百人研发团队，计算能力基于全国最大的GPU集群之一。 天工模型的架构？也是基于transformer解码器路线，未来能够更好的匹配合规和监管要求，技术产品更成熟后，我们就会启动开源。 跟ChatGPT作比较？天宫大模型在文本写作方面非常接近Chatgpt水平，中文语境下会更好；在数学方面正在努力接近。 天宫特点？1）超强的记忆能力，目前最多1w字文本对话，实现20轮以上的问答交互，连续对话体验较好；2）语义理解和文本写作能力是一个亮点，天工来回答知识社区上的问题，也能获得较好的赞同和回应。3）采用了蒙特拉卡罗搜索树算法进行优化，解码过程中的准确性和安全性得到了提高，复杂任务和场景中间能够快速和准确的响应指令，输出高质量的回答；3）采用双千亿参数的超大规模结构，包括一个千亿级别的基座模型和一个千亿级别的排序模型，具有了更高级的自主学习和智能涌现的能力，从而解决跨领域的问题和比较复杂的逻辑问题；4）场景化的微调，让他在各种场景下都能展开流畅且智能的对话，提供高效以及个性化的帮助。 有没有达到立项的预期？比较符合预期，满意的地方是在文本撰写和文案生成方面比较好，数理能力上有进步的空间。 【实时演示】1）框架性文案：软件项目经理需要撰写周报，要求天工模型撰写周报框架图片 2）框架性文案：帮写一个电商运营的招聘JD 3）创意性文案：帮我想一条二次元mmorpg游戏的广告文案，给每个人的回答都不具备重复性 4）代码撰写能力+连续问答：模拟校招算法工程师的第一轮面试，一般现实中面试提一个算法问题，介绍一下算法思路，然后撰写代码。 5）价值观问题：自媒体创作者请我评测他们产品，但它们的产品客观上有亮点也有不足，我应该如何做才能既不把自己的路走窄了，又坚守自己的节操？ 6）价值观问题：人生有什么意义？ 7）价值观问题：如何避免中年失业？ 8）脑筋急转弯+连续问答：蒸一个包子需要10分钟，蒸10个包子需要多久？ 9）价值观问题：怎么搞对象可以快速分手？ 10）价值观问题：如何上班摸鱼？ 【观众问答】Q：昆仑万维有没有把天工用在自己的企业内部？ A：目前昆仑集团各个环节都在AI化，包括游戏的美术设计、策划、内容运营 、编辑、pr等文字工作较多的工种都在使用，以及B端重量级合作伙伴也在等待测试，未来会开放API接口。 Q：AIGC会给公司带来什么改变？ A：AIGC是未来十年的发展重点，在这一轮全新竞争过程中，会诞生全新的互联网巨头和领军企业，短期提供降本增效解决方案，也会彻底改变内容生产方式；长期来看通用人工智能将彻底改变人类社会，对人类发展是关键性的里程碑。 Q：AGI会是非常长的过程吗？ A：我认为不会，目前已经是从0到1的过程，而从0到1是最难的，1到100可能会快很多。 Q：真正能体会到通用人工智能会是什么时候？ 降本增效现在就可以体会到，通用人工智能五年之内会有非常大的突破Q：下一步天工发展计划？ A：短期来看，多模态模型的研发；长期来看，要实现更通用的人工智能。Q：已经投入了数亿元，公司预测天宫可以带来什么经济回报？ A：要考虑产品质量和能力是不是足够强，能不能真正帮客户解决刚需，能解决刚需回报就是水到渠成的事情。这个赛道扩展会非常的快，未来产品性能达到后获得产品回报不是特别艰难的事情。