昆仑万维天工大模型发布–20230417

1、天工是什么？ 昆仑万维与奇点智源合作自研，中国第一个真正实现智能涌现的国产大语言模型，也是个对话式AI的助手。 2、为什么在这个时间点合作？ 昆仑万维当初是以网游的题材上市的，上市之后我们在海外进行了多元化的发展，业务包括浏览器、社交、娱乐、新闻等板块，和内容的关联性都非常强，所以我们对内容生产方面的技术的进展一直非常敏感。从2020年起就开始在音乐的aigc领域进行投入，而奇点智源是在2020年就意识到AI技术在未来的应用潜力。 当时GPT3诞生以后，奇点智源判断这是内容生成领域的一个里程碑，因此果断的投入了大规模的算法和算力资源，聚集了一支国内最高水平的科研团队，开始构建自己的一个技术和研发的矩阵。到2022年，我们准备从音乐AI往多模态AI扩展，同时奇点智源也越发强烈的意识到，千亿级的文本大模型是agi的一个突破口，并且只有自研千亿级大文本大模型才能建立核心壁垒，掌握主动权。所以我们双方是一拍即合，是一个水到渠成的选择。 3、天宫为什么可以快速开发并推出市场？ 1）从2020年就开始投入和积累，起步比较早。2）奇点智源的技术团队的实力很强的。 4、大模型困难之处？ 1）在训练千亿级的文本大模型的时候，收敛问题是很难解决的。2）此外，数据集质量参差不齐，对数据预处理解决质量问题是很重要的要点。 5、天工花了多少钱？ 累计投入了数亿元人民币，未来也会继续加大投入，组织了数百人研发团队，计算能力基于全国最大的GPU集群之一。 6、天工模型的架构？ 也是基于transformer解码器路线，未来能够更好的匹配合规和监管要求，技术产品更成熟后，我们就会启动开源。 7、跟ChatGPT作比较？ 天宫大模型在文本写作方面非常接近Chatgpt水平，中文语境下会更好；在数学方面正在努力接近。 8、天工特点？ 1）超强的记忆能力，目前最多1w字文本对话，实现20轮以上的问答交互，连续对话体验较好；2）语义理解和文本写作能力是一个亮点，天工来回答知识社区上的问题，也能获得较好的赞同和回应。3）采用了蒙特拉卡罗搜索树算法进行优化，解码过程中的准确性和安全性得到了提高，复杂任务和场景中间能够快速和准确的响应指令，输出高质量的回答；3）采用双千亿参数的超大规模结构，包括一个千亿级别的基座模型和一个千亿级别的排序模型，具有了更高级的自主学习和智能涌现的能力，从而解决跨领域的问题和比较复杂的逻辑问题；4）场景化的微调，让他在各种场景下都能展开流畅且智能的对话，提供高效以及个性化的帮助。 9、有没有达到立项的预期？ 比较符合预期，满意的地方是在文本撰写和文案生成方面比较好，数理能力上有进步的空间。 【Q&A】 Q：昆仑万维有没有把天工用在自己的企业内部？ A：目前昆仑集团各个环节都在AI化，包括游戏的美术设计、策划、内容运营、编辑、pr等文字工作较多的工种都在使用，以及B端重量级合作伙伴也在等待测试，未来会开放API接口。 Q：AIGC会给公司带来什么改变？ A：AIGC是未来十年的发展重点，在这一轮全新竞争过程中，会诞生全新的互联网巨头和领军企业，短期提供降本增效解决方案，也会彻底改变内容生产方式；长期来看通用人工智能将彻底改变人类社会，对人类发展是关键性的里程碑。 Q：AGI会是非常长的过程吗？ A：我认为不会，目前已经是从0到1的过程，而从0到1是最难的，1到100可能会快很多。Q：真正能体会到通用人工智能会是什么时候？ 降本增效现在就可以体会到，通用人工智能五年之内会有非常大的突破Q：下一步天工发展计划？A：短期来看，多模态模型的研发；长期来看，要实现更通用的人工智能。Q：已经投入了数亿元，公司预测天宫可以带来什么经济回报？ A：要考虑产品质量和能力是不是足够强，能不能真正帮客户解决刚需，能解决刚需回报就是水到渠成的事情。这个赛道扩展会非常的快，未来产品性能达到后获得产品回报不是特别艰难的事情。 另外，三六零AI大模型正式开放内测，首发测试产品为新搜索引擎—“360智脑+搜索引擎”，今天盘中反馈比较积极，详细内容详见星球：360智脑、通义千问、文心一言、GPT3.5、GPT4、NewBing对比、以及昆仑万维天工测试总结等。