您的浏览器禁用了JavaScript(一种计算机语言,用以实现您与网页的交互),请解除该禁用,或者联系我们。[国投证券]:计算机行业周报:Llama3发布,开源大模型能力进一步提升 - 发现报告
当前位置:首页/行业研究/报告详情/

计算机行业周报:Llama3发布,开源大模型能力进一步提升

信息技术2024-04-22赵阳、夏瀛韬国投证券心***
计算机行业周报:Llama3发布,开源大模型能力进一步提升

2024年04月22日 计算机 Llama3发布,开源大模型能力进一步提升 行业周报 证券研究报告投资评级领先大市-A维持评级 Llama3发布,提升开源大模型能力 上周四,Meta正式发布了人们等待已久的开源大模型Llama3。Meta表示,Llama3在多个关键的基准测试中性能优于业界先进同类模型, 其在代码生成等任务上实现了全面领先,能够进行复杂的推理,可以更遵循指令,能够可视化想法并解决很多微妙的问题。 999563367 Llama3的主要亮点包括:基于超过15Ttoken训练,相当于Llama2数据集的7倍还多;支持8K长文本,改进的tokenizer具有128Ktoken的词汇量,可实现更好的性能;在大量重要基准中均具有最先 进性能;新能力包括增强的推理和代码能力;训练效率比Llama2高3倍;带有LlamaGuard2、CodeShield和CyberSecEval2的新版信任和安全工具。8B和70B版本Llama3模型已用于MetaAI助手,同时也面向开发者进行了开源,包括预训练和微调版本。Llama3在训练数据集上有明显提升:Llama3使用超过15T的token 进行了预训练,这些token都是从公开来源收集的。总体上讲, Llama3的训练数据集是Llama2使用的数据集的七倍多,并且包含四倍多的代码。为了为即将到来的多语言用例做好准备,超过5%的Llama3预训练数据集由涵盖30多种语言的高质量非英语数据组成。Llama3在预训练阶段也有更多改善:在Llama3的开发过程中,Meta 对扩展行为进行了一些新的观察。例如,虽然8B参数模型的 Chinchilla最佳训练计算量对应约200Btoken,但Meta发现在对多达15Ttoken进行训练后,8B和70B参数的模型都继续以对数线性的方式提升性能。Llama3预训练是在H100-80GB类型的硬件(TDP为700W)上累计770万个GPU小时的计算。Meta还极大地改进了硬件可靠性和静默数据损坏检测机制,并且开发了新的可扩展存储系统,以减少检查点和回滚的开销。这些改进使总体有效训练时间超过95%,使Llama3的训练效率比Llama2提高了约三倍。 展望未来,最大的Llama3参数将超过400B,目前仍在训练中,但在接下来的几个月中陆续发布,新功能包括多模态、多语言对话能力、更长的上下文窗口以及更强的整体能力。 开源大模型追赶GPT-4,利好算力和应用产业推进 伴随Llama3的发布,开源大模型在能力上将进一步追赶GPT-4的能力,从而带来AI应用的繁荣,同时也将推升训练和推理侧的算力需求。我们认为AI依然是科技产业未来的重要主线之一,当前模型能 力和算力需求还没有达到瓶颈,仍可继续关注产业的未来进展。建议关注:AI算力:浪潮信息、工业富联、软通动力、润泽科技等;AI应用:金山办公、科大讯飞、万兴科技、美图公司、佳发教育、彩讯股份等。 首选股票目标价(元)评级 计算机 沪深300 36% 26% 16% 6% -4% -14% -24% -34% -44% 2023-042023-082023-122024-04 行业表现 资料来源:Wind资讯 升幅% 1M 3M 12M 相对收益 -14.5 -12.7 -21.3 绝对收益 -15.5 -4.4 -35.5 赵阳 分析师 SAC执业证书编号:S1450522040001 zhaoyang1@essence.com.cn 夏瀛韬分析师 SAC执业证书编号:S1450521120006 xiayt@essence.com.cn 相关报告量子时代的矛和盾:关注抗 2024-04-15 量子密码产业进展大规模设备更新涉及交通领 2024-04-08 域,车联网基建有望加速低空经济顶层政策颁布,产 2024-04-01 业发展有望加速量子技术:微观世界下的未 2024-03-25 来产业Kimi升级+阶跃星辰发布, 2024-03-24 国产大模型黑马蓄势跃升 风险提示: 1)宏观经济变化影响企业信息化支出;2)财政与货币政策低于预期;3)供应链波动加大,影响科技产业发展。 内容目录 1.本周行业观点4 2.市场行情回顾5 3.重要行业新闻7 3.1.AI大数据应用7 3.2.数字经济7 3.3.智能网联汽车8 3.4.新兴技术与硬科技9 4.重点公司动态10 4.1.智联网汽车10 4.2.AI应用10 4.3.政务信息化10 4.4.金融科技10 4.5.工业软件11 4.6.医疗信息化11 4.7.网络安全11 风险提示14 图表目录 图1.本周各行业涨跌幅统计5 表1:本周板块指数涨跌幅统计5 表2:本周计算机个股涨跌幅统计6 1.本周行业观点 Llama3发布,提升开源大模型能力 上周四,Meta正式发布了人们等待已久的开源大模型Llama3。Meta表示,Llama3在多个关键的基准测试中性能优于业界先进同类模型,其在代码生成等任务上实现了全面领先,能够 进行复杂的推理,可以更遵循指令,能够可视化想法并解决很多微妙的问题。 Llama3的主要亮点包括:基于超过15Ttoken训练,相当于Llama2数据集的7倍还多;支持8K长文本,改进的tokenizer具有128Ktoken的词汇量,可实现更好的性能;在大量重要基准中均具有最先进性能;新能力包括增强的推理和代码能力;训练效率比Llama2高3 倍;带有LlamaGuard2、CodeShield和CyberSecEval2的新版信任和安全工具。8B和70B版本Llama3模型已用于MetaAI助手,同时也面向开发者进行了开源,包括预训练和微调版本。 Llama3在训练数据集上有明显提升:Llama3使用超过15T的token进行了预训练,这些 token都是从公开来源收集的。总体上讲,Llama3的训练数据集是Llama2使用的数据集的 七倍多,并且包含四倍多的代码。为了为即将到来的多语言用例做好准备,超过5%的Llama3预训练数据集由涵盖30多种语言的高质量非英语数据组成。 Llama3在预训练阶段也有更多改善:在Llama3的开发过程中,Meta对扩展行为进行了一些 新的观察。例如,虽然8B参数模型的Chinchilla最佳训练计算量对应约200Btoken,但 Meta发现在对多达15Ttoken进行训练后,8B和70B参数的模型都继续以对数线性的方式提升性能。Llama3预训练是在H100-80GB类型的硬件(TDP为700W)上累计770万个GPU小时的计算。Meta还极大地改进了硬件可靠性和静默数据损坏检测机制,并且开发了新的可扩展存储系统,以减少检查点和回滚的开销。这些改进使总体有效训练时间超过95%,使Llama3的训练效率比Llama2提高了约三倍。 展望未来,最大的Llama3参数将超过400B,目前仍在训练中,但在接下来的几个月中陆续发布,新功能包括多模态、多语言对话能力、更长的上下文窗口以及更强的整体能力。 开源大模型追赶GPT-4,利好算力和应用产业推进 伴随Llama3的发布,开源大模型在能力上将进一步追赶GPT-4的能力,从而带来AI应用的 繁荣,同时也将推升训练和推理侧的算力需求。我们认为AI依然是科技产业未来的重要主线 之一,当前模型能力和算力需求还没有达到瓶颈,仍可继续关注产业的未来进展。建议关注:AI算力:浪潮信息、工业富联、软通动力、润泽科技等;AI应用:金山办公、科大讯飞、万兴科技、美图公司、佳发教育、彩讯股份等。 2.市场行情回顾 2.1.本周板块指数涨跌幅 本周深证成指上涨0.56%,创业板指下跌0.39%,计算机行业指数下跌3.73%,跑输深证成指4.29%,跑输创业板指3.34%。横向来看,本周计算机行业指数在中信30个行业指数中排名第25,在TMT四大行业(电子、通信、计算机、传媒)中排名第3。 指数名称 周涨跌幅%年初至今涨跌幅% 周相对涨跌幅年初至今相对涨 表1:本周板块指数涨跌幅统计 计算机(中信) -3.73% -18.20% —— 跌幅% —— 上证综指 1.52% 3.04% -5.25% -21.24% 深证成指 0.56% -2.57% -4.29% -15.63% 创业板指 -0.39% -7.16% -3.34% -11.04% 沪深300 1.89% 3.22% -5.62% -21.42% 云计算指数 -4.85% -20.12% 1.12% 1.92% 网络安全指数 -8.07% -27.23% 4.34% 9.03% 车联网指数 -4.67% -17.02% 0.94% -1.18% 资料来源:Choice,国投证券研究中心 图1.本周各行业涨跌幅统计 资料来源:Choice,国投证券研究中心 2.2.本周计算机个股表现 从涨跌幅情况来看,本周计算机板块整体表现一般。展望2024年,我们仍建议关注景气度向上的人工智能、数据要素、智能网联汽车和信创等产业的投资机会。 表2:本周计算机个股涨跌幅统计 周涨幅前十 周跌幅前十 周换手率前十 股票名称周涨跌幅(%) 股票名称周涨跌幅(%) 股票名称周换手率(%) 同为股份61.04% 左江科技-29.91% 智微智能73.56% 京北方11.57% 永信至诚-28.27% 左江科技55.06% 中科星图11.18% 迪威迅-27.14% 万集科技50.26% 中远海科9.94% 信息发展-19.04% 丝路视觉48.97% 网宿科技9.45% 致远互联-18.99% 信息发展48.15% 辰安科技9.30% 福昕软件-17.98% 荣科科技45.64% 道通科技9.01% 鸿泉物联-16.53% 真视通43.47% 捷安高科8.80% 信安世纪-16.50% 吉大正元41.67% 中控技术6.59% 佳华科技-16.42% 淳中科技40.97% 浪潮软件5.55% 威创股份-16.35% 浩丰科技40.84% 资料来源:Choice,国投证券研究中心 3.重要行业新闻 3.1.AI大数据应用 贾佳亚团队开发的多模态视觉语言模型(VLM)Mini-Gemini,因其出色的图文理解能力而备受关注,被誉为开源社区版的GPT-4与DALL-E3的结合体。该模型能够理解高清图像,并生成相应的图像或文本内容,甚至能够通过代码复现数学函数图像。Mini-Gemini在发布后迅 速登上PaperWithCode热榜,其能力在多个指标上与GeminiPro和GPT-4V相媲美。目前,该模型的代码、模型和数据已经全部开源,提供了从2B到34B不同规模的版本,以适应不同的应用需求。Mini-Gemini的线上Demo也已上线,用户可以直接与模型进行互动,体验其强大的图像理解和生成能力。(来源:新智元) 清华团队开发的「太极」AI光芯片采用全新分布式广度智能光计算架构,拥有亿级神经元的计算能力。「太极」芯片能处理接近人类智能水平的复杂任务,包括自主决策、复杂环境的导航等,这些通常是AGI研究中的关键挑战,可应用于自动驾驶、智能制造和高级机器人等。 「太极」芯片实现160TOPS/W的通用智能计算,能效是英伟达H100的1000倍。(来源:新智元) RekaAI团队,由前DeepMind、GoogleBrain和FAIR成员组成,发布了与GPT-4匹敌的多模态大模型RekaCore。RekaCore支持图像、视频和音频的混合输入,展现出比GeminiUltra更强的多模态性能。团队规模小但高效,由22人组成,成员多为远程办公,涵盖清华北航校 友参与在内的多元背景。(来源:智能涌现) 清华团队推出新平台:用去中心化AI打破算力荒。NetMind.AI推出去中心化计算平台NetMindPower,利用全球闲置算力,特别是GPU,通过P2P技术和动态分布式集群提供经济高效的AI算力。平台包括完整的AI生态系统,支持从模型训练到部署