FerretUI提升交互能力，AI助力苹果开启升级新周期

Ferret UI通过任意分割UI界面实现全貌、细节捕捉，有望颠覆传统UI交互方式 Ferret-UI是一个为移动UI定做的大模型（MLLM），具备图片识别、定位和推理功能，有望通过整合于agent使用户直接交互操作手机，颠覆UI交互方式。Ferret UI建立于Ferret多模态模型基础上，通过图像编码器、空间感知的视觉采样器和语言模型（LLM）架构实现图片精准理解与定位，并集成了"any resolution"(任意分辨率)技术灵活适应各种屏幕纵横比并捕捉细节。通过基础、高级分级训练，Ferret UI得以具备基本的定位和理解U I组件能力以及进阶的AI交互推理能力。在与市场主流大模型的综合基准测试中，Ferret UI在除“查找文本”外的所有初级UI任务上超越了GPT-4V，在iPhone端高级U I任务的平均得分与GPT-4V非常相近，并具备一定的不同操作系统之间的迁移能力。 Ferret UI催化iPhone规模出货、有望驱动升级周期，AI手机拉动上游价值量提升 类比5G，AI因其软硬件要求带来较高硬件承接需求，现有手机配置或难以支持AI应用，2023年全球智能手机出货量下降背景下，AI的高需求或将引领新的换机热潮，催化iPhone出货提高；除此之外，AI将带来继功能手机向智能手机转变后最大的用户交互变革，显著改变市场规模，加快产品升级速度，手机市场格局快速变化下投资者或将面临AI驱动的iPhone新升级周期。同时AI手机对CPU、存储、无线通信、高频高速PCB等软硬件带来更高的要求，我们认为AI与手机结合将为上游产业注入新动能、推动潜在市场空间增长。 三星S24系列AI手机已获市场认可，看好苹果在AI手机领域的进展 在2023年手机市场下行的背景下，三星凭借“AI+手机”布局获得出货量增长。2024年1月三星率先推出S24系列AI手机，在通话、语音与文字翻译、写作与笔记等使用场景下通过“Galaxy AI”的助力，实现通话实时翻译、写作助手帮助使用者选择语言风格、笔记助手智能生成笔记、转录助手通过AI和语音进行文本转录总结以及首创的即圈即搜等实用功能。相较于上一季度，“AI大模型+手机”助力三星在2024年第一季度中出货由2023Q4的5310万台增长至6010万台，占据的市场份额由16.8%增长至20.8%，位次重回首位。我们认为AI与手机的结合受到市场与消费者的认可，Ferret UI与苹果iPhone系列手机的结合在未来将同样受到市场青睐；在此背景下，Ferret UI或助力苹果布局AI手机市场，我们看好苹果在AI手机领域的进展。 建议关注： 云端AI相关企业：寒武纪、海光信息（天风计算机覆盖）、龙芯中科、紫光国微、复旦微电、安路科技等。 边/终端AI相关企业：瑞芯微、晶晨股份、恒玄科技、全志科技、乐鑫科技、富瀚微、中科蓝讯、炬芯科技、兆易创新、中颖电子、芯海科技等。 存储相关企业：江波龙（天风计算机联合覆盖）、澜起科技、聚辰股份、北京君正、普冉股份、东芯股份、佰维存储等。 AI应用端相关企业：工业富联、大华股份、海康威视等。 风险提示：下游需求不如预期、库存去化不如预期、研发与技术升级不如预期、宏观环境变动带来的风险。 1.Ferret UI通过任意分割UI界面实现全貌、细节捕捉，有望颠覆传统UI交互方式 Ferret-UI是一个为AI手机定做的新大模型（MLLM），以Ferret多模型为基础。Ferret-UI吸收了Ferret模型在图像定位、理解上的优势，并在此基础上通过“任意分辨率”技术通过任意分割UI界面适应手机的各种横纵比并放大细节，做到将原有优势运用到手机UI上。 通过进行初级/高级的分级训练，Ferret-UI得以完成图标识别、文本搜索等基础任务乃至交互对话、功能推理等复杂任务。最终Ferret-U I能够较好的识别手机应用的界面。并将自然语言翻译为界面操作点。这意味着Ferret UI有望颠覆传统UI交互方式。 图1：FerretUI的功能 将Ferret UI与传统agent（如Siri）深入整合，用户预计可以直接通过与AI交互操作手机。Agent定义为以大模型为大脑驱动，能自动化执行完成复杂任务的系统。其基础架构可以简单划分为Agent=大模型+规划技能+记忆+工具使用，其中Ferret-UI扮演了Agent的“大脑”，在这个系统中提供推理、规划等能力。与广为人知的Chatgpt相比，Agent多了实际去做的行动能力。在苹果系统中Siri即为典型的agent，如果将Ferret UI功能整合在Siri上，用户就可以通过自然语言与手机交互控制手机系统和App的功能，如语音控制Siri直接打开外卖App下订单。 1.1.Ferret模型图像理解和定位方面优势显著，“任意分辨率”技术分割子图像深度理解手机UI Ferret模型能准确理解、定位并描述图像中的具体内容，无论这些内容呈现的形状和位置如何。在这个模型里，苹果提出了一个有着图像编码器、空间感知的视觉采样器和语言模型（LLM）的新架构。图像编码器处理图像输入，空间感知的视觉采样器采取类似处理3D点云的方法有效地提取不规则形状区域的视觉特征。二者通过结合区域的坐标信息和视觉采样获取的特征实现了一种混合区域表示方法，提高了对图像中不同形状区域的定位与理解能力。最终通过语言模型结合文本引用来理解、描述图像。用户可以基于画面中具体的区域与大模型展开更深入的对话。 图2：Ferret模型功能 图3：Ferret技术原理 “任意分辨率”技术实现UI界面全貌、细节捕捉，Ferret模型优势得以运用于手机。过往大模型因难以适应屏幕横纵比和细节不足问题难以理解手机UI。Ferret UI在Ferret模型基础上集成了“任意分辨率（any resolution）”技术来灵活适应各种屏幕纵横比、放大细节并利用增强的视觉特征。该技术加入了额外的细粒度图像特征，其原理是“用放大镜分别观察”：1）将UI界面分割成子图像，以更好地捕捉UI界面的细节特征。2）预训练过的图像编码器和投影层为整个屏幕和分割出来的所有子图像单独编码，并形成图像特征。 对于具有区域引用的文本，视觉采样器会生成相应的区域连续特征。3）最后统一被输入到大语言模型（LLM），LLM利用全图表示、子图表示、区域特征和文本嵌入来生成响应。 图4：UI屏幕和自然图像分辨率比较 图5：Ferret-UI-anyres架构 1.2.Ferret UI较市场主流大模型交互水平有较大提升，初级任务表现优异 FerretUI几乎所有初级任务超越GPT-4V，高级任务平均得分与GPT-4V非常相近。苹果的团队比较了Ferret-UI和GPT-4V在所有UI任务上的性能：1）简单任务中，无论安卓/苹果系统，除了“查找文本”任务，Ferret-UI在包括OCR（图标识别）、查找组件等的所有任务超过了GPT-4V。2）高级任务中，苹果系统下，在详细描述、感知对话、交互对话和功能推断任务Ferret-UI展现了与GPT-4V相当的性能，并且在详细描述、功能推断任务上超过了GPT-4V。值得注意的是，Ferret-UI的训练数据集不包含特定的安卓数据，但它在安卓平台的高级任务上仍表现出可观的性能，表明模型具有不同操作系统间的U I知识迁移能力。 图6：初级任务性能比较 图7：高级任务性能比较 2.Ferret UI有望驱动iPhone升级周期，引领规模出货 AI运用预计催化iPhone出货提高，换机潮下投资者或将面临AI驱动的iPhone新升级周期。AI技术带来的革新可类比于5G：1）需要硬件承接，引发换机潮。AI在硬软件对手机配置有了更高要求，现有手机配置或难支持AI使用。IDC数据显示2023年全球智能手机出货量同比下降3.2%，Canalys预测对于AI能力的需求有望刺激新一轮的换机潮，从而带动iPhone规模出货。2）带动新一轮升级周期。AI将带来继功能手机向智能手机转变后最大的用户交互变革，显著改变市场规模，加快升级速度。截至当地时间4月11日收盘，据科技记者Mark Gurman透露M4芯片重点提升AI能力后，苹果股价出现近来罕见的飙升，大幅收涨4.3%，市值一夜暴涨8113亿人民币。 图8：苹果AI技术递沿 “AI+手机”已获市场消费者认可，Ferret UI或将成为关键技术助推苹果布局AI手机市场。 AI成为手机行业“兵家必争”之地，三星等品牌已取得一定成绩。2024年1月，三星率先在新发布的S24系列手机中引入全新“Galaxy AI”功能，带来功能与用户体验的提升：1）在语音通话方面基于AI与原生通话应用程序，实现通话实时翻译；2）在短信写作等方面写作助手协助用户根据不同场景选择语言风格，同时AI翻译为使用者提供AI文本翻译支持； 3）在笔记方面，“Galaxy AI”的应用同样帮助三星笔记的笔记助手以及转录助手分别实现智能笔记摘要生成以及语音文本转换等功能；4）除此之外AI赋能下S24系列首创的“即圈即搜”功能以用户手势激发搜索功能，为在线搜索带来历史性的变革。IDC统计数据显示，相较于2023年第四季度，在“Galaxy AI”助力下，2024年Q1三星系列手机全球出货量由2023Q4的5310万部显著提升至6010万台，市场份额由16.8%上升至20.8%，排名重新上升至首位。以三星系列手机出货量的显著上升作为证明，AI模型与手机的结合获得了市场消费者的广泛认可，这表明Ferret UI与苹果iPhone系列手机的结合将同样受到市场青睐。 Ferret UI昭示了苹果对于iPhone手机高级交互控制的探索可能性，以及苹果对于重新定义AI时代手机的企图心。距离6月份的苹果WWDC开发者大会剩下不到2个月，看好苹果在AI手机领域的进展。 图9：IDC统计数据 AI手机对软硬件需求提高，换机潮有望带动相关上游产业进入增长新周期。AI与手机结合所带来的高需求覆盖手机的各个组成部分：1）计算方面AI手机的高算力要求推动CPU设计思路转向全大核方案；2）存储方面大模型对高速、大容量提出新需求；3）WiFi7等新技术的产生有望满足AI对于数据传输的较高要求，对于高频高速PCB的需求同样应运而生；4）而散热方面AI手机对电磁屏蔽以及散热的要求显著上升；5）AI与手机的结合对于电池续航与健康管理同样产生更高的要求。 以存储为例：1）存储有望从“价格”步入“价值”周期。2019-2023年存储经历了供过于求到超跌这一轮周期变化，以减产控产告终。看好AI技术应用激发存储潜能，走出传统价格周期进入新价值周期。2）存储涨价建立信心，为新周期做准备。根据闪存市场数据，NAND价值已有80%涨幅，DRAM价值相对底部也有超30%涨幅，预计国产模组产品涨价趋势年内具有较好持续性。3）AI模型本地化，更大的存储容量和带宽为大势所趋，同时考虑到数据安全问题，国产存储厂商重要性凸显。AI手机将为产业链注入增长新动能，推动潜在市场空间增长。 图10：AI手机新要求 图11：存储“价值”新周期 3.建议关注 云端AI相关企业：寒武纪、海光信息（天风计算机覆盖）、龙芯中科、紫光国微、复旦微电、安路科技等。 边/终端AI相关企业：瑞芯微、晶晨股份、恒玄科技、全志科技、乐鑫科技、富瀚微、中科蓝讯、炬芯科技、兆易创新、中颖电子、芯海科技等。 存储相关企业：江波龙（天风计算机联合覆盖）、澜起科技、聚辰股份、北京君正、普冉股份、东芯股份、佰维存储等。 AI应用端相关企业：工业富联、大华股份、海康威视等。 4.相关风险 下游需求不如预期：下游市场需求如发生重大不利变化，或影响产品推广使市场规模下滑。 库存去化不如预期：如出现不可预测的市场需求的较大变化，导致市场需求出现下降，则可能出现一定的存货风险。 研发与技术升级不如预期：随着产品换代、技术升级、用户需求和市场竞争状况不断演变，AI相关产品研发及技术更新换代不如预期或影响整体产业发展。