大模型时代：智能设计的机遇和挑战

大模型时代：智能设计的机遇与挑战 大模型时代：智能设计的机遇与挑战报告 2023.06.01 目录 设计范式的迁移 大模型时代到来 设计能力的跃升 链接能力整合能力拓展能力 设计实践的重塑 职业技能设计品质行业机会 2 设计范式的迁移 大模型时代到来 人工智能作为新一轮产业变革的核心驱动力，将进一步释放历次科技革命和产业变革积蓄的巨大能量。 ——国务院，《新一代人工智能发展规划》 3 设计范式的迁移 01 经典设计 02 设计思维 03 计算设计 在数千年经验的沉淀与工业革命的推动下，设计师开始为更广泛的消费者设计产品。 在商业模式的发展和个体消费需求的增长趋势下，设计师从同理心出发解决设计问题。 在摩尔定律和数据型科学范式的影响下，设计师用智能算法和工具软件解决设计问题。 经验观察手工技艺 设计原则理论方法 智能算法工具软件 注重实用性和美感 以设计师自身感受为基础，发挥个体设计才华，结果受设计师的经验、审美等因素影响。 注重用户需求满足 以用户需求为导向，强调以人为中心的设计，解决定义不清晰的复杂设计问题。 注重个性化与批量化生成 以计算机为媒介，利用数字化和信息化技术提升效率，支持设计结果的重用与扩展。 来源：JohnMaeda，DesignInTechReport2017 设计范式的迁移4 人类知识空间 人类世界的信息和智慧的总体，涵盖人类对宇宙、自然、社会与人类自身的全部认知。 设计知识空间 设计领域的理论和实践的总体，包括设计的规律、技法、原则、方法和工具等。 经验观察/手工技艺设计原则/理论方法智能算法/工具软件 … 设计范式的迁移5 04 智能设计 人类知识空间 人类世界的信息和智慧的总体，涵盖人类对宇宙、自然、社会与人类自身的全部认知。 设计知识空间 设计领域的理论和实践的总体，包括设计的规律、技法、原则、方法和工具等。 在大模型的推动下，设计师使用模型调用设计理论和实践经验等知识，在人机协作中完成设计任务。 模型知识空间 设计领域知识的子集，特指利用大模型封装的设计理论和实践经验等知识。 个人知识空间 个人在学习、生活、工作中所获取的知识，受个人经历等因素的影响。 设计范式的迁移6 设计范式的迁移 01 经典设计 02 设计思维 03 计算设计 04 智能设计 经验观察手工技艺 设计原则理论方法 智能算法工具软件 模型知识 在数千年经验的沉淀与工业革命的推动下，设计师开始为更广泛的消费者设计产品。 在商业模式的发展和个体消费需求的增长趋势下，设计师从同理心出发解决设计问题。 在摩尔定律和数据型科学范式的影响下，设计师用智能算法和工具软件解决设计问题。 在大模型的推动下，设计师使用模型调用设计理论和实践经验等知识，在人机协作中完成设计任务。 来源：JohnMaeda，DesignInTechReport2017 设计范式的迁移7 设计能力的跃升 链接能力/整合能力/拓展能力 在21世纪，我们将见证的不仅仅是100年的发展，而更像是20,000年的进步。 Wewon’texperience100yearsofprogressinthe21stcentury—itwillbemorelike20,000yearsofprogress. ——雷·库兹韦尔：《加速回报定律》，2001RayKurzweil,TheLawofAcceleratingReturns,2001 设计能力的跃升8 设计能力的跃升 链接能力 链接设计师与模型知识 大模型能为设计师提供更全面和准确的知识支持，帮助设计师使用理论和实践经验，加速设计流程，提高设计质量。 链接设计师与非设计师 大模型能将设计知识转换成图像等更形象的媒介，帮助跨职能人员之间的设计理解，促进团队的协作沟通。 全人类知识空间 设计知识空间 链接能力9 加速创意迭代 #行业实践 链接 /设计师与模型知识/ 设计博主CodexCommunity运用人工智能内容生成（AIGC）工具推进鞋类网页设计的创意迭代。该博主采用ChatGPT编写创意方案，并将该创意方案作为文字提示输入到Midjourney中，进而获得多样化的鞋类设计网页，快速完成创意设计。 设计师需要学习大量抽象的设计知识，并不断在实践中转化为设计能力，进而运用在设计任务中。 大模型将抽象的知识以文本、图像、视频等形象化方式呈现，支持设计师在设计任务中快速使用。 加速工作流推进#解决方案 Kaedim平台支持由图片引导的快速和高清化3D模型生成。该功能使设计师能够更加迅速地将创意转化为3D模型，从而进行实时的视觉评估与改进。这种工作流显著提升了设计的迭代速度，能帮助设计师更快地实现设计目标。 来源：CodexCommunity;Kaedim3d 链接能力10 链接 /设计师与非设计师/ 赋能跨职能团队协作#解决方案 DoraAI是一个无代码网站构建平台，借助AI生成技术，平台可以通过文本快速生成可编辑、可交互的网站，也可以方便地创建网页交互动画。这能够降低跨职能设计团队成员间的沟通成本，加快网页设计迭代和反馈的循环，提升设计师与前端开发人员间的协作效率。 由于设计师与非设计人员对设计概念、设计语言以及设计实践的理解不同，彼此间的沟通与协作非常困难。 借助大模型形象化的生成能力，不同领域的抽象知识得以形象化呈现，实现设计师与非设计人员间的高效链接。 推动团队转型升级#行业实践 麦肯锡的研究报告显示，协作性更强的跨职能团队将为公司带来更高的业绩提升，推动业务的可持续发展。通过积极拥抱AIGC，原有设计团队可以充分利用智能设计工具和外部设计供应链，从单一的设计职能团队转变为综合能力更强的复合型团队，从而促进业务创新。 来源：DoraAI;McKinsey,Redesigningthedesigndepartment,2022 链接能力11 设计能力的跃升 整合能力 整合跨学科设计知识 大模型可以整合跨学科的设计知识，为设计师提供更全面和深入的支持，帮助他们在设计中更高效地运用跨领域知识。 整合跨领域设计流程 大模型能够根据设计师所提供的需求与约束，整合跨领域的设计流程，帮助设计师 生成兼具创意和实用性的设计方案。 全人类知识空间 设计知识空间 整合能力12 整合 /跨学科设计知识/ 不同学科的知识以各自独立的形式存在，难以作为统一的设计资产得到有机整合，难以被设计师灵活地使用。 整合跨模态设计资产#行业实践 Opus.ai是一款通过自然语言构建3D可交互场景的工具。该工具可以整合创建3D场景所需的模型、纹理等资产，并以用户输入的文本需求为驱动，逐步 完善3D游戏场景。在设计过程中，用户提供的设计资产越丰富，输入的文本描述越精准，最终得到的场景细节也越完善。 Ando是Figma中的一款插件，被誉为设计师的AICopilot。该插件能够协助设计师整合现有的设计需求、参考图像与元素形状等设计资产，启发设计师关于界面设计的创意，支持设计师通过文本描述设计目标得到设计参考。 推动跨领域知识融合#解决方案 大模型具备了整合跨领域知识的能力，帮助设计师在各类设计任务中更高效、更全面地查询、使用跨学科知识。 大模型的出现为推动跨学科知识融合提供了新的机遇。例如在仿生设计中，大模型可以整合生物学、工程学与设计学的知识，得到融合了蝴蝶元素的机械式座椅。 来源：Opus.ai;Ando 整合能力13 整合 /跨领域设计流程/ 统一跨应用设计元素#行业实践 ， 造物云在生成式大模型的助力下，将商品摄影、宣传视频、营销文案中的设计元素统一成了人、货、场三大类别，发布了AIGC+3D融合的设计辅助创作平台。该平台可以帮助品牌、电商、设计公司低成本、高质量地创作海量商品营销内容实现从“内容即服务”到“模型即服务”的模式创新。 UI设计、产品设计、建筑设计等垂直领域的概念设计流程大相径庭。跨领域设计需要掌握不同的设计流程。 在大模型时代下，跨领域设计流程逐渐整合为“想法表达->模型生成->手工微调->成品导出”的过程。 统筹跨模态设计任务#学术前沿 ImageBind是由Meta的研究人员推出的一项技术，能够统筹多种模态的设计任务。该技术整合了文本、图片、音频、深度图、热力图和IMU数据等六种不同的设计资源，以应对如“音乐+图像->视频”的跨模态设计任务。在该模型的支持下，面向不同形式任务的设计流程可实现共融共通。 来源：造物云;MetaAIResearch 整合能力14 设计能力的跃升 拓展能力 拓展大模型的知识界限 大模型本身具备巨大的潜力，设计师可以通过特定领域的设计数据对大模型进行微调以拓展模型的知识界限。 全人类知识空间设计知识空间 拓展设计师的能力边界 大模型在设计师不擅长的领域为其提供知识支持，拓展其能力边界，在协作中帮助设计师创造更出色和复杂的设计作品。 拓展能力15 拓展 /大模型的知识界限/ 模型的能力受限于所用的训练数据和方法，拓展模型适配于其他领域的数据标注和训练成本十分高昂。 只需给予简单的提示，大模型就能迅速地理解并将已有预训练知识快速迁移到对应的领域中。 针对特定对象的知识迁移#行业实践 天猫设计师基于LoRA模型，利用极少的舞台空间设计图对图像生成大模型进行微调，使其具备了设计舞台空间的能力。在拓展模型知识界限的基础上，通过输入不同需求的文本描述，设计师就能利用大模型对不同的舞台风格进行概念设计。 针对下游任务的模型适配#行业实践 网易严选的设计师利用Midjourney平台，以文本关键词的引导方式，将文生图模型运用到了多种下游设计任务中。网易严选在实际设计业务中的应用探索包括生成品牌调性图、商品氛围图、材质特写图、商用版权图、产品设计图以及服饰模特换装图等。 来源：AlibabaDesign;网易严选创新设计中心 拓展能力16 拓展 /设计师的能力边界/ 不同领域间存在知识壁垒，导致设计师难以利用不同领域的知识，解决不熟悉领域的设计问题。 模型能够整合海量多领域的知识，拓展设计师的能力边界，支持跨领域复杂设计问题的解决。 设计结果的多模态转换#解决方案 由Denis等人制作的Figma插件parallax，能够利用AI技术以3D视角排列平面设计图中各个图层内的设计元素，让设计师轻松地得到视差动画效果， 并进一步将其换为HTML、SVG、GIF和WebM等不同格式的设计产出。 设计实践的多维度赋能#解决方案 Adobe在多个软件中加入了AIGC工具，实现了在设计实践中对平面设计师的全面赋能。全新的能力包括一键内容删除和填充、一键更换场景、图像边界拓展、快速渲染3D白模、基于文本生成矢量花型图片等。 设计流程的多链路串联#行业实践 腾讯CDC体验设计团队利用ChatGPT，分析总结受众的需求关键词，并在StableDiffusion等方法支持下生成运营效果图像。在大模型工具的赋能下， 设计师能更高效高质地串联内容策略定制、文本描述生成、图文内容应用等设计流程。 来源：Figma插件parallax;AdobeFirefly;腾讯CDC体验设计 拓展能力17 设计实践的重塑 职业技能/设计品质/行业机会 我们总是高估未来两年的技术改变，但低估未来十年的技术影响。 Wealwaysoverestimatethechangethatwilloccurinthenexttwoyearsbutunderestimatethenextten. ——比尔·盖茨 BillGates 设计实践的重塑18 挑战：职业技能 服装设计工作的优化#行业实践 智能水平提升，机械劳动取代 西湖心辰和知衣科技联合推出了一款面向服装设计行业的AI大模型FashionDiffusion。只需用户选择款式、颜色、材质等选项，即可在10秒内生成服装在模特身上的实穿效果图。通过对服装行业专业数据的