大模型开源体系与智力运营

北京智源人工智能研究院 大模型开源体系与智力运营 黄铁军 北京智源人工智能研究院北京大学计算机学院 2023年6月9日 通用人工智能北京智源人工智能研究院 专用人工智能：也称弱人工智能，是指完成特定智能任务或解决特定智能问题的 人工智能。至今为止出现的人工智能都是弱人工智能（WeakAl）。 ·通用人工智能（ArtificialGeneralIntelligence，AGI，“人工通用智能”）：在 人类智能所有方面都达到人类水平，能够自适应地应对外界环境挑战，完成人类 能完成的所有任务的人工智能。亦称人类水平的人工智能(HumanLevelAl ，自主人工智能：能够自适应地应对外界环境挑战的人工智能。自主人工智能可以类似动物智能，称为（特定）动物水平的直主人工智能，也可以与动物智能无关：称为非生物自主人工智能。 ?超人智能：在人类智能所有方面都已经超越人类的通用人工智能 ·强人工智能：通用人工智能和超级智能统都成为强人工智能 2/3AAI 冯·诺伊曼1948 大脑视觉系统本身的连接模式可能是（视觉）原理最简单的逻辑表达或定义，大脑最简单的完整模型就是大脑本身，任形式的简化描述都会使事情变得更复杂，而不是更简单。 THEGENERALANDLOGICALTHEORYOFAUTOMATA HixonSymposium1948 ..anyattempttodescribeitbytheusualliteraryor formal-logicalmethodmayleadtosomethinglessmanageableandmoreinvolved.Itispossible thattheconnectionpatternofthevisualbrainitself isthesimplestlogicalexpressionordefinitionof thisprinciple. 计算机与人脑 1903-1957 1958年出版 中华设书报口瞭望人类能制造出“超级大脑”吗？ 2015年1月7日 人类能制造出“超级大脑”吗？ 1.认识“意识 2.“复制大脑” 3.“图灵测试” 4.“深度学习” 5神经形态芯片 6.忆阻器 7.机器能否超越人类？ “超级大脑”时代 fulioffe thepotentialtoflourish北京智源人工智能研究院 likeneverbefore. News:AIBiotechNuclearClimatePartnerOrgs 2015年1月2-5日在波多黎各举行，对与会专家对通用人工智能（AGI）出现时间进行现场调查，预测的中点时间是2045年 起草公开信：迈向强大和有益人工智能的优先考量研究方案（AlOpenLetter：Anopen letteronmaximizingthesocietalbenefitsofAl）：1月4-5日（周末）首次发给与会者，1月 11日公开，签署者除人工智能专家外，还包括霍金、马斯克等近万人 5/3AAI OpenAI定位与目标：保持中立、通向AGIOpenAI 定位：有别于大型企业和政府机构的中立研究机构目标：以通用人工智能（AGI）为最终目标，并保持开放合作 确保通用人工智能（AGI），即一种高度自主且在大多数具有经 追求人工智能最先进的形态并将研究结果向公众公开济价值的工作上超越人类的系统，将为全人类带来福让， 日标 大型企业 政府机构Ivuado 完全不产生技术垫所 完全不产生获益垫断 o 完全特合管世的价追现 完全不会导致公众权力被压追 xx x 2.不仅希望直接建造出安全的、符合共同利益的通用人工智能，而且愿意帮助其它研究机构共同建造出这样的通用人工智能以达成 使命， 四大原则： 1.广泛造福社会：技术不可被用于损害人类或过度集中权力的事业， 2.关注长远安全问题：“不进行军备赛”，如其他与人类价值观相符、注重安全 的项目*比OpenAI自有项目更易达到通用人工智能，OpenA承诺停止竞赛转而协助该项目。 xx 3.引领技术研究：力求在通用人工智能的研究中保持技术领先地位， 研究成果以公开为目标4、保持合作意愿：积极展开机构间合作、建立国际化开放社区、公开大韶分研究 成果， 诺期：X表示不能完全实现日标，0表系够完全实现目标 微息来源：OpenA宫网，智源碍类就在不改变原感的需究下智净 *：这个月在来来再年内就够成对异发遇用人工暂的器率通过一单 6 OpenAI2015-2018：探索可能的AGI路径北京智源人工智能研究院 OpenA研发在局 OpenAI 现觉/多模态语言语音蛋化学习多智能体技术（2021年7月解款）安全与可解科性GPU程&优化 MuseatBoh mage 测A更意使用 202000 20175 2018.22017.12 20122016.12 GPUN造言和 2018.5 2021.07 2020620277 RubiksCube2019.10 Safe 2019.11 DALL-E2 2022.2 EPT RoboSumo2017.100 2017年7月，期款机器人图 不够丰富”以及市成度 较低, en 2021.4 信急来源：智源研究损据公开信及调开整理73AAI OpenAI2019：聚焦大模型 ElonMusk离开 CEO:GregBrockrnan ElonMuskSamAltman SamAltman全职加入 CoO:BradLightcap GregBrockmanCTO:MiraMurati IlyaSutskever非营利组织负责人：ChrisClark HoldenKarnofsky 实现AGI(通用人工智韵) 天马行空聚焦 全部开源商业化 非营利机构非营利+营利的混合体 主要管理公司目标研究方内商业化机构性展 2015 201820192022 信息案源：OpenA信网.83AA1 北京市人工智能领域的新型研发机构北京智源人工智能研究院 2018年11月14日，在科技部和北京市委市政府支持下，北京市科委和海淀区政府 共同推动，智源研究院正式揭牌。 智源愿景目标 机制体制创新生态 2018中国（北京）跨国技术转移大会 按范国家新一代人工管发质规划总体部 喝，聚焦原始倒新和板心接术，建立自由 保究与目标导离相结合的科研保利。 北京智源人工智能研究院正式成立 营遇全球量佳的学术和股术创新生态，限动北京成为全球人工智部学术思想、基健理论 、顶尖人才、企业创新和发展政黄的源头， 非先成为国际领先的人工智美创所中心 前沿突破产业发展 支持科学家劳限人工智量科技的沿“无人推动人工暂等产业发厨和深富应用，改变人区”，英肤最基磁的问随和最关证的难实社会重活，促进人美、环境和智就的司持 准动人工智能理论、方法、工具、系续和 应用取得变革性、最覆性突鼓。 五大源头 续发低。 学术思想基础理论尖人企业创新发展政第 93AAI 新时代“集中力量办大事”科研组织模式一“悟道”大模型 项目启动到成果发布不到半年 3个月时间完成更新选代 2020.10 2021.03 2021.06 2021.09 组建团队 发布我国首个超大规模信息 发布超大规模智能模型“悟道2.0" 发布“悟道"大模型开放平台、 启动“悟道“研发 智能模型"悟道1.0" 实现多项国际领先的技术突破 高效推理工具包等新升级功能 悟道1.0中国首个 100+0 跨机构、大协同、大团队重大科研项目的快速组织、启动及推进机制 大模型研发及生态北京智源人工智能研究院 "悟道2.0”大模型：我国首个、全球最大，2021年6月 1.75z 参数规模 +9元 任务领先 DeepLearning.Al THEBATCHBritaimsrealprottem 悟道2.0婚道1.0影显出中国对人工智能的信心和能力不新增强，类似这监组心动(2022.6.11) 巨模型赖的项日可以遇制中国的人工智人才流失， ThisefortreflectsCina’sgrowingconfderceandcapabilityinALSuth ambitiousprojectscoulcalsocurbChina’sAlbraindrain.(2021.4.14,https 由北索智源人工智能研究晚建立的万亿 //www.deeplearningai/the-batchtfissue-87)参数模型增谱2.0脂创造的诗与据说非 常出色。 rretreatedbythesaesmditerafienof StanfordUniversity 2021年8月，斯坦过去一年，模型经历了从大到更大的发累历程，答歌用SwitchWuDao— "EnligMenest'—atrillion 福基础模型研究中心单办的基础模型 研对会：悟道2.0为 Transformer拉开了2021年的序降，这是人类历更上首个拥有万亿级参parametermodalbuitattheBejirg 数的模型，总量达1.6万亿，北京智源人工智能研究院则国激以包含1.75AcadeyofArtiialInteligenceissaidtobe excellent. 万亿参数的据道2.0， Gocglekickedotf202LwithSwitchTrarsfcrmer,thefirstputlishedworkteexceed 典型代表 - atrilionparameters,weighirginat1.6tilion,BejingAcademyofArtificial IntelligenceuppedtheartewithWuDao2.0,a1.75tilion-parameterbehemoth.t2021.12.23,httgs://rad.deepleamingai/the-bat:h/issue-123) 但被视为全国冠军的是质道 ButitisWuDoewhichisbeingtreatedasa BAMntienalchempion IVVE 人类认知空间 人类语言空间 GPT知识空间 个人知识空间 参数达到数百亿规模复杂系统涌现现象 个人“融会贯通 空间 知识尚不可解释 但是确实存在知识 大模型成为全球竞争热点北京智源人工智能研究院 大炼模型炼大模型大炼大模型 国际 MegatronTuring-NLG 威震天-图灵 SwitchTransformer PaLM LaMDA2 Google 微软研究院&英伟达 /Google OPT Florence00 微款前究院 Meta Gato OpenAlDeepMind BLOOM A121Labs BigScience 2020.52021.12021.32021.4 盘吉 2021.62021.7大模型时代 2021.82021.102021.112021.122022.42022.52022.7 A）婚酒1.0盘古αBAAL情道2.0E百RNIE3.0 a鹦城-百度·文心 MA(ERNIE3.0Titan) PLUG 245 M6默东·太韧 国内阿里达摩境阿里达摩院中科自动化所 183AA1 冷静判断，竞争合作，加快建立人工智能开源开放生态北京智源人工智能研究院 大炼模型，天炼大模型，一喷而上，碎片化资源浪费产严重 ·大模型 ·算法：从“竞相炼大模型”到“竞争算法创新 ?算力：建立智算中心，构建智算网络，打造基础设施 。数据：开放数据扩大，专数据许可，平合数据共享，用户数据可控 ·基础软硬件：共建开源开放生态 ?芯片：竞争性能，提高性价比 ·软件：共建生态，走"LinuX+RISC-V"之路 。适配：以合作促竞争，生态兴则产品兴 19/3AAI 人工智能基础模型及应用生态 人工智能之争最终是生态之争 2021年6月 人工智能生态包括基础软硬件、基础模型和创新应用三个层次基础模型是人工智能生态之“腰 基础模型向下带动基础软硬件发展，向上支撑智能应用百花齐放。 赋智经济 我国智能应用具有独特优势，基础软