大模型开源体系与智力运营

北京智源人工智能研究院大模型开源体系与智力运营黄铁军北京智源人工智能研究院北京大学计算机学院2023年6月9日 通用人工智能北京智源人工智能研究院专用人工智能：也称弱人工智能，是指完成特定智能任务或解决特定智能问题的人工智能。至今为止出现的人工智能都是弱人工智能（WeakAl）。·通用人工智能（ArtificialGeneralIntelligence，AGI，“人工通用智能”）：在人类智能所有方面都达到人类水平，能够自适应地应对外界环境挑战，完成人类能完成的所有任务的人工智能。亦称人类水平的人工智能(HumanLevelAl，自主人工智能：能够自适应地应对外界环境挑战的人工智能。自主人工智能可以类似动物智能，称为（特定）动物水平的直主人工智能，也可以与动物智能无关：称为非生物自主人工智能。?超人智能：在人类智能所有方面都已经超越人类的通用人工智能·强人工智能：通用人工智能和超级智能统都成为强人工智能2/3AAI 冯·诺伊曼1948大脑视觉系统本身的连接模式可能是（视觉）原理最简单的逻辑表达或定义，大脑最简单的完整模型就是大脑本身，任形式的简化描述都会使事情变得更复杂，而不是更简单。THEGENERALANDLOGICALTHEORYOFAUTOMATAHixonSymposium1948计算机与人脑..any attempt to describe it by the usual literary orformal-logical method may lead to something lessmanageable and moreinvolved......It ispossiblethattheconnectionpatternofthevisual brainitselfis the simplest logical expression or definition ofthis principle.1903-19571958年出版 中华设书报口瞭望人类能制造出“超级大脑”吗？2015年1月7日人类能制造出“超级大脑”吗？1.认识“意识2.“复制大脑”3.“图灵测试”4.“深度学习”5神经形态芯片6.忆阻器7.机器能否超越人类？“超级大脑”时代 fulifethepotentialtoflourish北京智源人工智能研究院oflikeneverbefore.News:AIBiotechNuclearClimatePartnerOrgs2015年1月2-5日在波多黎各举行，对与会专家对通用人工智能（AGI）出现时间进行现场调查，预测的中点时间是2045年起草公开信：迈向强大和有益人工智能的优先考量研究方案（AlOpenLetter：AnopenletteronmaximizingthesocietalbenefitsofAl）：1月4-5日（周末）首次发给与会者，1月11日公开，签署者除人工智能专家外，还包括霍金、马斯克等近万人5/3AAI OpenAI定位与目标：保持中立、通向AGIOpenAI定位：有别于大型企业和政府机构的中立研究机构目标：以通用人工智能（AGI）为最终目标，并保持开放合作确保通用人工智能（AGI），即一种高度自主且在大多数具有经追求人工智能最先进的形态并将研究结果向公众公开济价值的工作上超越人类的系统，将为全人类带来福让，2.不仅希望直接建造出安全的、符合共同利益的通用人工智能，而大型企业政府机构Ivuado且愿意帮助其它研究机构共同建造出这样的通用人工智能以达成日标使命，完全不产生技术垫所四大原则：完全不产生获益垫断o1.广泛造福社会：技术不可被用于损害人类或过度集中权力的事业，完全特合管世的价追现x2.关注长远安全问题：“不进行军备赛”，如其他与人类价值观相符、注重安全的项目*比OpenAI自有项目更易达到通用人工智能，OpenA承诺停止竞赛完全不会导致公众权力被压追xx转而协助该项目。xx3.引领技术研究：力求在通用人工智能的研究中保持技术领先地位，研究成果以公开为目标4、保持合作意愿：积极展开机构间合作、建立国际化开放社区、公开大韶分研究成果，诺期：X表示不能完全实现日标，0表系够完全实现目标微息来源：OpenA宫网，智源碍类就在不改变原感的需究下智净*：这个月在来来再年内就够成对异发遇用人工暂的器率通过一单6 OpenAI2015-2018：探索可能的AGI路径北京智源人工智能研究院OpenA研发在局OpenAI现觉/多模态语言语音蛋化学习多智能体技术（2021年7月解款）安全与可解科性GPU程&优化mageMuseatBoh20175测A更意使用2020002018.22017.1220122016.12GPUN造言和2018.52021.072020620277Rubik s Cube2019.10Safe2019.11DALL-E2EPT2022.2RoboSumo2017.1002017年7月，期款机器人图不够丰富”以及市成度较低,en2021.4信急来源：智源研究损据公开信及调开整理73AAI OpenAI2019：聚焦大模型ElonMusk离开CEO : Greg Brockrnan主要管理公司目标研究方内商业化机构性展SamAltman全职加入CoO : Brad LightcapElon MuskSam AltmanGreg BrockmanCTO : Mira MuratiIlya Sutskever非营利组织负责人：ChrisClarkHolden Karnofsky实现AGI(通用人工智韵)天马行空聚焦全部开源商业化非营利机构非营利+营利的混合体2018201920222015信息案源：OpenA信网.8 3AA1 北京市人工智能领域的新型研发机构北京智源人工智能研究院2018年11月14日，在科技部和北京市委市政府支持下，北京市科委和海淀区政府共同推动，智源研究院正式揭牌。智源愿景目标机制体制创新生态2018中国（北京）跨国技术转移大会按范国家新一代人工管发质规划总体部北京成为全球人工智部学术思想、基健理论营遇全球量佳的学术和股术创新生态，限动保究与目标导离相结合的科研保利。喝，聚焦原始倒新和板心接术，建立自由、顶尖人才、企业创新和发展政黄的源头，非先成为国际领先的人工智美创所中心北京智源人工智能研究院正式成立前沿突破产业发展支持科学家劳限人工智量科技的沿“无人推动人工暂等产业发厨和深富应用，改变人区”，英肤最基磁的问随和最关证的难实社会重活，促进人美、环境和智就的司持准动人工智能理论、方法、工具、系续和应用取得变革性、最覆性突鼓。续发低。五大源头学术思想基础理论尖人企业创新发展政第93AAI 新时代“集中力量办大事”科研组织模式一“悟道”大模型项目启动到成果发布不到半年3个月时间完成更新选代2020.102021.032021.062021.09组建团队发布我国首个超大规模信息发布超大规模智能模型“悟道2.0"发布“悟道"大模型开放平台、启动“悟道“研发智能模型"悟道1.0"实现多项国际领先的技术突破高效推理工具包等新升级功能悟道1.0中国首个100+0跨机构、大协同、大团队重大科研项目的快速组织、启动及推进机制 大模型研发及生态北京智源人工智能研究院"悟道2.0”大模型：我国首个、全球最大，2021年6月1.75z9元参数规模+任务领先DeepLearning.AlTHE BATCHBritaims real prottem悟道2.0婚道1.0影显出中国对人工智能的信心和能力不新增强，类似这监组心动( 2022.6.11)巨模型赖的项日可以遇制中国的人工智人才流失，This efort reflects Cina’ s growing confderce and capability in AL Suthambitious projects coulc also curb China’ s Al brain drain. ( 2021.4.14 , https由北索智源人工智能研究晚建立的万亿//www.deeplearning ai/the-batchtfissue-87 )参数模型增谱2.0脂创造的诗与据说非常出色。Stanford University过去一年，模型经历了从大到更大的发累历程，答歌用SwitchWu Dao—rre treated by the"EnligMen est' —a trillionsaesmd iterafien of2021年8月，斯坦Transformer拉开了2021年的序降，这是人类历更上首个拥有万亿级参parameter modal buit at the Bejirg福基础模型研究中数的模型，总量达1.6万亿，北京智源人工智能研究院则国激以包含1.75Acadey of ArtiialInteligence is said to be心单办的基础模型万亿参数的据道2.0，excellent.研对会：悟道2.0为典型代表Gocgle kicked otf 202L with Switch Trarsfcrmer, the first putlished work te exceeda trilion parameters, weighirg in at 1.6 tilion, Bejing Academy of ArtificialIntelligence upped the arte with Wu Dao 2.0, a 1.75 tilion-parameter behemoth. t但被视为全国冠军的是质道-2021.12.23 , httgs://rad.deepleaming ai/the-bat:h/issue-123 )But it is Wu Doe which is being treated as aBAMntienal chempionIVVE 人类认知空间人类语言空间GPT知识空间个人知识空间参数达到数百亿规模复杂系统涌现现象个人“融会贯通知识尚不可解释空间但是确实存在知识 大模型成为全球竞争热点北京智源人工智能研究院大炼模型炼大模型大炼大模型Megatron Turing-NLGPaLM国际Switch Transformer威震天-图灵微软研究院&英伟达LaMDA2Google/Google Florence00OPT微款前究院MetaGatoOpenAlDeepMindA121 LabsBLOOM2020.52021.1 2021.32021.4BigScience2021.62021.7大模型时代2021.8 2021.10 2021.112021.12 2022.42022.52022.7盘吉A）婚酒1.0盘古αBAAL情道2.0ERNIE3.0百a鹦城-百度·文心MA(ERNIE 3.0 Titan )PLUG245M6默东·太韧国内阿里达摩境阿里达摩院中科自动化所18 3AA1 冷静判断，竞争合作，加快建立人工智能开源开放生态北京智源人工智能研究院大炼模型，天炼大模型，一喷而上，碎片化资源浪费产严重·大模型·算法：从“竞相炼大模型”到“竞争算法创新?算力：建立智算中心，构建智算网络，打造基础设施。数据：开放数据扩大，专数据许可，平合数据共享，用户数据可控·基础软硬件：共建开源开放生态?芯片：竞争性能，提高性价比·软件：共建生态，走"LinuX+RISC-V"之路。适配：以合作促竞争，生态兴则产品兴19/3AAI 2021年6月人工智能基础模型及应用生态人工智能之争最终是生态之争人工智能生态包括基础软硬件、基础模型和创新应用三个层次基础模型是人工智能生态之“腰赋智经济基础模型向下带动基础软硬件发展，向上支撑智能应用百花齐放。我国智能应用具有独特优势，基础软硬件相对薄弱。社会各类应用支撑恰适以基础模型为桥梁，带动人工智能基础算法、云边端芯片和开人工智能源开放平台研发，构建自主可控的基础软硬件技术体系和汇融算力基础模型及数据资源的国家智算体系。带动打造人工智能基础