1|㣐垷㘗㸝Ⰼ崨鸑䎂〵䋑㖞⾊㉁霉⠮-䴓潇僤莽 湡䔶 1.灇瑕薴㔵㹁⛐1 2.㣐垷㘗㸝Ⰼ崨鸑䎂〵䋑㖞ⴔ區4 3.⾊㉁霉⠮䴓潇僤莽8 4.Ⰶ鷥霆⛼14 Ⱒ✵昶ⴔ區15 灇瑕♸ㅐ霧剪⸉16 岁䖒㡮僈17 3|㣐垷㘗㸝Ⰼ崨鸑䎂〵䋑㖞⾊㉁霉⠮-䴓潇僤莽 灇瑕薴㔵㹁⛐ 1.灇瑕薴㔵㹁⛐ 㣐垷㘗僽䭷鸑鵂㖈嵳ꆀ侨䰘♳⣜䩯䔂㣐皾⸂餴彂鵳遤雲絅た腊模䧭㣐ꆀ♶ず♴康⟣⸉涸垷㘗կ2023䎃⟄勻ChatGPT䒸旘Ⰼ椕㣐垷㘗䋑㖞կ㕂ⰻ⠍㢴㣐垷㘗⯓たⰖ崵⠍㢴✽翫緸곭ⱙ罏䫏魧㣐垷㘗 ✲⚌⢪䖤㣐垷㘗䋑㖞鵳Ⰶ涰㔙㣐䧶媯2023䎃䧭⚹Ⱆ雩涸㣐垷㘗⯋䎃կ ⟱⚌欽䨪倰㣐垷㘗涸䎾欽鸟䏞⛓䘯馄⛖䟝韌կ2023䎃ⴲ⟱⚌盗椚㽻㼆㣐垷㘗涸霢곿鵮⨢殆㖈㣐垷㘗僽➊⛎僽♶僽嚋䙁拯⡲կ瀊瀊⼱䎃㣐垷㘗䊺絑➢껎た靍餴饥ぢ衅㖑䎾欽կ㣐⟱⚌盗椚㽻 ⟌䋞劅✫鍒ⵌ㣐垷㘗腊⚹⟱⚌〄㾝䌄勻ㆭ❈」ꬠ㣐垷㘗涸䎾欽騟䖈僽➊⛎㥵⡦䲿⼮㣐垷㘗涸䫏餴㔐䫣桧⟄⿺䎾霪⚹䭆䫵㣐垷㘗⨞ㆭ❈ⲥ㢊կ罜⚂㣐垷㘗エ䒸涸➃纈⛲䠁〄䎛岌♶➑エ䒸CIOծCTO瘝䪮助盗椚罏涸Ⱒ岤CEOծCMO瘝ꬋ䪮助碫盗椚罏ず呋劍䖉㣐垷㘗㖈⚌⸉务〄䮦⟟⧩կ鵯❈鲮」邍僈㣐垷㘗涸」ꬠ⛓⸂姻傈渤䖤ⵌ❡⚌歲涸雩〳կ 鸑鵂㼆䋑㖞錞垷侨䰘涸ⴔ區腊鳅⚹湬錜㖑⡤梡ⴀ⟱⚌㼆㣐垷㘗䎾欽衅㖑涸掚䞔կ昶ⴔ區侨䰘儑爙2023䎃务㕂㣐垷㘗䋑㖞錞垷紨⚹50➉⯋➃字䋏♴ずկ2023䎃⟱⚌㖈㣐垷㘗倰涸ꅷ餝暵挿僽雿霆㢴ծꅷ餝㼱ぐ⟱⚌雦够㖈2024䎃䒓㨤㣐ꆀꅺ佞㣐垷㘗곫皾㔔姼䋑㖞錞垷㼜㣐䌴㟞곫雦鴪ⵌ120➉⯋կ 昶ⴔ區雩⚹㣐垷㘗䋑㖞➢䪮助卹匬錭䏞〳⟄够ⴔ⚹㛇炄㽻ծ垷㘗㽻ծ务ꢂ㽻ㄤ䎾欽㽻կ㛇炄㽻僽䭷⚹㣐垷㘗雲絅䲀椚罜䲿⣘涸㛇炄梠㞯⺫䭍廩➩♧⡤ծぢꆀ侨䰘䎽ծ兰皾务䗱ծ㣐垷㘗㸝Ⰼ崨鸑䎂〵瘝կ垷㘗㽻僽䭷㛇炄㣐垷㘗⟄⿺䗎靈た涸㣐垷㘗⺫䭍鸑欽㣐垷㘗ծ遤⚌㣐垷㘗ծ곭㚖㣐垷㘗ㄤ⟱⚌㣐垷㘗կ务ꢂ㽻僽垷㘗㽻ㄤ䎾欽㽻⛓ꢂ涸咕咿剣ⵄ✵㣐垷㘗㖈ぐ猫㹊꣢㖞兞䘯鸟衅㖑 ⺫䭍㣐垷㘗䎾欽䒓〄䊨ⰨծLLMOps䊨Ⱘ瘝կ䎾欽㽻僽䭷㣐垷㘗䎾欽ㄤ鍒Ɀ倰呩⺫䭍濼霋䎽瘷ծ兰腊㹐剪ծ侨䰘ⴔ區瘝կ㣐垷㘗䋑㖞够ⴔ霫錛♴㕃կ 劥霉⠮䫣デ翸送㣐垷㘗㸝Ⰼ崨鸑䎂〵䋑㖞昶ⴔ區黺鷥ⴀⰨ㢊䧭擿鍒Ɀ倰呩ㄤ䧭⸆呩⢾涸⾊㉁⣘ ⟱⚌⨞⾊㉁鷥㘗傞䲿⣘罌կず傞㖈霪䋑㖞♴昶ⴔ區ꅾ挿鷥》✫㣐垷㘗㸝Ⰼ崨鸑䎂〵⾊㉁䴓潇僤莽鵳遤腊⸂霉⠮կ 3|㣐垷㘗㸝Ⰼ崨鸑䎂〵䋑㖞⾊㉁霉⠮-䴓潇僤莽 㣐垷㘗㸝Ⰼ崨鸑䎂〵 䋑㖞ⴔ區 2.㣐垷㘗㸝Ⰼ崨鸑䎂〵䋑㖞ⴔ區 䋑㖞㹁⛐ 㣐垷㘗㸝Ⰼ崨鸑䎂〵僽䭷銻渷㣐垷㘗䒓〄⿺䎾欽Ⰼ崨玐㼆侨䰘ծ垷㘗ծ侨䲿⣘㸝Ⰼ䫡⚹㣐垷㘗欰䙖涸㢴倰♸罏䲿⣘ⵄ渤ⴔꂁ佅䭯涸䎂〵կ 歌倰絊畮欽䨪 ⟱⚌㣐侨䰘鿈꡶ㄤ⚌⸉鿈꡶ծ㣐垷㘗⾊㉁ծ㣐垷㘗䎾欽⾊㉁ 歌倰呍䗱宠 ⟱⚌㼆㣐垷㘗㸝Ⰼ崨鸑䎂〵涸宠⡤梡㖈Ⰼ崨玐㸝Ⰼծⵄ渤ⴔ碫佅䭯ㄤ⟟⧩⡤禹♲⚡倰կ♧僽⟱⚌銳㣐垷㘗㸝Ⰼ崨鸑䎂〵銻渷㣐垷㘗䒓〄⿺䎾欽Ⰼ崨玐㼆侨䰘ծ垷㘗ծ侨䲿⣘㸝Ⰼ䫡կ✳僽⟱⚌銳㣐垷㘗㸝Ⰼ崨鸑䎂〵⚹ⵄ渤ⴔꂁ䲿⣘佅䭯կ♲僽⟱⚌銳ꢞ僈㣐垷㘗崨鸑䎂〵⟟⧩⤛鵳㣐垷㘗欰䙖ぐ倰鴪䧭ざ⡲կ ⟱⚌銳㣐垷㘗㸝Ⰼ崨鸑䎂〵銻渷㣐垷㘗䒓〄⿺䎾欽Ⰼ崨玐㼆侨䰘ծ垷㘗ծ侨䲿⣘㸝Ⰼ䫡կ㣐垷㘗雲絅⿺䎾欽Ⰼ崨玐〳㣐荝ⴔ⚹侨䰘屛椚ծ곫雲絅ծ䗎靈ծ䎾欽㔋⚡梠蒜嫦⚡梠蒜㖲剣㸝Ⰼ宠կⰌ崨玐㸝Ⰼ僽㣐垷㘗⿺Ⱖ銳稇넞佪崨鸑涸䗳銳勵⟝⛓♧կ 图1大模型开发及应用全流程 㣐垷㘗䒓〄⿺䎾欽Ⰼ崨玐⚺銳覆⿺⟱⚌㣐侨䰘鿈꡶ծ㣐垷㘗⾊㉁ծ㣐垷㘗䎾欽⾊㉁ծ⟱⚌⚌⸉ 鿈꡶瘝㔋碫♸⚺⡤կ㸐⟌㖈ざ⡲鵂玐务銳鍒Ɀ⥌⟣⿺ꥧ猙㸝Ⰼ⥂䫡곿կ⟱⚌㣐侨䰘鿈꡶ ⚰侨䰘鄄⢪欽鵂玐务涸ぐ碫♶㸝Ⰼ㔔稇կ㣐垷㘗⾊㉁⚰㛇炄垷㘗❡勉鄄瑷》굥ꤗ暵ⵆ僽 㼆✵ⴲ⟱⚌罜鎊㣐垷㘗僽Ⱆ涸呍䗱餴❡կ㣐垷㘗䎾欽⾊㉁⚰侨䰘〳鍘鴪䚍⟄⿺靈⠏䧭卓麰㣟굥ꤗկ⟱⚌⚌⸉鿈꡶Ⱒ禹呍䗱⚌⸉侨䰘涸屧怩굥ꤗկ ⟱⚌銳㣐垷㘗㸝Ⰼ崨鸑䎂〵⚹ⵄ渤ⴔꂁ䲿⣘佅䭯կ㣐垷㘗䒓〄⿺䎾欽鵂玐务䌢⚰ⵄ渤ⴔꂁ㔮㞯⚺銳㖈✵ꦼ⟄邂ꆀぐ倰餑柄桧կ㥵卓剣ざ椚涸ⵄ渤ⴔꂁ劼ⵖ㣐垷㘗欰䙖涸ぐ♸倰腊㢿鴪䧭刿⸈넞佪⚂㸝Ⰼ㖑⼸⡲⸈䘯䲀⸓㣐垷㘗涸䪮助鵳姿ㄤ❡⚌衅㖑կ㣐垷㘗㸝Ⰼ崨鸑䎂〵涸⢪ㄐ㖈✵⸈䘯㣐垷㘗⿺Ⱖ銳稇涸崨鸑㔔姼鄄⟱⚌㺕✮⾩劅䋞劅䲿⣘湱Ⱒ涸垷㗌䧴⸆腊կ ⟱⚌銳ꢞ僈㣐垷㘗崨鸑䎂〵⟟⧩⤛鵳㣐垷㘗欰䙖ぐ倰鴪䧭ざ⡲կ㣐垷㘗ⴀ㕕佪䎾儑衼雽㢴⟱⚌넞盗邍鴪ⴀ㼆㣐垷㘗⿺Ⱖ䎾欽涸崽⾩Ⱓ馰կ告➢㹊꣢用고䞔ⲃ勻溏㣐垷㘗고湡用고䎇♶곡ⵄկ⚺銳⾲㔔㖈✵CEO瘝⟱⚌♧䪾䩛䋞劅溏ⵌ㣐垷㘗涸⚌⸉⟟⧩罜鳅㢴IT餏餓➃ꦼ ⟄邍鴪幡嘽կⰨ⡤ⵌ㣐垷㘗㸝Ⰼ崨鸑䎂〵고湡用고ⴭ刿⚹㔮ꦼկ♧僽霪䋑㖞Ⱓ饰䋑㖞侅肫妁緃䲀⸓用고涸鍒ꅺ䧭劥嫱鳅넞կ✳僽㣐垷㘗㸝Ⰼ崨鸑䎂〵고湡銳㢴倰⼸⡲IT餏餓 ➃♶➑銳霹剪⟱⚌ⰻ鿈盗椚罏鵮銳霹剪⟱⚌㢪鿈涸ざ⡲⠑⠶ꦼ䏞⦔㟞կ ⾊㉁腊⸂銳宠 ⟱⚌㛇✵㼆㣐垷㘗㸝Ⰼ崨鸑䎂〵涸宠ぢ⾊㉁䲿ⴀ㢴고腊⸂銳宠կ♧僽㣐垷㘗㸝Ⰼ崨鸑䎂〵銳䲿⣘剣㣐垷㘗傞➿暵蒀涸⥂䫡腊⸂կ✳僽㣐垷㘗㸝Ⰼ崨鸑䎂〵銳⟄♶〳睔佖倰䒭絡雦䎇㶸⪰餴❡䱇勉雵䔶♸䲀椚剪⸉涸靈欽ꆀկ♲僽⾊㉁銳䒊用㣐垷㘗㸝Ⰼ崨鸑䎂〵涸⟟⧩⡤禹կ 㣐垷㘗㸝Ⰼ崨鸑䎂〵銳䲿⣘剣㣐垷㘗傞➿暵蒀涸⥂䫡腊⸂կ㣐垷㘗傞➿♶ず✵⠛絡AI傞➿ ⟱⚌㖈㸝Ⰼ䫡倰䲿ⴀ倝銳宠կ⠛絡AI垷㘗侨ꆀ⨊㼭鿈縭鵂玐务鳅㼱罌贊꧋纈⻊⸈㺙垷䒭կ罜㣐垷㘗侨ꆀ儑衼䲿⼮雲絅䲀椚鵂玐务銳䔂㣐涸皾⸂㛇炄կ㔔姼㢴〵剪⸉㐼翫ざ䊨⡲䧭⚹䌢䙖կ㥵卓➠䭽撑⠛絡倰䒭鵳遤⸈㺙㺂僒❡欰㸝Ⰼ굥ꤗկ⢾㥵余ⴁ罏㖈♧⚡꧋纈务 ⸈Ⰶ✫♧⚡⧺余ⴁ蒜挿㼜ꦼ⟄鄄〄梡կ 〥㢪㼆✵AI⟱⚌罜鎊䌢⠔⢪欽➿瀦幊巭倰䒭勻⸈㺙垷㘗告垷㘗㖈鵘遤鵂玐务➠⠔鷳ꪪ⥌䜂կ♶➑㥵姼AI⟱⚌䖃䖃〫岤ꅾ炽渹⸈㺙䙐殜ⰻ㶸⸈㺙告ⰻ㶸务涸侨䰘⛲剣鄄瑷》涸굥ꤗկ 㣐垷㘗㸝Ⰼ崨鸑䎂〵銳⟄♶〳睔佖倰䒭絡雦䎇㶸⪰餴❡䱇勉雵䔶♸䲀椚剪⸉涸靈欽ꆀկ㣐垷㘗㸝Ⰼ崨鸑䎂〵㼿♶Ⱘ㢊湬䱹䲿⣘佅䭯ⵄ渤ⴔꂁ涸模侮垷㗌䧴⸆腊⟄♶〳睔佖倰䒭絡雦䎇㶸⪰餴❡䱇勉雵䔶♸䲀椚剪⸉涸靈欽ꆀ僽䔲〳⟄㹊梡涸♧猫鍒Ɀ倰呩〳⟄⚹ⵄ渤ⴔꂁ䲿⣘ 鿈ⴔ佅䭯կ㣐垷㘗欰䙖ぐ♸倰〳㛇✵餴❡䱇勉雵䔶♸䲀椚剪⸉涸靈欽ꆀ絕ざ餴彂ꅾ銳䚍ծ獺緃䚍瘝Ⱖ➭Ⱏ霋㹊梡㉁⚌佐渤涸Ⱆ䎂ⴔꂁկ ⾊㉁銳䒊用㣐垷㘗㸝Ⰼ崨鸑䎂〵涸⟟⧩⡤禹կ㼆✵⟱⚌㣐侨䰘鿈꡶罜鎊呍䗱⟟⧩㖈✵⥂䫡侨䰘㸝Ⰼ㼆✵㣐垷㘗⾊㉁罜鎊ⴭ僽⥂䫡垷㘗㸝Ⰼ㼆✵㣐垷㘗䎾欽⾊㉁罜鎊ⴭ僽⥂䫡靈 ⠏䧭卓㼆✵⟱⚌⚌⸉鿈꡶罜鎊ⴭ僽姺⚌⸉侨䰘屧ꪪկ㣐垷㘗㸝Ⰼ崨鸑䎂〵⾊㉁銳䒊用 ♳鶣呍䗱⟟⧩♸㹐䨪⟱⚌䧶殜湡叻⛓ꢂ涸Ⱒ翫䚍匬䒊⟟⧩⡤禹⤛鵳用고կ Ⰶ鷥叻ⲥ霹僈 1.痗ざ㣐垷㘗㸝Ⰼ崨鸑䎂〵䋑㖞ⴔ區涸⾊㉁腊⸂銳宠 2.鵛♧䎃⾊㉁㖈霪䋑㖞荛㼱剪⸉1㹻⟱⚌ゎPOCկ ⾊㉁霉⠮䴓潇僤莽 7|㣐垷㘗㸝Ⰼ崨鸑䎂〵䋑㖞⾊㉁霉⠮-䴓潇僤莽 userid:414195,docid:150981,date:2024-01-10,sgpjbg.com 3.⾊㉁霉⠮䴓潇僤莽 ⾊㉁➝絏 䴓潇僤莽Lanrui-ai僽➃䊨兰腊⟱⚌缽倰⨴侨侨䰘ㄤ雦皾✽翫緸务涸AI〳⥌雦皾蒜挿⚁岤 ✵㣐垷㘗傞➿涸AI皾⸂ծ皾岁♸侨䰘涸㸝Ⰼ〳⥌崨鸑կ剪⸉⺫䭍⟄劼㺙〳⥌雦皾梠㞯僤莽·㺙倰⚹❡ㅷ⚺⡤涸䴓潇㣐垷㘗崨鸑鍒Ɀ倰呩ծ䲿⣘넞꣡⸈⧩涸䲀椚剪⸉僤莽·䲀椚涸䴓潇㣐垷㘗䎾欽䒓〄䎂〵瘝կ ❡ㅷ剪⸉➝絏 ぢ㣐垷㘗곭㚖䴓潇僤莽䲀ⴀ䴓潇㣐垷㘗䎾欽䒓〄䎂〵♸䴓潇㣐垷㘗崨鸑鍒Ɀ倰呩傋㖈 ⚹㣐垷㘗䎾欽䒓〄♸衅㖑㹊騨䲿⣘㸝Ⰼ〳⥌涸㛇炄霃倶կ 䴓潇㣐垷㘗䎾欽䒓〄䎂〵䲿⣘♧畀䒭㣐垷㘗䎾欽䒓〄倰岁ծ皾⸂ㄤ梠㞯佅䭯⚹AI䎾欽䒓〄罏䲿⣘皍⤑ծ넞佪ծ⾝崞涸AIServerless䊨Ⱘ䎂〵ⰻ縨僤莽·叻ⲥ䲀椚剪⸉♸僤莽·荈⸔䲀椚剪⸉佅䭯䭽撑靈欽ꆀ䧴⢪欽傞ꢂ雦餩կ 䴓潇㣐垷㘗崨鸑鍒Ɀ倰呩⟄劼㺙〳⥌雦皾꧋纈僤莽·㺙倰⚹呍䗱絕ざ皾⸂靈䏞ծ皾岁綘䱗瘝䪮助⿺䒓盲⽰欽涸AI䊨Ⱘ⚹AI䎾欽衅㖑䲿⣘Ⰼ崨玐㸝Ⰼ⥂䫡կ䎂〵ⰻ䨾匬䒊涸劼㺙〳⥌皾 ⸂⚁⼓雮欽䨪腊㢿♧ꝶ模䧭劼㺙〳⥌䊨⡲瑟ꢂ涸䵨䒊䨾剣鵘遤㖈ⰻ㶸涸侨䰘鿪絑鵂CPU炽⟝垷㗌⸈㺙㢅椚䊨⡲瑟ꢂ涸㶸⪰侨䰘랾雩歋僤莽·㺙倰ⰻ縨KMS㺙ꛬ盗椚剪⸉盗椚涸♶ⴀ㚖㺙ꛬ鵳遤⸈㺙⽰⢪僽炽⟝♸鲱⟝涸盗椚プ⛲偽岁鵳Ⰶ䊨⡲瑟ꢂⰻ鿈䧴鸑鵂炽⟝蜦》欽䨪侨䰘կ⢪㣐垷㘗衅㖑ぐ碫♸罏㖈ざ岁ざ錞ծ劥倰餴❡「⥂䫡涸䲿♴䕎䧭ざ⡲կ 图2一站式AI服务平台和AI应用生态揽睿星舟架构图 ⾊㉁霉⠮ 揽睿大模型流通解决方案主要赋能四类参与主体,包括:数据提供方、基础模型开发者、参与行业大模型调优的服务团队以及使用大模型的业务部门。在能力方面,该方案支持客户一键构建安全开发环境,为大模型各参与方提供全方位的安全保护。在算力方面,相较于自建计算中心或采购大型云厂商算力,揽睿星舟可以为客户提供高性价比算力支持。此外,方案通过不可篡改的方式保留数据授权记录与模型调用记录,进而解决商业收益分配问题,加速大模型生态共建。在服务经验方面,揽睿星舟AI客户众多,拥有丰富的服务经验,深刻了解用户需求。 赋能大模型生态各方,为要素流通保驾护航。大模型开发及应用全流程主要涉及数据提供方、基础模型开发者、参与行业大模型调优的服务团队以及使用大模型的业务部门等四类参与主体。在大模型应用落地过程中,四类参与主体通常缺一不可,合作过程中需要解决信任及隐私安全保护问题,其中包含:数据提供方面临数据被使用过程中的各类不安全因素;基础大模型 开发者面临基础模型产权被窃取风险;参数调优服务方面临数据可触达性以及调优成果遗失风险;业务方面临事关核心商业竞争力的业务数据泄漏危险。揽睿大模型流通解决方案集成了多项技术能力,从机密可信计算到跨云算力调度、数据编排等,可以为各类参与主体提供模型、数据集与服务有效安全串联,实现数据和模型的保护。 图3揽睿大模型流通解决方案示例 在解决方案的保护下,大模型生态的各类参与主体都能够在合法合规、保护本方数据、产权与权益的前提下安全、高效地协作,同时也满足用户对于模型专业化的需求,赋能大模型技术进步和产业落地。 提供集群运行环境的全方位可信安全保护。揽睿大模型流通解决方案的安全核心是自研的机密可信计算产品“星舟·密方”。“星舟·密方”是基于TEE和TPM硬件构建的云原生可信机密计算集群,为揽睿大模型流通解决方案提供通⽤、安全、⾼效的“零信任”计算环境。“星舟·密方”利用机密计算硬件的能力,确保整个计算环境中的任何一方,包括数据中⼼管理 员、云平台管理员在内,都必须经授权才能够访问计算集群,或通过计算环境的基础设施进行其他类型的攻击。相较传统仅支持进程级别、虚拟机级别的安全防护方案,“星舟·密方”在提供运维及迁移便利性的基础上为用户增强了整个集群的安全性与完整性。方案所涉及的安全核心技术已获得中国信通院多项性能与专项评测。 提供高性价比且丰富的算力支持。在成本方面,揽睿大模型流通解决方案支持异构算力的完整、安全接入,整合闲散算力“化零为整”对外提供服务,包括但不限于标准化的弹性算力资源、开箱即用的工具和模型生态,为用户提供“按需使用、按量计费”的算力使用模式与更有竞争力的算力价格。 除接入国际主流硬件外,揽睿星舟也在积极参与国产硬件的接入。通过与国内的硬件供应商联合测试,已积累一定成果与实践经验。“算力国产化”工作持续推进,一方面有利于揽睿大模型流通解决方案保持有竞争力的算力价格,另一方面有利于该解决方案胜任更多硬件国产化的应用场景。 支持一站式开箱即用的AI开发环境与工具。揽睿大模型流通解决方案为客户提供一种先进 的、“无感”的异构(机密可信)计算资源服务。在系统中,用户通过一个统一且标准化的接口轻松访问所需的计算资源,无需关心背后复杂的算力调度、数据、资源配置和管理。揽睿星舟采用云原生技术,实现与用户现有软件系