MetaInsight数据智理解决方案

-MetaInsight数据智理解决方案 王登宇腾讯云存储专家解决方案架构师主讲人： 目录 Tencent Cloud Data Platform Tencent Cloud Data Platform Solution Architecture COS对象存储：功能全面、高可靠性、高性价比的Data Platform存储底座 数据万象：构建了Data Platform的数据处理、数据管理双引擎 数据万象-Data Engine：数据处理引擎，提供一站式数据处理及内容审核服务 数据万象-MetaInsight：数据管理引擎，全媒体跨模态检索服务，进一步释放内容价值 ⚫支持文搜图，图搜图、文搜视频，视频搜视频，文本搜音频，音频搜音频等多种数据检索手段⚫支持对象元信息的高效查询、统计分析 GooseFS：近计算端缓存，为AI、大数据业务提供数据加速服务 MetaInsight + GooseFS，让数据更智能、更高效地计算 通过查询MetaInsight，从COS Data Store中提取有价值的数据，并将数据缓存到GooseFS，高效投递到计算节点，让数据接近计算端，进行更智能、更高效地计算 Data Engine + MetaInsight，自动识别标签，建立标签索引，高效管理数据 MetaInsight：COS Data Catalog MetaInsight提供多场景、跨模态的检索服务，通过自然语言或结构化的检索条件，分析存储在对象存储COS中的数据，满足存储数据的管理、分析、检索需求。 MetaInsight：图文大模型V-LLM（vision-languagelargemodel）架构 数据万象Meta Insight采用视觉-语言大模型V-LLM（vision-languagelargemodel），能够通过对图片、文本多模态的语义理解和特征抽取，建模图文之间的相似度，从而实现图文检索、图像标签等下游任务应用。多模态特征表达能力，也可以扩展到文本与视频的特征提取&匹配，从而实现文本-视频检索。 MetaInsight：结合图文大模型，为Data Platform提供数据智能检索服务 MetaInsight：Dataset & Dataview MetaInsight：通过定制化标签、提取特征向量来建立索引 MetaInsight：元数据检索查询 MetaInsight：语义和图像检索查询 MetaInsight：支持全媒体类型跨模态检索，进一步释放内容价值 MetaInsight：支持业务场景自定义标签，为数据集自动打标 Tencent Cloud Data Platform：助力企业实现数据驱动智能 自研分布式存储引擎，单集群可管理百EB级别数据 自研近存储端数据治理引擎，为数据计算、内容合规保驾护航 自研元数据、多模态检索引擎，持续释放内容价值 自研数据湖GooseFS加速服务，为算力提供近计算端数据缓存 ⚫高可用：99.995%⚫高可靠：12个9⚫低成本：0.01元/GB ⚫全媒体语义特征提取⚫高性能：千亿查询/毫秒延迟⚫高召回：95+%召回率 ⚫能力全：100+能力⚫高压缩：提升20%+⚫低延迟：降低50% ⚫大吞吐：Tbps带宽⚫低延迟：亚毫秒延迟⚫高IOPS：百万级IOPS TencentCloudDataPlatform COSData Store MetaInsightData Catalog Data EngineData Process