通过在 Data _ Roberts 通知的 _ Database _ Strategy 中放置更少的数据来获得更好的分析

2024年4月 通过放置获得更好的分析数据较少在您的数据库中 佩奇·罗伯茨 产品创新总监 DataIncreases 快于Budgets 年数据量增长：23.4% 年度分析预算Ave增长：11.0% 数据量 Analytics预算 201820192020202120222023~2024~2025 来源IDC/统计 流数据过载 爆炸分析 数据卷 HumanGenerated 增加分析 挑战 •Web点击流 •呼叫中心电话日志 •电子邮件和短信 •社交媒体frehoses •Telco呼叫详细信息记录 •数字订单和付款 流数据过载 爆炸分析 数据卷 HumanGenerated 增加分析 挑战 •Web点击流 •呼叫中心电话日志 •电子邮件和短信 •社交媒体frehoses •Telco呼叫详细信息记录 •数字订单和付款 机器生成 （车辆、电话、机器人、网络、设备) •机器日志 •传感器读数 •SCADA流 •地理位置信息 流数据过载 爆炸分析 数据卷 HumanGenerated 增加分析 挑战 太慢 •Web点击流 •呼叫中心电话日志 •电子邮件和短信 •社交媒体frehoses •Telco呼叫详细信息记录 •数字订单和付款 •减少分析数据库 •不满意的客户-实时响应没有得到满足的期望 •欺诈检测，而不是欺诈预防 •几个月后发现网络入侵 •机器警报直到太晚才采取行动 机器生成 （车辆、电话、机器人、网络、设备) •机器日志 •传感器读数 •SCADA流 •地理位置信息 流数据过载 爆炸分析 数据卷 HumanGenerated 增加分析 挑战 太慢 •Web点击流 •呼叫中心电话日志 •电子邮件和短信 •社交媒体frehoses •Telco呼叫详细信息记录 •数字订单和付款 机器生成 （车辆、电话、机器人、网络、设备) •减少分析数据库 •不满意的客户-实时响应没有得到满足的期望 •欺诈检测，而不是欺诈预防 •几个月后发现网络入侵 •机器警报直到太晚才采取行动 淹没在噪音中 •虚假警报掩盖了真实的警报 •机器学习需要更集中的数据进行训 •机器日志 •传感器读数 •SCADA流 •地理位置信息 练 •来自多个数据源的重复项 •大量的传感器/机器数据几乎没有价值 做得更快 所有数据进入：MTTA=小时 预测 +76,+152,+304 艺术现状 StreamingSources 事件流处理 数据湖/湖屋 ETL/ELT 数据降噪 实体决议数据降噪异常检测 ->Analytics 只有有价值的数据进入：MTTA=秒 实时流处理数据处理 预测 +76,+152,+304 实体决议数据降噪异常检测 StreamingSources 事件流处理 数据湖/湖屋 ETL/ELT更好的分析 增强信号 最好的方式升压信号 是要筛选器OutNoise 减少数据量->增加数据价值 高容量数据成为高价值数据 特征提取复杂事件处理 Recommendations 算法Implementation 实体决议异常 检测 图数据模型可以代表任何东西 The图例 主语-谓语-宾语 = 节点-边缘-节点 不是以 探索 Hyrule 失败 of Link 密封离开 塞尔达Ganon 但是图形数据库速度很慢 STOP 那个点流式传输图And奎因开源 事件流处理 •没有时间窗 •无序数据处理 •并行异步处理 •背压流处理 图数据表示 •分析分类数据 •链接异构数据 •查询过去、现在和将来 •解决欺骗，发现异常等。 流连接问题 需要将事件组装到有意义✁对象中 流式数据源: 不匹配事件✁队列 ACABB AABBCCAB ABB A C … … … Goal: [] [][][] RAM中✁队列: RAM大小限制了需要“时 [ AAB]B [ BBC]C Key-Val商店中✁队列: 语义影响结构。新模式=新架 [部分结果✁队列][] 间窗口”✁队列大小，从而导致结果丢失。 [][] …… 构微服务蔓延 流媒体加入解决方案 需要将事件组装到有意义✁对象中 流式数据源: A ACABBD Goal: AB ABB ACB[] C 没有时间窗或错过✁结果 语义轻松更新 奎因 流式传输图 所有Dot产品都有动力由Quine开源软件。 在集群规模与商业 支持和功能。 检测已知模式。 滤除低值 data. DotStreamingGraph提供商业支持和许可 用于分布式用例。 检测未知 模式。 新颖性 自学习图AI异常检测应用程序。 Quine和点串流图 它是如何工作✁ 我们在招聘！ 谢谢你 thardot.com github.com/thatdot/quine免疫治疗在Github上星我们⭐ ⭐ 幻灯片标题 字幕 点是开放✁核心 开源 在一台机器上功能齐全 在1000个事件/秒/CPU下测试在Github上可用 社区支持 流式传输图 Commercial 弹性生产集群每秒扩展数百万个事件 高可用性数据存储流异常检测 基于使用情况✁定价专家支持 幻灯片标题 字幕 由威胁检测领导者支持 ThatDot新奇 模式学➀图AI •无需培训或数据标签 •直接分析分类数据：名称，IP，电子邮件，ID，fle路径等。 •减少错误警报-新并不总是新颖✁ •解释为什么每个元素都是异常✁ •上下文和行为指纹 ThatDot新奇 比隔离森林快1000倍 模式学➀图AI •无需培训或数据标签 •直接分析分类数据：名称，IP，电子邮件，ID，fle路径等。 •减少错误警报-新并不总是新颖✁ •解释为什么每个元素都是异常✁ •上下文和行为指纹 这个情节显示速度越高越好。 注意：灰色与蓝色在单独✁Y轴刻度上。 点新奇演示 VAST内部威胁挑战 办公室✁物理布局 来自车门徽章✁接近数据 10,162记录 一个月✁网络日志 115,414条记录 合并为行为记录： 115,414条记录 https://www.thatdot.com/blog/stop-inside-threats-with-automated-behavior-alternality-detection/ 加入Infnite数据流 实时 数据流进来，有意义✁事件流出来。定义代表重要数据✁模式，在您✁应用场景中，结果会立即从复杂✁数据模式中流出。支持乱序数据，无需时间窗口，灵活✁数据结构，易于更新 。快速集成。rd党✁数据强大和容易✁数据准备为其他系统提供 我知道什么寻找。 帮我拿. 图事件流处理规模 在极端规模下测试 •查询响应-低于5微秒，即使是多年✁历史数据 •超过100✁数百万边✁超节点 -sub5微秒查询响应 •在单个CPU上-超过1000个事件/秒 •在集群上-超过100万个事件/秒-没有发现上限 •所需资源少-150-300MB Supernode 要保护关键数据，您需要FASTfnd攻击者 关键能力：深图案: 网络安全XDR检测并解释攻击图 根本原因分析组装日志，fnd实时问题身份验证欺诈分布式密码喷洒攻击 云基础设施监控评估服务之间✁风险 内部威胁检测检测可疑员工活动 凭据盗窃用户✁使用模式更改 显示找到✁APT模式✁UI屏幕截图 集成选项 摄取流、数据存储、输出流 结果可以更新图表 数据摄取数据发布 来自溪流到流 服务器发送事件HTTPWebhook Websockets文件/命名管道 STDIN 持久化数据存储 MapDB Slack消息RESTAPI 登录到控制台JSON到文件 适合其他数据管道工具： 轻松集成 •渐进式、增量式部署 •与现有基础架构一起运行 •通过Kafka，Kinesis，RESTAPI等集成。 •可定制✁数据存储组件 高度可扩展 •背压、高效、占地面积小•自动放大以最大化大型机器 •水平扩展：每个实例从单个机器扩展到数千个集群•在任何时间点轻松添加/修改流 用例 •网络安全-APT检测:识别网络流量、用户登录和设备日志中✁异常模式，以主动预防安全漏洞，无需时间窗口限制。 •IoTEdge-智能过滤：监控来自工业和其他设备✁传感器数据流，理解哪些数据是有用✁以避免影响下游系统，并在出现问题时立即采取行动。 •财务-实时风险分析，欺诈检测：揭示传统基于规则✁系统可能会忽略✁交易、用户行为和设备数据中✁复杂欺诈模式。秒级分析风险而非等待数小时。 幻灯片标题 流式传输图 事件3 事件5事件4事件3事件2event1 事件2 [ 7 2 4 ] [ 3 2 4 ] 事件4 [] 高容量事件7高价值 易于部署 在云中或内部部署 Data: 在运动中 在休息 处理 奎因 交货 Datasbsasse 常设查询 声明性，递归，事件驱动，延迟评估，缓存(部分)结果 Goal:无匹配项无匹配项匹配 ✔ ✔ ✔ ✔ ✔ ✔ ✔ ✔ ==>==> 缺边错误✁属性类型+结构匹配