陶进：人人都会向量引擎

人人都会向量引擎 陶进 Contents 目1从CRUD到执行引擎 录 2向量化改造 i 01 从CRUD到执行引擎 01-同样写代码，不同成就感 拿到“奇葩”需求写“BUG” 被打断，修“BUG”加班 改进xx排序，性能提升使用xxIO，性能提升 动态执行计划 向量化 01-从CRUD到查询引擎 我们CRUDBoy的优点 熟练掌握至少一门语言 熟练使用面向对象思维分析需求 心理承受能力强(能接受PUA) 吃苦耐劳(能加班) 缺什么？ 查询引擎 SQL的执行过程 语法树--python sql中字段的计算表达 SQL-关系运算 一站式SQL解决方案—ApacheCalcite SQLParse output 一站式SQL解决方案—ApacheCalcite SQLValidate output 一站式SQL解决方案—ApacheCalcite LogicalPlanOptimize output 开始干活--构造自己的PhysicalNode 简单的PhysicalNode 开始干活--简单的SortNode 简单的SortNode 表达式计算—一种基于lambda表达式的方法 表达式计算—Project的执行过程 PhysicalProject的执行逻辑 02向量化改造 基于ApacheArrow的性能测试 开始干活--PhysicalNode向量化改造 PhysicalNode数据向量化改造 Object[]原来表示一行数据，即Object[obj,obj,...obj] 在向量化中则表示多列数据，即Object[IntVector,obj...LongVector],每一列有一个或多个值 表达式向量化改造 lambda表达式变成接口实现 基于每一行的计算形式改成在每个向量上的循环 自己实现向量化选择 JavaVectorApi 基于IntelSIMD(SSE,AVX)指令集的函数实现