向量化执行引擎的技术价值是什么?

向量化执行引擎的技术价值是什么?

最佳答案 匿名用户编辑于2022/11/30 10:50

不同于传统模式,向量化实 现了从一次对一个值进行运算,到一次对一组值进行运算的跨越。

1.减少虚函数调用, 促进CPU乱序并发执行

传 统 查 询 执 行 引 擎 采 用 火 山 模 型 , 按 照 一 次 处 理 一 个 元 组 的 方 式 效 率 比 较 低。向量化查询执行引擎仍然采用火山模型,但是按照一次处理一组元组的 方式,实现批量读取和批量处理,大大减少了函数调用开销,CPU可以把更 多的时间集中到实际的计算上,效率会更高。

2.拉近一些磁盘IO能力与计算能力的差距

列存储技术在数据表的存储上使用数据表的列(记录的一个属性)为单位存储数 据,这样类型一致的数据被放在一起,类似的数据在进行压缩的时候,能够达到一 个比较好的压缩比。

3.更好利用当前硬件与编译的新优化特征

向量化引擎是跟列存储技术绑定的,因为列存储时每列数据存储在一起,可以认为这些数据是以数组的方式存储的。基 于这样的特征,当该列数据需要进行某一同样操作,可通过一个循环来高效完成对这个数据块各个值的计算。相应的 CPU的利用率得到了提高,另外数据被组织在一起,可以利用硬件发展带来的一些收益。

参考报告REPORT

中国数据库行业分析报告:向量启航,引擎加持.pdf

中国数据库行业分析报告:向量启航,引擎加持。2022年10月的墨天轮中国数据库流行度排行榜火热出炉,本月共有245个数据库参与排名,相比上月新增七个数据库,本月排行榜前十名变动较大:达梦数据库上市程序恢复,热度大涨,排名反超openGauss,重回第三;华为旗下两大数据库品牌名次均下降;云原生数据库PolarDB、TDSQL再创佳绩,名次均上升一位。本月排行榜从第十一名至第三十名,竞争激烈,归属变动较大。在这一赛道中,本月也崛起了一批数据库新秀,拥有亮眼的表现。本月报告中墨天轮发布了最新向量数据库全球产业图谱,国内典型向量数据库代表有Milvus、Vearch、TensorDB、Om-iBAS...

我来回答
分享至