离线计算引擎常见的组件有哪些?主要能力是什么?

离线计算引擎常见的组件有哪些?主要能力是什么?

最佳答案 匿名用户编辑于2023/01/17 10:36

目前常见的组件主要有:MapReduce、Hive、Spark、 Maxcompute 等组件。

1.MapReduce

一种计算模型,用于处理大数据量的计算。其中 Map 对应数 据集上的独立元素进行指定的操作,生成键-值对形式的中 间结果,Reduce 则对中间结果中相同的键的所有值进行规 约,以得到最终结果。

2.Hive

定义了一种类似 sql 的查询语言(hql)将 sql 转化为 Mapreduce、Spark 等引擎任务在 Hadoop 上执行。

3.Spark

开源的数据分析集群计算框架,用于构建大规模,延迟低的 数据分析应用。 Spark 采用 Scala 语言实现和应用框架,采用基于内存的分 布式数据集,优化了迭代式的工作负载以及交互式查询。

参考报告REPORT

金融业数据应用发展报告(2021~2022).pdf

该文档为《金融业数据应用发展报告(2021~2022)》,主要聚焦于金融行业在数据要素化、数字化背景下的应用现状与发展趋势。报告深入分析了金融机构如何利用大数据、云计算等技术提升业务效率、优化风险控制及创新服务模式,涵盖了数据治理、数据资产化、数据安全合规等核心议题。通过梳理2021至2022年间的数据应用案例与政策环境,旨在揭示金融行业数字化转型的内在逻辑与外部驱动因素,为行业参与者提供关于数据价值挖掘、技术应用路径及未来发展方向的专业洞察与参考依据。

我来回答
分享至