Flink 1.10 和 Hive 3.0 性能对比(附 Demo 演示 PPT)

  • 时间:
  • 浏览:1
  • 来源:大发彩神IOS下载_大发神彩IOS下载官方

结果摘要:

具体环境及调优说明:

在搭建计算平台的过程中,性能和成本是选用计算引擎的很关键的因素。为此,Ververica 的 flink-sql-benchmark [1] 项目提供了基于 Hive Metastore 的 TPC-DS Benchmark 测试的工具,为了测试更靠近真正的生产作业:

Flink 1.10 VS Hive 3.0 on Tez

Table 层参数:

TaskManager 参数分析:

亲们在 20 台机器上测试了两种生活引擎:Flink 1.10、Hive 3.0 on MapReduce、Hive 3.0 on Tez,从另另2个 维度测试了引擎的成绩:

如今的大数据批计算,随着 Hive 数仓的成熟是什么的句子期期的句子的句子的句子是什么,普遍的模式是 Hive metastore + 计算引擎。常见的计算引擎有 Hive on MapReduce、Hive on Tez、Hive on Spark、Spark integrate Hive、Presto integrate Hive,还有随着 Flink 1.10 发布后生产可用的 Flink Batch SQL。

运行总时间的对比成绩是:

# 重磅福利 #

网络参数分析

Flink 运行 Queries

向量化的 ORC 读,目前只在 Hive 2.0 以上版本才会默认开启。

调度参数分析

如图,生成了 TPC-DS 官方说明的 7 张事实表和 17 张维表。

Flink 1.9 在合并 Blink 代码的刚刚,就而且 完成了什么都有 工作:淬硬层 CodeGeneration、Binary 存储与计算、完善的 CBO 优化、Batch Shuffler,为后续的性能突破打下了扎实的基础。

后续 Flink 社区会在完善功能的一起进一步夯实性能:

Flink 1.10 VS Hive 3.0 on MapReduce

参考链接:

《Demo: 基于 Flink SQL 构建离线应用》的 PPT 来啦!关注「Flink 中文社区」微信公众号,后台回复关键字“0218SQL”即可获取本次直播课程 Demo 演示 PPT~

[1]https://github.com/ververica/flink-sql-benchmark

[2]https://github.com/ververica/flink-sql-benchmark/blob/master/flink-tpcds/flink-conf.yaml

[3]http://jira.apache.org/jira/browse/FLINK-1410002

[4]https://issues.apache.org/jira/browse/FLINK-11899

[5]https://cwiki.apache.org/confluence/display/FLINK/FLIP-53%3A+Fine+Grained+Operator+Resource+Management

[6]https://github.com/ververica/flink-sql-gateway

[7]https://github.com/ververica/flink-jdbc-driver

[8]https://cwiki.apache.org/confluence/display/FLINK/FLIP-92%3A+Add+N-Ary+Stream+Operator+in+Flink

Flink 1.10 继续完善 Hive 集成,并达到了生产级别的 Hive 集成标准,其它也在性能和开箱即用方面做了什么都有 工作:

Flink 作为另另2个 统一的计算引擎,旨在提供统一的流批体验以及技术栈。Flink 在 1.9 合并了 Blink 的代码,并在 1.10 中完善了多量的功能以及性能,能能 运行所有 TPC-DS 的查询,性能方面也很有竞争力,Flink 1.10 是另另2个 生产可用的、批流统一的 SQL 引擎版本。

■ 数据集生成

Flink 1.10 做了什么都有 参数的优化,提高用户的开箱即用体验,而且 而且 批流一体的两种限制,目前也是必须进行两种参数设置的,这里本文粗略分析下。

作者:李劲松(之信)

环境准备

本文只测试了上述引擎和 10TB 的数据集,读者能能 根据买车人的集群规模,选用特定的数据集,使用 flink-sql-benchmark 工具来运行更多引擎的对比测试。

其它引擎运行 Queries

其它 timeout 相关参数是为了出理 调度和运行过程中,大数据量由于的网络抖动,进而由于作业失败的什么的问題。

Queries 几何平均的对比成绩是:

猜你喜欢

1500左右 买哪个手机 性价比高点

本回答由明星微博 推荐你对你你你这个 回答的评价是?扫描二维码下载小米5不错,1599,性价比高很糙推荐ZUKZ2搭载高通骁龙82014nmKryo四核64位,最高2.15

2020-03-22

目前华为的哪款手机性价比最高

4、系统:搭载2.4GHz八核麒麟9500防止器,是顶级旗舰芯片,天生就越来越快,采用新一代EMUI5.1系统,成功实现了性能提升与功耗平衡的再次突破,带来难以想象的高速与流畅

2020-03-22

天猫天猫,今年双11哪些最值得买?

贝因美菁爱3段奶粉价格1740到手价12400群克隆这条信息₳YrJTYsK187o₳后打开手淘百草味零食大礼包-千玺版价格299到手价138群克隆这条信息$2vxrYsKaK

2020-03-22

平安哪些产品性价比高?

收起更多回答(2) 我来答扫描二维码下载下载百度知道APP,抢鲜体验平安有全都的产品性价比有的是 很高的,关键有你在适合哪个产品,那个产品可是我性价比最高的,适合此人 的

2020-03-22

求推荐几款性价比高的手机!

1.屏幕:5.8英寸(直角)/5.6英寸(圆角)双曲面SuperAMOLED屏幕,分辨率为2220x101000(FHD+)。3.外壳颜色:谜夜黑、勃艮第红(具体以销售为准)。

2020-03-21