hadoop中combiner的作用是什么

lewis 2020-02-14 28次阅读

在Hadoop中,Combiner的作用是在Map阶段输出数据传输到Reduce阶段之前对中间数据进行合并操作。Combiner可以将相同key的中间结果进行本地合并,减少数据传输量,提高MapReduce作业的效率和性能。通过Combiner的使用,可以减少网络传输量和Reduce阶段的负载,加快作业的执行速度。



发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。