博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
combiner hadoop
阅读量:5321 次
发布时间:2019-06-14

本文共 485 字,大约阅读时间需要 1 分钟。

Combiner用来在map输出之前先做一次合并,减少map和reduce节点之间的数据传输,优化mapreduce。    

Combiner相当于是一个小的reduce,如下所示

map:(key1,value1) ——> list(key2,value2)

combiner:(key2,list(value2)) ——> list(key2,value2)

reduce:(key2,list(value2)) ——> list(key3,value3)

注意一下几点:

1、如果当前集群在很繁忙的情况下job就是设置了也不会执行Combiner。

2、Combiner的输出是Reduce的输入,它绝不会改变最终的计算结果。

3、combiner的数据类型是由reduce决定的,因而输入输出是和reducer一致的。又因为combiner的输出是reducer的输入,所以reducer的输入输出的数据类型要保持一致的时候才能使用combiner,否则报错。 

转载于:https://www.cnblogs.com/chenyaling/p/5575407.html

你可能感兴趣的文章
扩展entityframework.extended使之支持整个实体类更新
查看>>
FFMpeg框架代码阅读
查看>>
网络流模板
查看>>
leetcode 493 Reverse Pairs
查看>>
Objective-C、C++和swift 的运行效率比较
查看>>
数据结构 Java实现单链表和线性表
查看>>
Xcode archive skip install的问题
查看>>
初识Spring
查看>>
excle导入到sql
查看>>
html5
查看>>
[BZOJ3743]Kamp
查看>>
Python3从零开始爬取今日头条的新闻【三、滚动到底自动加载】
查看>>
MySQL5.7 修改数据库默认编码
查看>>
BZOJ 2839 集合计数
查看>>
禁止表单输入某种字符
查看>>
强大的身份证号码验证,绝对成功
查看>>
Tomcat启动时自动加载Servlet
查看>>
Perl 按时间排序日志
查看>>
P0505
查看>>
企业级PHP开发框架Symfony 2
查看>>