如果MapReduce中不需要Reduce过程应如何设置？

Map过程的计算结果就是我想要的结果了，不需要在Reduce过程中进行合并。这种情况下应该如何设置？Reduce代码应该如何写？

如果网上有范例程序，贴个网址什么也可以！

推荐答案推荐于2016-12-02

本来reduce函数就是可选的，当不指定Reduce时候，系统会使用缺省的reduce函数（一般都没有什么操作）
不想要reduce就把其设置为NONE

job.setNumReduceTasks(0);//设置个数为0 ；
参考：http://www.linuxidc.com/Linux/2012-05/59826.htm
具体不同的Hadoop版本，会有不同的API

温馨提示：答案为网友推荐，仅供参考

当前网址：http://77.wendadaohang.com/zd/WpNqqpY88WI3qGWYIY.html

相似回答

什么是MapReduce模型中不包括的运算步骤?答：在MapReduce中，整个处理过程被划分为若干个阶段，每个阶段都有明确的输入和输出。这种分阶段的处理方式使得MapReduce可以很好地处理大规模的数据集，但同时也意味着它不适合处理需要实时响应的任务。实时交互处理通常需要系统能够在短时间内对用户的输入作出响应，而这在MapReduce模型中是无法保证的。因此，对...

mapreduce的实现方式mapreduce的过程答：10、最后我们还设置了输入文件数量：mapreduce.input.num.files。11、二、计算出来的分片有时怎么传递给 map呢？对于单词数量如何累加？我们使用了就是InputFormat中的另一个方法createRecordReader() 这个方法：RecordReader： RecordReader是用来从一个输入分片中读取一个一个的K -V 对的抽象类...

大数据MapReduce的性能调优方法总结答：(1)合理设置map和reduce数：两个都不能设置太少，也不能设置太多。太少，会导致task等待，延长处理时间;太多，会导致 map、reduce任务间竞争资源，造成处理超时等错误。(2)设置map、reduce共存：调整slowstart.completedmaps参数，使map运行到一定程度后，reduce也开始运行，减少reduce的等待时间。(3)规避...

R的MapReduce库问题,怎么解决答：所有执行完毕后，MapReduce输出放在了R个分区的输出文件中（分别对应一个Reduce作业）。用户通常并不需要合并这R个文件，而是将其作为输入交给另一个MapReduce程序处理。整个过程中，输入数据是来自底层分布式文件系统（GFS）的，中间数据是放在本地文件系统的，最终输出数据是写入底层分布式文件系统（GFS）的...

MapReduce执行过程答：MapReduce里的Shuffle:描述着数据从map task输出到reduce task输入的这段过程。 Map端流程分析 1 每个输入分片会让一个map任务来处理,默认情况下,以HDFS的一个块的大小(默认64M)为一个分片,当然我们也可以设置块的大小。map输出的结果会暂且放在一个环形内存缓冲区中(该缓冲区的大小默认为100M,由io.sort.mb属性...

mapreduce工作流程答：1、输入分片（input split）：在进行map计算之前，mapreduce会根据输入文件计算输入分片（input split），每个输入分片（input split）针对一个map任务，输入分片（input split）存储的并非数据本身。假如我们设定hdfs的块的大小是64mb，如果我们输入有三个文件，大小分别是3mb、65mb和127mb，那么mapreduce会...

一个MapReduce程序中可以执行多个map任务或reduce任务吗答：根据你的描述：先有map然后redcue，但是面对多个job，map和redcue是同时进行的具体可参考：这里面讲的还是比较全的 mapreduce学习指导及疑难解惑汇总

大家正在搜

进见过程中不需要做到个人访谈过程中不需要做到在种子萌发的过程中可以不需要什么抗菌药的使用过程中不需要复制过程不需要过程不需要感谢不需要耗能的过程是下列不需要耗能的过程不需要能量的生理过程