MapReduce优化方法

2024-10-31 01:24:38

1、数据输入1.合并文件2.采用combineTextInputFormat

MapReduce优化方法

3、Reduce阶段1.合理设置map和reduce数2.设置map和reduce共存3.规避使用reduce4.合理设置reduce端的buffer

MapReduce优化方法

4、I/O传输

MapReduce优化方法MapReduce优化方法
猜你喜欢