mapreduce共5篇
排序
大数据框架之Hadoop：MapReduce（五）Yarn资源调度器
ApacheYARN(YetAnotherResourceNegotiator)是hadoop2.0引入的集群资源管理系统。用户可以将各种服务框架部署在YARN上，由YARN进行统一地管理和资源分配。简言之，Yarn是一个资源调度…
2年前
大数据技术之Hadoop（Yarn）
第1章Yarn资源调度器我们先来思考下面几个问题：1）如何管理集群资源？2）如何给任务合理分配资源？Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平...
2年前
Hadoop核心之MapReduce框架总结Ⅰ
说明：在每一章节的重点概括，是笔者理解，感觉比较重要的内容，仅供笔者复习时使用。MapReduce框架总结目录1.MapReduce概述1.1MapReduce定义1.2MapReduce优缺点1.3MapReduce核心思想1.…
3年前
Hadoop之企业级解决方案
目录1.小文件问题及企业级解决方案1.1小文件问题1.2小文件解决方案1.2.1SequenceFile1.2.2MapFile1.3读取HDFS上的SequenceFile实现WordCount案例2.MapReduce数据倾斜…
3年前
Hadoop (十五) ——— Hadoop 数据压缩
目录一、概述二、MR支持的压缩编码三、压缩方式选择四、压缩位置选择五、压缩参数配置六、Map输出端采用压缩七、Reduce输出端采用压缩一、概述压缩的优缺点优点：以减少磁盘IO、减少磁盘存储空...
3年前