YARN中Resource Manager的高可用中“脑裂”问题的解决
"脑裂"问题：Resource Manager由于网络闪退或者自身故障未及时对外做出响应，出现“假死”现象，导致出发了Zookeeper新一轮的主备切换，但是，对于“假死”的RM自身来说，它仍认...
分类 大数据 下的文章
- 首页
- 大数据
总结YARN中的三种资源调度器（Resource manager中）
1. YARN的资源调度YARN是对应用进行资源分配，应用是指applicatoin master，用来处理job的YARN的应用进程。（1）MapReduce采用的模型是一个用户作业对应一个应...
理解Hive Map join
在Map阶段进行表之间的连接。而不需要进入 Reduce 阶段才进行连接。这样就节省了在Shuffle阶段时要进行的大量数据传输。从而起到了优化作业的作用。即在map端进行join，其原理是 b...
Hive中数据倾斜原因及处理
1数据倾斜的表现（数据分配不均匀）任务进度长时间维持在99％（或100％），看任务监控页面，发现只有少量（1个或几个） reduce子任务未完成。因为其处的数据量和其他 reduce差异过大。单...
Hive内部表和外部表的区别
主要体现在load与drop（是否同时删除元数据与数据）的操作上：创建表：Hive创建内部表时，会将数据移动到数据仓库指向的路径，hive管理数据的生命周期；Hive创建外部表时，仅记录数据所在...
MapReduce的shuffle机制
shuffle过程shuffle过程（简单理解）：从map的输出到reduce的输入之间的过程。概念：Map是映射，负责数据的过滤分法，将原始数据转化为键值对；Reduce是合并，将具有相同的k...
MapReduce1和MapReduce2（YARN）工作机制
MapReduce1工作机制：工作角色：客户端、jobtracker（协调作业）、tasktracker（执行任务）。提交资源：客户端启动一个job。客户端向jobtracker请求一个新作业，...
在HDFS写入数据，写某一副本出错时HDFS的处理流程
首先会关闭管线pipeline。将已经发送到管道中但是没有收到确认的数据包重新写回数据队列，这样无论哪个节点发生故障，都不会发生数据丢失。这个过程是在确认队列中将未收到确认的数据包删除，写回到数...
NameNode中的高可用（HA）的实现
Namenode的HA主要包括：主备切换、共享日志储存。（可以拓展Zookeeper的选举算法，比如利用了强一致性）1、在集群中，存在多个 namenode，这些 namenode处于 acti...
联邦HDFS的概念及原理，HDFS的1.x和2.x架构的区别
hadoop1.x的hdfs架构主要由namespace（命名空间）和Block Storage（块的存储）两层组成局限性：namespace和block manager高度耦合，其他服务难以单...
检查点机制，Fsimage与Editlog的合并过程理解
fsimage文件：即命名空间映像文件，是内存中的元数据在硬盘上的checkpoint，包含文件系统中的所有目录和文件inode的序列化信息。editlog：文件系统的写操作首先把它记录在edi...
HDFS客户端进行文件的读取与写入操作过程
HDFS客户端读流程：初始化FileSystem，然后客户端用DistributedFileSystem的open方法打开文件。FileSystem用RPC调用元数据节点，采用getBlockL...