Hadoop心跳机制源码分析
正文:
一.体系背景
首先和大家说明一下:hadoop的心跳机制的底层是通过RPC机制实现的,这篇文章我只介绍心跳实现的代码,对于底层的具体实现,大家可以参考我的另几篇博客:
1. hadoop的RPC机制(参考:http://weixiaolu.iteye.com/blog/1504898 )
2. 动态代理(参考 :http://weixiaolu.iteye.com/blog/1477774 )
3. Java NIO(参考 :http://weixiaolu.iteye.com/blog/1479656 )
以上三篇文章和这篇文章完整地分析了hadoop的数据传输过程。大家可以当成一个体系来阅读。
二.心跳机制
1. hadoop集群是master/slave模式,master包括Namenode和Jobtracker,slave包括Datanode和Tasktracker。
2. master启动的时候,会开一个ipc server在那里,等待slave心跳。
3. slave启动时,会连接master,并每隔3秒钟主动向master发送一个“心跳”,这个时间可 以通过”heartbeat.recheck.interval”属性来设置。将自己的状态信息告诉master,然后master也是通过这个心跳的返回值,向slave节点传达指令。
4. 需要指出的是:namenode与datanode之间的通信,jobtracker与tasktracker之间的通信,都是通过“心跳”完成的。
三.Datanode、Namenode心跳源码分析
既然“心跳”是Datanode主动给Namenode发送的。那Datanode是怎么样发送的呢?下面贴出Datanode.class中的关键代码:
代码一:
Java代码 收藏代码
/**
* 循环调用“发送心跳”方法,直到shutdown
* 调用远程Namenode的方法
*/
public void offerService() throws Exception {
•••
while (shouldRun) {
try {
long startTime = now();
// heartBeatInterval是在启动Datanode时根据配置文件设置的,是心跳间隔时间
if (startTime - lastHeartbeat > heartBeatInterval) {
lastHeartbeat = startTime;
//Datanode发送心跳
DatanodeCommand[] cmds = namenode.sendHeartbeat(dnRegistration,
data.getCapacity(),
data.getDfsUsed(),
data.getRemaining(),
xmitsInProgress.get(),
getXceiverCount());
myMetrics.addHeartBeat(now() - startTime);
if (!processCommand(cmds))
continue;
}
•••
}
} // while (shouldRun)
} // offerService
需要注意的是:发送心跳的对象并不是datanode,而是一个名为namenode的对象,难道在datanode端就直接有个namenode的引用吗?其实不然,我们来看看这个namenode吧:
代码二:
Java代码 收藏代码
public DatanodeProtocol namenode = null;
namenode其实是一个DatanodeProtocol的引用,在对hadoop RPC机制分析的文章中我提到过,这是一个Datanode和Namenode通信的协议,其中有许多未实现的接口方法,sendHeartbeat()就是其中的一个。下面看看这个namenode对象是怎么被实例化的吧:
代码三:
Java代码 收藏代码
this.namenode = (DatanodeProtocol)
RPC.waitForProxy(DatanodeProtocol.class,
DatanodeProtocol.versionID,
nameNodeAddr,
conf);
其实这个namenode并不是Namenode的一个对象,而只是一个Datanode端对Namenode的代理对象,正是这个代理完成了“心跳”。代理的底层实现就是RPC机制了。参考博客:http://weixiaolu.iteye.com/blog/1504898 。
四.Tasktracker、Jobtracker心跳源码分析
同样我们从Tasktracker入手,下面贴出Tasktracker.class的关键代码:
代码四:
Java代码 收藏代码
代码一:
State offerService() throws Exception {
long lastHeartbeat = System.currentTimeMillis();
while (running && !shuttingDown) {
•••
// 发送心跳,调用代码二
HeartbeatResponse heartbeatResponse = transmitHeartBeat(now);
•••
return State.NORMAL;
}
代码二:
HeartbeatResponse transmitHeartBeat(long now) throws IOException {
•••
HeartbeatResponse heartbeatResponse = jobClient.heartbeat(status,
justStarted,
justInited,
askForNewTask,
heartbeatResponseId);
•••
return heartbeatResponse;
}
其实我觉得分析到这里大家就可以自己分析了,jobClient也是一个协议:
代码五:
Java代码 收藏代码
InterTrackerProtocol jobClient;
该协议用于定义Tasktracker和Jobtracker的通信。同样,它也是一个代理对象:
代码六:
Java代码 收藏代码
this.jobClient = (InterTrackerProtocol)
UserGroupInformation.getLoginUser().doAs(
new PrivilegedExceptionAction<Object>() {
public Object run() throws IOException {
return RPC.waitForProxy(InterTrackerProtocol.class,
InterTrackerProtocol.versionID,
jobTrackAddr, fConf);
}
});
代理的底层实现也是RPC机制。参考博客:http://weixiaolu.iteye.com/blog/1504898 。
分享到:
相关推荐
Hadoop豆瓣电影数据分析(Hadoop)操作源码
Hadoop源码分析(完整版),详细分析了Hadoop源码程序,为学习Hadoop的人提供很好的入门指导
hadoop源码,官方,放心下载,完整版,阅读hadoop源代码的目的不一定非是工作的需要,你可以把他看成一种修养,通过阅读hadoop源代码,加深自己对分布式系统的理解,培养自己踏实做事的心态。
Hadoop源码分析视频下载
Hadoop学习总结合源码分析,网上收集整理
caibinbupt的Hadoop源码分析完整版,包括 HDFS 和 MapReduce。 HDFS: 41章 MapReduce: 14章
实战hadoop,源码,刘鹏,开启通向云计算的捷径
hadoop2.8.4源码
Hadoop源码分析完整版..
Hadoop源码分析,Map-Reduce作业提交运行入手分析这个过程中涉及到的Hadoop源码架构,此外本文基于的Hadoop版本是2.6.4
NULL 博文链接:https://wmwork2010.iteye.com/blog/632016
基于Hadoop图书推荐系统源码+数据库.zip基于Hadoop图书推荐系统源码+数据库.zip基于Hadoop图书推荐系统源码+数据库.zip基于Hadoop图书推荐系统源码+数据库.zip基于Hadoop图书推荐系统源码+数据库.zip基于Hadoop图书...
2022毕业设计,基于 Hadoop 的游戏数据分析系统源码.zip
hadoop 1.2.1核心源码 包括 io,fs,ipc,net,http等类
hadoop2.7.3的源码包,hadoop关联源码的时候直接选择就可以查看源码。是自己通过mvn下载的源码之后压缩的。
Hadoop源代码分析(完整版).pdf
Hadoop-2.7.2源码及编译jar包.zip,包含 Apache Hadoop 源码包、编译后的 Win7、Win10、以及 Linux 包。 Hadoop-2.7.2源码及编译jar包.zip,包含 Apache Hadoop 源码包、编译后的 Win7、Win10、以及 Linux 包。 ...
Hadoop及源码 Hadoop及源码 Hadoop及源码 Hadoop及源码