`
itqn
  • 浏览: 862 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Hadoop心跳机制源码分析

 
阅读更多
Hadoop心跳机制源码分析

正文:

一.体系背景

首先和大家说明一下:hadoop的心跳机制的底层是通过RPC机制实现的,这篇文章我只介绍心跳实现的代码,对于底层的具体实现,大家可以参考我的另几篇博客:

1. hadoop的RPC机制(参考:http://weixiaolu.iteye.com/blog/1504898 )
2. 动态代理(参考 :http://weixiaolu.iteye.com/blog/1477774 )
3. Java NIO(参考 :http://weixiaolu.iteye.com/blog/1479656 )

以上三篇文章和这篇文章完整地分析了hadoop的数据传输过程。大家可以当成一个体系来阅读。

二.心跳机制

1. hadoop集群是master/slave模式,master包括Namenode和Jobtracker,slave包括Datanode和Tasktracker。

2. master启动的时候,会开一个ipc server在那里,等待slave心跳。

3. slave启动时,会连接master,并每隔3秒钟主动向master发送一个“心跳”,这个时间可 以通过”heartbeat.recheck.interval”属性来设置。将自己的状态信息告诉master,然后master也是通过这个心跳的返回值,向slave节点传达指令。

4. 需要指出的是:namenode与datanode之间的通信,jobtracker与tasktracker之间的通信,都是通过“心跳”完成的。

三.Datanode、Namenode心跳源码分析

既然“心跳”是Datanode主动给Namenode发送的。那Datanode是怎么样发送的呢?下面贴出Datanode.class中的关键代码:

代码一:
Java代码  收藏代码
/**
   * 循环调用“发送心跳”方法,直到shutdown
   * 调用远程Namenode的方法
   */ 
  public void offerService() throws Exception { 
••• 
    while (shouldRun) { 
      try { 
        long startTime = now(); 
         // heartBeatInterval是在启动Datanode时根据配置文件设置的,是心跳间隔时间 
        if (startTime - lastHeartbeat > heartBeatInterval) { 
          lastHeartbeat = startTime; 
//Datanode发送心跳 
          DatanodeCommand[] cmds = namenode.sendHeartbeat(dnRegistration, 
                                                       data.getCapacity(), 
                                                       data.getDfsUsed(), 
                                                       data.getRemaining(), 
                                                       xmitsInProgress.get(), 
                                                       getXceiverCount()); 
          myMetrics.addHeartBeat(now() - startTime); 
          
          if (!processCommand(cmds)) 
            continue; 
        } 
        
      ••• 
      } 
    } // while (shouldRun) 
  } // offerService 

需要注意的是:发送心跳的对象并不是datanode,而是一个名为namenode的对象,难道在datanode端就直接有个namenode的引用吗?其实不然,我们来看看这个namenode吧:

代码二:
Java代码  收藏代码
public DatanodeProtocol namenode = null; 

namenode其实是一个DatanodeProtocol的引用,在对hadoop RPC机制分析的文章中我提到过,这是一个Datanode和Namenode通信的协议,其中有许多未实现的接口方法,sendHeartbeat()就是其中的一个。下面看看这个namenode对象是怎么被实例化的吧:

代码三:
Java代码  收藏代码
this.namenode = (DatanodeProtocol)  
    RPC.waitForProxy(DatanodeProtocol.class, 
                     DatanodeProtocol.versionID, 
                     nameNodeAddr,  
                     conf); 

其实这个namenode并不是Namenode的一个对象,而只是一个Datanode端对Namenode的代理对象,正是这个代理完成了“心跳”。代理的底层实现就是RPC机制了。参考博客:http://weixiaolu.iteye.com/blog/1504898 。

四.Tasktracker、Jobtracker心跳源码分析

同样我们从Tasktracker入手,下面贴出Tasktracker.class的关键代码:

代码四:
Java代码  收藏代码
代码一: 
State offerService() throws Exception { 
    long lastHeartbeat = System.currentTimeMillis(); 
    while (running && !shuttingDown) { 
     ••• 
         
        // 发送心跳,调用代码二 
        HeartbeatResponse heartbeatResponse = transmitHeartBeat(now); 
 
      ••• 
    return State.NORMAL; 
  } 
 
代码二: 
HeartbeatResponse transmitHeartBeat(long now) throws IOException { 
   ••• 
    HeartbeatResponse heartbeatResponse = jobClient.heartbeat(status,  
                                                              justStarted, 
                                                              justInited, 
                                                              askForNewTask,  
                                                         heartbeatResponseId);                               
••• 
    return heartbeatResponse; 
  } 

其实我觉得分析到这里大家就可以自己分析了,jobClient也是一个协议:

代码五:
Java代码  收藏代码
InterTrackerProtocol jobClient; 

该协议用于定义Tasktracker和Jobtracker的通信。同样,它也是一个代理对象:

代码六:
Java代码  收藏代码
this.jobClient = (InterTrackerProtocol)  
UserGroupInformation.getLoginUser().doAs( 
     new PrivilegedExceptionAction<Object>() { 
   public Object run() throws IOException { 
     return RPC.waitForProxy(InterTrackerProtocol.class, 
         InterTrackerProtocol.versionID, 
         jobTrackAddr, fConf); 
   } 
}); 

代理的底层实现也是RPC机制。参考博客:http://weixiaolu.iteye.com/blog/1504898 。
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics