您好,欢迎来到飒榕旅游知识分享网。
搜索
您的当前位置:首页hadoop的五个守护进程【转】

hadoop的五个守护进程【转】

来源:飒榕旅游知识分享网
hadoop的五个守护进程【转】

【转⾃】:http://xubindehao.iteye.com/blog/1395580

⼀般如果正常启动hadoop,我们可以在master上通过jps命令看到以下5个daemons:[root@master ~]# jps

19803 SecondaryNameNode19994 TaskTracker31144 Jps

19571 NameNode

19672 DataNode19887 JobTracker

下⾯依次介绍这些进程:1. NameNode

它是Hadoop 中的主服务器,管理⽂件系统名称空间和对集群中存储的⽂件的访问。参考资料:

2. SecondaryNameNode

它不是 namenode 的冗余守护进程,⽽是提供周期检查点和清理任务。

出于对可扩展性和容错性等考虑,我们⼀般将SecondaryNameNode运⾏在⼀台⾮NameNode的机器上。参考资料:3. DataNode

它负责管理连接到节点的存储(⼀个集群中可以有多个节点)。每个存储数据的节点运⾏⼀个 datanode 守护进程。4. JobTracker和TaskTracker

JobTracker负责调度 DataNode上的⼯作。每个 DataNode有⼀个TaskTracker,它们执⾏实际⼯作。JobTracker和 TaskTracker采⽤主-从形式,JobTracker跨DataNode分发⼯作,⽽ TaskTracker执⾏任务。JobTracker还检查请求的⼯作,如果⼀个 DataNode由于某种原因失败,JobTracker会重新调度以前的任务。

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- sarr.cn 版权所有

违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务