hdfs

HDFS集群是由一个Master（NameNode）和多个Slave（DataNode）组成。HDFS内部，一个文件中的数据按照某种固定大小的（如128MB）块（Block）存储，每个块可以按照用户指定的副本量存储在不同的机器上。NameNode维护系统的命名空间，包括文件到块的映射关系、访问日志等属性的存储、操作功能等所有的元数据。文件的基础信息存放在NameNode当中，采用集中存储方案。NameNode定期通过心跳消息与每一个DataNode通信，给DataNode传递指令并收集其状态。HDFS在集群实现中只能有一个NameNode，但是可以设置一个备份的Secondory NameNode，来保证系统的可靠性、容错性。

单节点启动

Hadoop运行./start-dfs.sh时启动以下进程

• DataNode
• NameNode
• SecondaryNameNode

Hadoop运行./start-yarn.sh时启动以下进程

• NodeManager
• ResourceManager