当前位置：首页 > news >正文

Hadoop期末复习（完整版）

news 2024/11/1 23:38:13

前言（全部为语雀导出，个人所写，仅用于学习！！！！）

复习之前我们要有目的性，明确考什么，不考什么。

对于hadoop来说，首先理论方面是跑不掉的，而且还是重中之重。例如：hdfs的读写流程，hdfs副本机制等等。其次是hadoop命令,如果学习了hadoop不了解hadoop dfs …和hdfs dfs …那么你可以重修了。最后要明确那一部分会出什么题。

下面背景色或者字体改变的背过就完了。

一初始Hadoop部分（了解）

这一章主要考点如下：

1.大数据技术的5V特征是什么？（选择，简答）

容量（Volume）：数据的大小决定所考虑的数据的价值和潜在的信息

种类（Variety）：数据类型的多样性

速度（Velocity）：指获得数据的速度

可变性（Variability）：妨碍了处理和有效地管理数据的过程

真实性（Veracity）：数据的质量

2.大数据包括特点是（选择，简答）

海量数据处理；多结构化数据；增长速度快；价值密度低。

3.Hadoop的创始人是谁？（选择）

Doug Cutting。

扩充：以下项目中，哪个不是由Doug Cutting所创立的（）。

A、Hadoop B、Nutch C、Lucene D、Solr

4.Hadoop 的框架最核心的设计：HDFS（存储）和 MapReduce（计算）。或者问Hadoop核心三大组件是：HDFS 、MapReduce 和 YARN。（填空）

注意：两个就没YARN，三个就有。

5.Hadoop 物理架构：Master-Slave 架构。（选择、填空）

6.Hadoop 的优点？（简答）

高可靠性：Hadoop按位存储和处理数据的能力值得人们信赖。

高效性：Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

高扩展性：Hadoop是在可用的计算机集蔟间分配数据并完成计算任务的，这些集蔟可以方便地扩展到数以千计的节点。

高容错性：Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

7.请列举几个Hadoop生态圈里的组件并简述其作用？（简答）最少记住四个标黄的

HDFS ：分布式文件系统，用于存储大规模数据，具备高容错性。

MapReduce：编程模型和计算框架，用于批量处理大数据，分为 Map 和 Reduce 阶段。

YARN ：资源管理和调度系统，负责集群资源的分配和任务调度。

Hive：数据仓库工具，使用类 SQL 查询语言进行数据分析和处理。

HBase：分布式 NoSQL 数据库，支持实时随机数据访问。

Spark：快速的计算引擎，支持批处理和流式处理，更高效于 MapReduce。

ZooKeeper：集群协调服务，处理分布式应用程序的同步和状态管理。

二 Hadoop3.x 环境搭建（附实验考点）（重点）

1.目前，[ Hadoop](https://so.csdn.net/so/search?q=Hadoop&spm=1001.2101.3001.7020) 的最高版本是Hadoop3.x。（选择）

2.Hadoop有三种运行模式，分别是：单机（本地）模式，伪分布式模式，全分布式模式。（选择）

运行模式	说明	使用场景	配置要求
单机模式（Local Mode）	所有Hadoop组件在单个进程中运行，没有启动守护进程。	开发和测试小规模的Hadoop应用，快速验证程序逻辑。	配置简单，不需要复杂的集群设置。
伪分布式模式（Pseudo-Distributed Mode）	模拟分布式环境，Hadoop守护进程（如NameNode、DataNode等）作为独立进程运行。	进行全面的测试，适合HDFS的文件输入输出操作和内存检查。	需配置Hadoop的配置文件（如core-site.xml、hdfs-site.xml）以模拟多节点环境。
全分布式模式（Fully-Distributed Mode）	在多台机器上运行，每台机器作为独立节点，运行不同的Hadoop守护进程。	生产环境和大规模数据处理，充分利用集群资源。	配置每台机器，包括网络设置、SSH无密码登录等。

补充：关于Hadoop单机模式和伪分布式模式的说法，正确的是（D）
A．两者都起守护进程，且守护进程运行在一台机器上
B．单机模式不使用HDFS，但加载守护进程
C．两者都不与守护进程交互，避免复杂性
D．后者比前者增加了HDFS输入输出以及可检查内存使用情况

以下哪一项不属于 Hadoop 可以运行的模式（C）。

A、单机（本地）模式 B、伪分布式模式

C、互联网模式 D、全分布式模式

3.Hadoop集群配置文件及其作用。（选择）这几个都要背过必考类型

配置文件	修改内容	可修改参数
`hadoop-env.sh`	配置 JDK 环境变量	`<font style="background-color:#FBDE28;">JAVA_HOME</font>`
`core-site.xml`	配置 HDFS 地址和临时文件目录	`<font style="background-color:#FBDE28;">fs.defaultFS</font>` , `hadoop.tmp.dir`
`hdfs-site.xml`	配置 HDFS 上的 NameNode 和 DataNode 设置	`dfs.replication` , `dfs.namenode.name.dir` , `dfs.datanode.data.dir`
`mapred-site.xml`	指定 MapReduce运行时框架	`mapreduce.framework.name`
`yarn-site.xml`	配置 ResourceManager 和 NodeManager	`yarn.resourcemanager.address` , `yarn.nodemanager.aux-services`
`slaves`	记录所有从节点的主机名	列出每个从节点的主机名

补充例：

在配置Hadoop时，经常会在下面哪一个文件中配置JAVA_HOME（c）。

A、hadoop-default.xml B、hadoop-site.xml

C、hadoop-env.sh D、configuration.xsl

HDFS默认的当前工作目录是/user/$USER，fs.default.name的值需要在哪个配置文件内说明。（B）**
A. mapred-site.xml B. core-site.xml
C. hdfs-site.xml **D. 以上均不是

4.搭建环境时比较重要命令。（选择，填空，简答）

（1 让新的linux环境变量生效：source /etc/profile

（2 进行初始化命令：hdfs namenode -format

（3 单节点逐个启动：

在主节点上启动HDFS namenode进程：hadoop-daemon.sh start namenode

在从节点上使用指令启动 HDFS DataNode进程：hadoop-daemon.sh start DataNode

在主节点上使用指令启动Yarn RecourseManager进程：yarn-daemon.sh start recoursemanager

在每个节点上从节点上使用指令启动Yarn nodemanager进程：yarn-daemon.sh start nodemanager

在规划节点Hadoop02使用指令启动SecondaryNameNode：hadoop-daemon.sh start secondarynamenode

（4 脚本一键启动和关闭全部守护进程

在主节点Hadoop上使用指令启动所有HDFS服务进程：start-dfs.sh

在主节点Hadoop01上使用指令启动所有Yarn服务进程：start-yarn.sh

将以上指令start改为stop就为关闭服务命令

(5 查看master上启动的5个NameNode、DataNode、SecondaryNameNode、NodeManager、ResourceManager守护进程：jps

注：这里只有搭建环境部分，剩余内容再第六，第七章。

补充例：Hadoop集群单独启动NameNode进程的命令是（c）。

A、./start-namenode.sh

B、./start-all.sh start namenode

C、./hadoop-daemon.sh start namenode

D、./hadoop-daemons.sh start namenode

三认识HDFS分布式文件系统（核心）

1.HDFS是分布式文件系统，根据Google发表的论文 GFS建立起来的。（选择，填空）

补充例：下面与HDFS类似的框架是（B）。

A、EXT3 B、GFS C、NTFS D、FAT32

2.HDFS的优势：（简答）

（1 大数据处理：HDFS 默认会将文件分割成 Block，以 128MB (默认)为 1 个 Block，然后按键值对存储在 HDFS 上，并将键值对的映射存储到内存中。如果小文件太多，那么内存负担会很重。

（2 流式数据访问：一次写入，多次读取是最高效的访问模式。因此，读取整个数据集的时间延迟比读取第一条记录的时间延迟更重要。

（3 商⽤硬件：Hadoop 被设计运行在商⽤硬件的集群上，并通过保存多个副本的形式提供冗余的容错机制，且副本丢失或宕机会自动恢复。默认保存的副本数为 3 个。

补充：例下列选项中，Hadoop集群的主要瓶颈是（B）。

A、CPU B、磁盘IO C、网络 D、内存

3.HDFS的局限性：（简答）

 （1）不能进行低时间延迟的数据访问：HDFS是为高数据吞吐量应用优化的，以提高时间延迟为代价。<font style="background-color:#F9EFCD;">HDFS要求低时间延迟数据访问的应用不适合在HDFS上运行。</font>（2）不能存储大量的小文件：由于NameNode将文件系统的元数据存储在内存中，因此该文件系统所能存储的文件总数受限于NameNode的内存容量。每个文件、目录和数据块的存储信息大约占150个字节。因此，举例来说，如果有一百万个文件，且每个文件占一个数据块，那至少需要300MB的内存。但是如果存储数据十亿的文件就超出了当前硬件的能力。<font style="background-color:#F9EFCD;">所以存储文件时尽量将小文件合并成较大的文件。</font>（3）不支持并发写入、文件随机修改：一个文件只能有一个写，不允许多个线程同时写；仅支持数据append（追加），不支持文件的随机修改，这种限制使得<font style="background-color:#F9EFCD;">HDFS不适合需要频繁修改文件内容的应用。</font>

补充：

（1 请例举出不适用HDFS的场景。

低延迟数据访问需求；大量小文件存储；需要高并发写入；需要随机修改文件内容。

（2 HDFS无法高效存储大量小文件，想让它能处理好小文件，比较可行的改进策略不包括（D）

A. 利用SequenceFile、MapFile、Har等方式归档小文件。

B. 多Master设计。

C. Block大小适当调小。

D. 调大namenode内存或将文件系统元数据存到硬盘里。

4.HDFS的特性：（了解有印象即可，不大好出题，可能会简答，但是过于简单，最好记下几条）

    高度容错，可扩展性及可配置性强。

跨平台。使用Java语言开发，以JVM为运行环境，支持多个主流平台的环境。

    Shell命令接口。HDFS拥有一套文件系统操作的Shell命令，可以用来直接操作HDFS文件系统。Web管理平台。NameNode和DataNode内置有Web服务器，方便用户检查集群的当前运行状态。文件权限管理。Hadoop分布式文件系统实现了一个和POSIX系统类似的文件和目录的权限模型。每个文件和目录有一个所有者（owner）和一个组（group）。文件或目录对其所有者、同组的其他用户以及所有其他用户分别有不同的权限。机架感知功能。机架感知功能使得Hadoop在任务调度和分配存储空间时系统会考虑节点的物理位置，从而实现高效的访问和计算。安全模式。安全模式是Hadoop的一种保护机制，用于保证集群中的数据块的安全性。集群维护时进入这种管理模式。当集群启动时会首先进入安全模式。当系统处于安全模式时会检查数据块的完整性。Rebalancer功能。当DataNode之间数据不均衡时，可以平衡集群上的数据负载，实现数据负载均衡。允许升级和回滚。在软件更新后有异常情况发生时，HDFS允许系统回滚到更新或升级之前的状态。

5.HDFS的设计目标：（了解有印象即可，不大好出题，可能会简答，但是过于简单，最好记下几条）

    检测和快速恢复硬件故障：硬件错误是常态而不是异常。因此错误检测和快速、自动的恢复是HDFS最核心的架构目标。流式数据访问：运行在HDFS上的应用和普通的应用不同，需要流式访问它们的数据集。比之数据访问的低延迟问题，更关键的在于数据访问的高吞吐量。大规模数据集：运行在HDFS上的应用具有很大的数据集。因此，HDFS被调节以支持大文件存储。简化一致的模型：“一次写入多次读取”的文件访问模型。一个文件经过创建、写入和关闭之后就不需要改变。这一假设简化了数据一致性问题，并且使高吞吐量的数据访问成为可能。移动计算的代价比移动数据的代价低：一个应用请求的计算，离它操作的数据越近就越高效，在数据达到海量级别的时候更是如此。因为这样就能降低网络阻塞的影响，提高系统数据的吞吐量。在不同的软硬件平台间的可移植性：HDFS在设计的时候就考虑到平台的可移植性。这种特性方便了HDFS作为大规模数据应用平台的推广。健壮性：在出错时也要保证数据存储的可靠性。标准的通信协议：所有的HDFS通讯协议都是建立在TCP/IP协议之上。客户端通过一个可配置的TCP端口连接到Namenode，通过ClientProtocol协议与Namenode交互。

6.HDFS核心概念：（超级重点必考全部要背过，选择，填空，简答都会考）

（1 数据块：

默认为 128MB（Hadoop 2.X）；

可根据实际需求进行配置，配置 hdfs-site.xml 文件中的 dfs.block.size 属性；

HDFS上的文件划分为数据块，作为独立的存储单元，数据块是HDFS文件系统存储处理数据的最小单元；

储存模式方式看下面你就明白了，200MB文件储存，200/128=1个快+72MB,一共占用俩块，这里需要注意的是HDFS中小于一个块大小的文件并不会占据整个块的空间，可以继续用于储存其他文件。

核心问题1：为什么HDFS的数据块如此之大？（理解版：核心问题是效率，总时间=寻址时间+传输时间，寻址时间远大于传输时间，因此hdfs数据块大。）

HDFS的数据块比磁盘块大，以最小化寻址开销。如果块足够大，从磁盘传输数据的时间将显著大于定位块起始位置的时间。因此，传输一个由多个块组成的文件的时间主要取决于磁盘传输速率。然而，块大小也不能过大，否则任务数可能少于集群节点数量，从而影响作业运行速度。

例如：要传输100MB的数据，假设寻址时间为10ms，而传输的速率为100MB/s：如果我们将块大小设置为100MB，这时寻址的时间仅占传输时间的1%；如果将块的大小设置为10MB，这时寻址的时间会占传输时间的10%。所以在允许的范围内，增加块的大小，可以有效缩短数据传输的时间。

核心问题2：对分布式文件系统中的块进行抽象会带来什么好处。

1.一个文件的大小可以大于集群中任意一个磁盘的容量

2.简化存储子空间

3.块还非常适合⽤于数据备份，提供数据冗余，进而提高数据容错能力和提高可⽤性

补充例：

Hadoop2.0中HDFS 默认 Block Size（C）。
A. 32MB B. 64MB C. 128MB D. 256MB

一个gzip文件大小75MB，客户端设置Block大小为64MB，请问其占用几个Block？（B）
A、3 B、2 C、4 D、1
如果一个Hadoop集群中HDFS的默认大小是128MB，本地磁盘有个HDFS上的目录包含100个纯文本文件，每个文件200MB。如果使用TextInputFormat作为输入格式类，将该目录作为作业输入，将会启动（C）个Map。

A. 64 B. 100 C. 200 D. 640

一个文件大小156MB，在Hadoop2.0中默认情况下请问其占用几个Block（B）？

A. 1 B. 2 C. 3 D. 4

（2 数据复制：

HDFS存储大数据，文件分成等大小块（除最后一个），块默认复制多次以保证数据冗余。块大小和复制次数可配置，文件只能写一次，且同时只能有一个写入者。

理解例子：

文件/users/sameerp/data/part-0的Replication因子值是2，Block的ID列表包括了1和3，可以看到块1和块3分别被冗余复制了两份数据块。

文件/users/sameerp/data/part-1的Replication因子值是3，Block的ID列表包括了2、4和5，可以看到块2、块4和块5分别被冗余复制了三份数据块。

（3 数据副本的存放策略：

HDFS默认的副本复制因子是3。

修改副本存放策略。

方法1：修改配置文件hdfs-site.xml。（需要重启HDFS系统才能生效）

<property><name>dfs.replication</name><value>1</value>
</property>

默认dfs.replication的值为3，通过这种方法虽然更改了配置文件，但是参数只在文件被写入dfs时起作用，不会改变之前写入的文件的备份数。

方法2：通过命令更改备份数。（不需要重启HDFS系统即可生效）

# bin/hadoop fs -setrep -R 1 /

理解例子：（最好背过）

第一个Block副本放在client所在机架的node里（如果client不在集群范围内，则存放这第一个Block副本的node是随机选取的，当然系统会尝试不选择哪些太满或者太忙的node）。

    第二个Block副本放置在与第一个Block副本不同机架的node中（随机选择）。第三个Block副本和第二个Block副本在同一个机架，随机放在不同的node中。

（4 机架感知

NameNode管理HDFS文件块的复制。基本的副本放置策略是将副本分布在不同机架，以提高系统的可靠性，但这会增加写副本的成本，因为需要跨机架或数据中心传输数据。机架感知的策略在保证副本分布在不同机架的可靠性的同时，优化了带宽使用，通常只需在一个机架内传输数据。

    默认Hadoop机架感知是没有启用的，需要在NameNode机器的<font style="color:#70000D;">core-site.xml</font>里配置。

在没有机架信息的情况下，NameNode默认将所有的slaves机器全部默认为在/default-rack下，此时写Block时，所有DataNode机器的选择完全是随机的。

当Hadoop配置了机架感知信息后，数据副本的存放策略如下：

第一个副本放在上传文件的DataNode（如果该DataNode是上传机器），或者随机选择一个DataNode。
第二个副本放在与第一个副本不同机架的随机DataNode上。
第三个副本放在第二个副本所在机架的某个DataNode上，如果前两个副本不在同一机架，则可能放在任一机架上。
NameNode会根据客户端与DataNode之间的“距离”对DataNode列表排序。
客户端（DFSClient）根据排序后的列表，从最近的DataNode开始写入数据。
依次写入后续的DataNode，直到所有副本都写入成功。

示例：

关于数据副本的存放策略正确的有些?（ABCD）

A、第三个副本:与第一个副本相同机架的其他节点上;

B、更多副本:随机节点。

C、第一个副本,放置在上传文件的数据节点;

D、第二个副本,放置在与第一个副本不同的机架的节点上;

（5 安全模式（只列考点

作用：保护集群数据的完整性.

启动方式：NameNode在启动时会自动进入安全模式（SafeMode），也可以手动进入。

进入后，检查数据完整性（数据块的副本数量是否满足配置的最小副本比率）。

在hdfs-default.xml文件中，通过dfs.safemode.threshold.pct属性设置最小副本比率阈值。

当系统处于安全模式时，不接受任何对名称空间的修改，也不会对数据块进行复制或删除，但是可以浏览目录结构、查看文件内容等操作。在安全模式下尝试进行禁止的操作时，会抛出SafeModeException。

hadoop dfsadmin -safemode leave //强制退出安全模式
hadoop dfsadmin -safemode enter //进入安全模式
hadoop dfsadmin -safemode get //查看安全模式状态
hadoop dfsadmin -safemode wait //等待，一直到安全模式结束

补充例：NameNode在启动时自动进入安全模式，在安全模式阶段，说法错误的是(D)

A. 安全模式目的是在系统启动时检查各个DataNode上数据块的有效性。

B. 根据策略对数据块进行必要的复制或删除。

C. 当数据块最小百分比数满足最小副本数条件时，会自动退出安全模式。

D. 文件系统允许有修改。

（6 负载均衡（考的几率不大）

重新均衡DataNode上的数据分布命令：

$ HADOOP_HOME/bin/start-balancer.sh -t 10%

在这个命令中，-t 参数后面跟的是 HDFS 达到平衡状态的磁盘使⽤率偏差值。如果机器与机器之间磁盘使⽤率偏差小于 10%，那么我们就认为 HDFS 集群已经达到了平衡状态。

具体过程：

① 数据均衡服务( Rebalancing Server) 首先要求 NameNode 生成 DataNode 数据分布分析报告，获取每个 DataNode磁盘使用情况。

    ② 数据均衡服务汇总需要移动的数据块分布情况，计算具体数据块迁移路线图， 确保为网络内的最短路径。③ 开始数据块迁移任务, Proxy Source DataNode(代理源数据节点)复制一块需要移动的数据块。④ 将复制的数据块复制到目标 DataNode节点上。⑤ 删除原始数据块及在 NameNode 上存储的元信息， 并将新的元信息更新到 NameNode上。⑥目标 DataNode 向 Proxy Source DataNode 确认该数据块迁移完成。⑦ Proxy Source DataNode 向数据均衡服务确认本次数据块迁移完成， 然后继续执行这个过程， 直至集群达到数据均衡标准。

（7 心跳机制（考的几率不大）

Hadoop 集群节点之间的通信是通过心跳机制实现的。所谓“心跳”是指的持续的按照一定频率在运行，执行请求和响应。当长时间没有发送心跳时，NameNode 就判断 DataNode 的连接已经中断，不能继续工作了，就被定性为”dead node”。NameNode 会检查"dead node"中的副本数据，复制到其他的 DataNode 中。

Hadoop 的心跳机制的具体实现思路是：

（1）当 master 节点启动时，会开一个 rpc server，等待 slave 的心跳连接。

（2） slave 节点启动时，会连接到 master，并开始每隔 3 秒钟主动向 master 发送一个“心跳”，这个时间间隔可以通过 heartbeat.recheck.interval 属性来设置。

（3） slave 通过“心跳”将自己的状态告诉 master，master 返回“心跳”值，向 slave 节点传达指令。

（4） Hadoop 集群中各个进程之间的通信，都是通过“心跳”这种 RPC 通信来完成的。

（5）当 NameNode 长时间没有接收到 DataNode 发送的“心跳”时，NameNode 就判断DataNode 的连接已经中断，就被定性为”dead node”。NameNode 会检查 dead node中的副本数据，复制到其他的 DataNode 中。

7.HDFS体系结构(选择，填空，简答) （这里无论如何都要背过，不然后面无法学)

（1 单NameNode节点集群架构：

单NameNode节点的HDFS集群是由一个NameNode和一定数目的DataNode组成。

NameNode是一个中心服务器，负责管理文件系统的命名空间和客户端对文件的访问。

NameNode执行文件系统的命名空间操作，例如打开、关闭、重命名文件和目录，同时决定Block到DataNode节点的映射。

DataNode负责处理文件系统的读写请求，在NameNode的指挥下进行Block的创建、删除等。

一个文件被分成一个或多个Block，这些Block存储在DataNode集合里。

（2 一个典型的 HDFS 集群通常由 NameNode、SecondaryNameNode 和 DataNode 三个节点组成，其实就是运行在这些节点服务器上的进程。

节点名	主要功能	容错机制
NameNode（命名节点） (一个集群通常只有一个活动的NameNode节点) (决定是否将文件映射到DataNode的副本上)	1. 提供名称查询服务，是一个 Jetty服务器。 2. 保存元数据信息，包括文件的所有者和权限、文件包含的块和块在 DataNode 的位置（通过“心跳”机制上报）。 3. 启动时加载元数据信息到内存。	1. 使用 SecondaryNameNode 恢复 NameNode。 2. 利用 NameNode 的高可用（HA）机制，包括自动故障转移和多个NameNode的配置。
SecondaryNameNode	1. 定期将 Edits 文件中的操作合并到 FsImage 文件中，并清空 Edits 文件。 2. NameNode 重启时加载最新的 FsImage 文件，并重新创建 Edits 文件，记录自上次 FsImage以来的操作。此机制减少了重启时间并确保 HDFS 系统完整性。
DataNode（数据节点） (负责数据存储计算)	1. 保存数据块，每个块对应一个元数据信息文件，描述该块属于哪个文件及其序号。 2. 启动时向 NameNode 汇报块信息。 3. 通过发送心跳保持与 NameNode 的联系；若 NameNode 10 分钟未收到心跳，则认为该 DataNode 已失效，并将块信息复制到其他 DataNode，以保证副本数量。	数据块副本在多个 DataNode 上存储，提供数据冗余。如果一个 DataNode 失效，其他 DataNode 上的副本可以被用来恢复数据。

补充例：

1）HDFS 的 NameNode 负责管理文件系统的命名空间，将所有的文件和文件夹的元数据保存在一个文件系统树中，这些信息也会在硬盘上保存成以下文件（C）

A．日志 B．命名空间镜像 C．两者都是

2）下面哪个节点负责 HDFS 的数据存储（C）。

A、NameNode B、ResourceManager

C、DataNode D、SecondaryNameNode

3）HDFS 的 NameNode 负责管理文件系统的命名空间，将所有的文件和文件夹的元数据保存在一个文件系统树中，这些信息也会在硬盘上保存成以下文件（C）

A．日志 B．命名空间镜像 C．两者都是

4）在Hadoop中，下列哪个进程通常与NameNode在同一节点上启动（B）。

A、SecondaryNameNode B、Jobtracker

C、DataNode D、TaskTracker

5）在Hadoop中，集群会启动哪些进程，他们的作用分别是什么？

NameNode：这是Hadoop的主节点，负责管理HDFS（Hadoop分布式文件系统）的元数据，包括文件系统的目录结构、文件到数据块的映射以及数据块的位置等。NameNode不存储数据块的实际内容。

DataNode：这些是HDFS的工作节点，负责存储实际的数据块。DataNode周期性地向NameNode发送心跳信号和数据块报告，以确保它们的健康状态和数据的一致性。

ResourceManager：这是YARN（Yet Another Resource Negotiator）的主节点，负责全局资源管理与调度。它管理集群资源并协调各个应用程序的运行。

NodeManager：这是YARN的工作节点，负责具体的资源管理，会在本地节点上监控容器（Containers）的资源使用情况。NodeManager也负责启动和管理应用程序的容器。

Secondary NameNode：虽然这个进程的名字包含“NameNode”，但它并不是一个备份的NameNode。它的主要作用是定期合并NameNode的元数据（fsimage和edits文件），以减少NameNode的内存使用和提高容错能力。

四 HDFS运行机制（核心）

1.RPC远程过程调用协议：（选择，填空，简答）

TCP/IP 协议（目前网上聊天⽤）或 UDP（客户端可靠协议但是信息传输效率不高）。

在OSI网络通信模型中，RPC跨域了传输层和应用层。

（1 一个完整的RPC架构里面包含了四个核心的组件：（相对不是那么重要）

    1.客户端(Client):服务的调用方。2.客户端存根(Client Stub):存放服务端的地址消息，再将客户端的请求参数打包成网络消息，然后通过网络远程发送给服务方。3.服务端(Server):真正的服务提供者。4.服务端存根(Server Stub):接收客户端发送过来的消息，将消息解包，并调用本地的方法。

（2 Hadoop的RPC机制（分为四部分）：（必须背过）

序列化层：Client与Server端通信传递的信息采用Hadoop提供的序列化类或自定义的Writable类型。

函数调用层：Hadoop RPC通过动态代理以及Java反射实现函数调用。

网络传输层：Hadoop RPC采用了基于TCP/IP的Socket机制。

服务器端框架层：RPC Server利用Java NIO以及事件驱动的I/O模型，提高RPC Server并发处理能力。

补充例：

Hadoop的RPC机制同其他RPC框架一样，可分为四个部分，请简述这四层的名称及各自的实现机制。

答案就是上方。

Hadoop RPC的实现模型主要特点有透明性、高性能和可控性。通过动态代理、反射——动态加载类、序列化、非阻塞的异步IO（NIO）实现。

Hadoop的RPC总体架构：Hadoop RPC = 动态代理 + 定制的二进制流。

（再细9.9成不会考，但是就怕万一，想再细了解看：博客）

2.HDFS文件写入（超级重要，简体题必考，所有图都要背过！！！！）

（1 HDFS读取文件流程

① 使用HDFS 提供的 Client, 向远程的NameNode 发起 RPC 读文件请求。

② NameNode 会视情况返回文件的部分或者全部数据块列表，对于每个数据块， NameNode都会返回有该数据块副本的 DataNode 地址。

③Client会选取最近的DataNode来读取数据块; 如果 Client本身就是 DataNode, 那么将从本地直接获取数据。

④读取完当前数据块后，关闭当前的 DataNode 连接，并为读取下一个数据块寻找最佳的DataNode。

⑤当读完数据块列表后，且文件读取还没有结束， Client会继续向NameNode 获取下一批数据块列表。

⑥每读取完一个数据块，都会进行校验和验证，如果读取 DataNode 时出现错误， Client会通知NameNode，然后再从下一个拥有该数据块副本的DataNode 继续读取。

（2 写入示例

将64M的block1数据块按64k的package为单位划分。

然后client将第一个package发送给Rack1机架上的host2结点。

当host2结点接收完成后，将第一个package发送给Rack2机架上的host1与此同时client向host2发送第二个package。

当host1结点接收完成后，将第一个package发送给Rack2机架上的host3，与此同时host2向host1发送第二个pabckage。

以此类推，直到将block1全部发送完成。

当block1全部发送完成后，host2，host1，host3向NameNode节点发送通知，NameNode记录并将消息发送给host2，host2再向client发送消息通知client数据块block1已经发送完成，NameNode需要等待client确认。

client收到host2发送的消息后，向NameNode发送确认消息，至此，block1才真正完成了写入的过程。

数据块block1发送完成后，再向host7，host8，host4发送block2，发送的过程与block1相似，直到全部数据块发送完成。

（3 使用HDFS API写文件：

public class FileSystemCat {public static void main(String[] args) throws Exception {String localPath = args[0];String dfsPath = args[1];InputStream in = null;OutputStream out = null;Configuration conf = new Configuration();FileSystem fs = FileSystem.get(URI.create(dfsPath), conf);try {in = new BufferedInputStream(new FileInputStream(localPath));out = fs.create(new Path(dfsPath), new Progressable() {@Overridepublic void progress() {System.out.print(" . ");}});IOUtils.copyBytes(in, out, 4096, false);} catch (Exception e) {IOUtils.closeStream(in);IOUtils.closeStream(out);}}
}

（4 使用HDFS API读取文件：

public class FileSystemCat {public static void main(String[] args) throws Exception {String uri = "hdfs://10.10.155.110:9000/output/wordcount/part-r-00000";Configuration conf = new Configuration();FileSystem fs = FileSystem.get(URI.create(uri), conf);InputStream in = null;try {in = fs.open(new Path(uri));IOUtils.copyBytes(in, System.out, 4096, false);} catch (Exception e) {e.printStackTrace();IOUtils.closeStream(in);}}
}

补充例：

1）假设当前环境有NameNode节点1个、DataNode节点3个、Client Node节点1个，请画出HDFS文件写入的流程图。

2）下面代码片段为使用HDFS API写文件的过程，请补全代码的空白处。

public class FileSystemCat {public static void main(String[] args) throws Exception {String localPath = args[0];String dfsPath=args[1];InputStream in = null;OutputStream out=null;__________(1)__________ ;FileSystem fs = ________(2) ________(URI.create(dfsPath), conf);try {in = new BufferedInputStream(________(3) ________);out=fs.create(new Path(dfsPath),new Progressable() {@Overridepublic void progress() {// 反馈写入进度 System.out.print(" . ");}});IOUtils. ________(4) ________;} catch (Exception e) {e.printStackTrace();IOUtils.closeStream(in);IOUtils.closeStream(out);}}
}

就是上方代码

3.HDFS文件的一致模型：（考的概率不大）

所解决的问题:写入HDFS的文件内容对其他读者可能不是立即可见的，即使数据已存储，文件长度可能仍显示为0。跨块数据写入时，只有完全写入并同步的数据块对新读者可见，正在写入的块不可见。

解决方案：要在HDFS中确保数据可见性，可以调用sync()方法强制数据节点同步缓存数据。关闭文件时会自动执行sync()。不调用sync()可能导致数据丢失。需要根据应用需求平衡数据一致性和性能，合理调用sync()。例如，写入一定数据后调用sync()。创建文件后，需调用hsync()或close()才能读取文件信息。

    示例：当创建一个文件后，立即读取文件信息，此时文件信息是不存在的。只有当调用hsync()方法或调用了close()方法后，才能立即读取到文件信息。

Path p=new Path("/home/temp/a.txt");
FSDataOutputStream out=fs.create(p);
out.write("content".getBytes("UTF-8"));
out.hflush();
out.hsync();
assertThat(fs.getFileStatus(p).getLen(),is(((long)"content".len
gth())));

Path p=new Path("/home/temp/a.txt");
fs.create(p);
assertThat(fs.exists(p),is(true));

Path p=new Path("/home/temp/a.txt");
OutputStream out=fs.create(p);
out.write("content".getBytes("UTF-8"));
out.close();
assertThat(fs.getFileStatus(p).getLen(),is(((long)"content".len
gth())));

HDFS的HA机制（简答）

HDFS 的 HA 机制 7*24h 运行

在 Hadoop 2.x 及以后版本中，新增了对高可靠性（HA）的支持，实现方式是：配置了一对“活动－备⽤”（active - standby）NameNode。当活动的 NameNode 失效时，备⽤的NameNode 就会接管它的任务并开始服务于来自客户端的请求，而不必中断整个服务。

HDFS NameNode的高可用整体架构主要由以下几个关键组成部分构成：

Active NN 和 Standby NN：主/备 NN，只有主 NN 才能对外提供读写服务。

主备切换控制器 ZKFailoverController：作为独立进程运行，对 NN 的主备切换进行总体控制。

ZooKeeper 集群：为主备切换控制器提供主备选举支持。

共享存储系统：主备 NN 通过共享存储系统实现元数据同步。

DN 节点：DN 会同时向主 NN 和备 NN 上报数据块的位置信息。

（5 NameNode 的主备切换实现：（了解即可）

补充例：下面关于Hadoop HA机制描述错误的是（D）。

A、通常由两个NameNode组成，一个处于active状态，另一个处于standby状态

B、Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步Active NameNode的状态

C、需要配合Zookeeper才能实现HA

D、在NameNode节点失败时，可以快速手动进行切换

6 Federation机制（最好背过，考的概率也不大）

（1 优点：

扩展性和隔离性：支持多个NameNode水平扩展整个文件系统的namespace。可按照应用程序的用户和种类分离namespace volume，进而增强了隔离性。

通用存储服务：Block Pool抽象层为HDFS的架构开启了创新之门。分离block storage layer使得：

新的文件系统（non-HDFS）可以在block storage上构建

新的应用程序（如HBase）可以直接使用block storage层

分离的block storage层为将来完全分布式namespace打下基础

设计简单：Federation 整个核心设计的大部分改变是在DataNode、Config和Tools中，而NameNode本身的改动非常少，这样NameNode原先的健壮性不会受到影响。可以迅速满足需求，另外Federation具有良好的向后兼容性，已有的单NameNode的部署配置不需要任何改变就可以继续工作。、

（2 不足：

单点故障问题：HDFS Federation并没有完全解决单点故障问题。如果某个NameNode挂掉了，其管理的相应的文件便不可以访问。Federation中每个NameNode仍然像之前HDFS上实现一样，配有一个SecondaryNameNode，以便主NameNode挂掉一下，用于还原元数据信息。

负载均衡问题：HDFS Federation采用Client Side Mount Table分摊文件和负载，该方法需要人工介入以达到理想的负载均衡。

五访问HDFS文件系统（核心）

1.HDFS命令行接口：（选择，填空，简答）又一超级重点

hadoop fs … / hadoop dfs …

hdfs dfs …（两种皆可）

下面是常用命令：（黄色背景的一定要记住）

`<font style="background-color:#FBDE28;">hadoop dfs -ls <path></font>`	列出指定路径的文件或目录内容
`hadoop dfs -lsr <path>`	递归地列出指定路径的目录内容
`hadoop dfs -df <path>`	查看指定路径的目录使用情况
`hadoop dfs -du <path>`	显示指定目录中所有文件及子目录的大小
`<font style="background-color:#FBDE28;">hadoop dfs -count [-q] <path></font>`	显示指定目录下的目录数及文件数，添加`<font style="background-color:#FBDE28;">-q</font>` 可查看文件索引情况
`<font style="background-color:#FBDE28;">hadoop dfs -mv <src> <dst></font>`	将HDFS上的文件移动到目标文件夹
`<font style="background-color:#FBDE28;">hadoop dfs -rm [-skipTrash] <path></font>`	删除HDFS上的文件，移动到回收站；`<font style="background-color:#FBDE28;">-skipTrash</font>` 则直接删除
`hadoop dfs -rmr [-skipTrash] <path>`	删除HDFS上的目录及其下文件，移动到回收站；`-skipTrash` 则直接删除
`hadoop dfs -expunge`	清空HDFS回收站
`<font style="background-color:#FBDE28;">hadoop dfs -put <localsrc> <dst></font>`	将本地文件上传到HDFS的指定目录
`<font style="background-color:#FBDE28;">hadoop dfs -get [-ignoreCrc] [-crc] <src> <localdst></font>`	将HDFS文件下载到本地，`<font style="background-color:#FBDE28;">-ignoreCrc</font>` 复制CRC检验失败的文件，`<font style="background-color:#FBDE28;">-crc</font>` 复制CRC信息
`hadoop dfs -copyToLocal [-ignoreCrc] [-crc] <src> <localdst>`	功能类似于`get`
`hadoop dfs -moveToLocal [-crc] <src> <localdst>`	将HDFS文件移动到本地目录，`-crc` 移动文件及CRC信息
`<font style="background-color:#FBDE28;">hadoop dfs -mkdir <path></font>`	在HDFS上创建目录
`hadoop dfs -touchz <path>`	在HDFS上创建一个0字节的空文件
`hadoop dfs -text <path>`	输出HDFS上指定文本文件的内容
`<font style="background-color:#FBDE28;">hadoop dfs -cat <path></font>`	浏览HDFS上指定文件的内容
`hadoop dfs -setrep [-R] [-w] <rep> <path>`	设置文件的复制因子，`-R` 表示递归
`hadoop dfs -test -[ezd] <path>`	检查HDFS上的文件：`-e` 检查文件是否存在，`-z` 检查文件是否0字节，`-d` 检查是否是目录
`hadoop dfs -stat [format] <path>`	显示HDFS上文件或目录的统计信息
`<font style="background-color:#FBDE28;">hadoop dfs -chmod [-R] <MODE> <path></font>`	改变HDFS上指定文件的权限，`<font style="background-color:#FBDE28;">-R</font>` 表示递归执行
`hadoop dfs -chown [-R] [OWNER][:[GROUP]] <path>`	改变HDFS上指定文件的所属用户，`-R` 表示递归执行
`hadoop dfs -chgrp [-R] GROUP <path>`	改变HDFS上指定文件的所属组别，`-R` 表示递归执行
`<font style="background-color:#FBDE28;">hadoop dfs -help</font>`	显示所有`<font style="background-color:#FBDE28;">dfs</font>` 命令的帮助信息
`hadoop dfs -copyFromLocal <localsrc> <dst>`	功能类似于`put`
`hadoop dfs -moveFromLocal <localsrc> <dst>`	将本地文件移动到HDFS指定目录

注意事项- hadoop和hdfs命令在功能上是相似的，但推荐使用hdfs dfs ...命令，因为它专门用于HDFS，更加明确。

2.常用API：（简答，编程，红字必背）

（1 Hadoop有一个抽象的文件系统概念，HDFS只是其中的一个实现。类org.apache.hadoop.fs.FileSystem定义了Hadoop中的一个文件系统接口，并且该抽象类有几个具体实现。

文件系统	URL方案	Java 实现类	描述
Local file	fs	fs.LocalFileSystem	使用了客户端校验的本地磁盘文件系统。
HDFS	hdfs	hdfs.DistributedFileSystem	Hadoop 的分布式文件系统。
HFTP	hftp	hdfs.HftpFileSystem	在 HTTP 上提供对 HDFS只读访问的文件系统。
HSFTP	hsftp	hdfs.HsftpFileSystem	在 HTTPS 上提供对 HDFS只读访问的文件系统。
WebHDFS	Webhdfs	hdfs.web.WebHdfsFileSystem	基于 HTTP 对 HDFS 提供安全读写访问的文件系统。
HAR	har	fs.HarFileSystem	一个构建在其他文件系统之上用于文件存档的文件系统。
HFS (KFS)	kfs	fs.kfs.KosmosFileSystem	CloudStore 是类似于 HDFS 或 Google 的 GFS 的文件系统，用 C++ 编写。
FTP	ftp	fs.ftp.FTPFileSystem	由 FTP服务器支持的文件系统。
S3（原生）	S3n	fs.s3native.NativeS3FileSystem	由 Amazon S3 支持的文件系统。

（2 从Hadoop URL中读取数据：

例：以标准输出方式显示Hadoop文件系统中的文件。（类似于Unix中的cat命令）

public class URLCat {// 静态块：设置 URL 的流处理工厂，用于处理 HDFS URLstatic {// 将 Hadoop 的 FsUrlStreamHandlerFactory 绑定到 java.net.URLURL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());}public static void main(String[] args) throws Exception {InputStream in = null; // 定义输入流，用于读取数据try {// 打开 HDFS 上的文件，URL 是从命令行参数传入的in = new URL(args[0]).openStream();// 使用 IOUtils 工具类，将输入流内容复制到标准输出IOUtils.copyBytes(in, System.out, 4096, false);} finally {// 关闭输入流，防止内存泄漏IOUtils.closeStream(in);}}
}

编译上述代码，导出为URLCat.jar文件，拷贝到/home/files目录下，执行下面的命令：

# hadoop jar /home/files/URLCat.jar com.hdfsclient.URLCat hdfs://master:9000/input/sample.txt

（3 通过FileSystem API读取数据：

虽然从Hadoop URL中读取数据是最简单的方式，但是有时可能无法在应用中设置URLStreamHandlerFactory实例，在实际开发中，访问HDFS最常用的方式还是使用FileSystem API来读取数据。

public class FileSystemCat {public static void main(String[] args) throws Exception {String uri = "hdfs://master:9000/input/sample.txt";Configuration conf = new Configuration();FileSystem fs = FileSystem.get(URI.create(uri), conf);InputStream in = null;try {in = fs.open(new Path(uri));IOUtils.copyBytes(in, System.out, 4096, false);} finally {IOUtils.closeStream(in);}}
}

编译上述代码，导出为FileSystemCat.jar文件，拷贝到/home/files目录下，执行下面的命令：

# hadoop jar /home/files/FileSystemCat.jar com.hdfsclient.FileSystemCat

（4 写入数据

FileSystem类创建文件的方法，常用的有两类：create()和append()方法。

例：将本地文件复制到HDFS文件系统。

public class FileCopyFromLocal {public static void main(String[] args) {String localSrc = "/home/hadoop/files/sample.txt";String dst = "hdfs://master:9000/input/hadoop/sample.txt";InputStream in = null;OutputStream out = null;try {in = new BufferedInputStream(new FileInputStream(localSrc));Configuration conf = new Configuration();FileSystem fs = FileSystem.get(URI.create(dst), conf);out = fs.create(new Path(dst), new Progressable() {@Overridepublic void progress() {System.out.print(" . ");}});IOUtils.copyBytes(in, out, 4096, true);} catch (IOException e) {e.printStackTrace();} finally {IOUtils.closeStream(in);IOUtils.closeStream(out);}}
}