简介这是一份面向大数据初学者与Hadoop入门学习者的基础课件围绕Hadoop框架的整体架构与核心组件展开帮助读者建立对分布式存储与计算体系的系统认知。压缩包内共1个PPT文件整体约1.42MB以幻灯片形式梳理知识点便于课堂讲解、自学浏览与快速复习。内容覆盖HDFS的NameNode、DataNode与Client角色及文件写入、读取、块复制流程MapReduce的Map分解与Reduce汇总两阶段以及HBase列导向存储与时间戳版本机制、ZooKeeper协调与监视机制、PIG类SQL查询语言等模块并延伸至Mahout、Hive等生态组件同时说明Hadoop可扩展、经济、可靠、高效的设计特点。目前已有882人学习下载适合作为大数据课程配套资料或面试前的知识梳理参考。1. 从一份 hadoop 简介 PPT 说起为什么多数人讲完还是搭不起集群我见过太多团队内部的技术分享PPT 做得花里胡哨HDFS 架构图画了三层MapReduce 流程图配了渐变色箭头讲完台下点头如捣蒜。散会后有人问一句「那怎么在虚拟机上装一个」全场安静。这份 hadoop 简介 PPT 的问题不在内容错而在于它只回答了「是什么」没回答「怎么跑起来」。如果你手上正好有这么一份 PPT或者你被安排去做这么一份分享真正该想清楚的是听众看完之后能不能自己把 hadoop 伪分布式搭建跑通能不能理解 hadoop HA 到底在解决什么问题能不能在面试里把 hadoop 和 zookeeper 整合实战讲出细节。这篇东西就是围绕这个目标来的——把一份 PPT 背后的技术脉络拆成能落地、能复现、能讲清楚的实战路径。适合正在准备大数据课程设计的学生、需要给团队做内部培训的工程师以及那些「装过但没装明白」的从业者。2. PPT 里该放什么hadoop 核心组件与选型逻辑2.1 为什么 PPT 第一页不该是架构图多数 hadoop 简介 PPT 的第一页就是一张 HDFS 加 MapReduce 加 YARN 的三层架构图然后开始逐层讲。这个顺序对讲的人友好对听的人不友好。听众脑子里没有锚点不知道这些东西为什么长在一起。我一般会先放一张对比表把「没有 hadoop 之前怎么存、怎么算」和「有了 hadoop 之后怎么存、怎么算」摆在一起。比如单机存 10TB 日志磁盘 IO 是瓶颈扩容只能换更大的盘有了 HDFS数据切块分散到多台机器扩容就是加节点。单机算 10TB 数据CPU 跑满也要几十小时有了 MapReduce任务拆到多台机器并行跑。这个对比一出来听众立刻明白 hadoop 解决的是「单机扛不住」的问题后面再讲架构就是顺理成章。这一步的关键是让 PPT 的叙事逻辑从「组件介绍」变成「问题驱动」。你可以在 PPT 里放一个简单的表格场景单机方案hadoop 方案核心差异存储 10TB 日志大容量磁盘RAIDHDFS 分块存储水平扩展 vs 垂直扩展统计全量日志单进程扫描MapReduce 并行并行度决定耗时资源调度手动分配YARN 统一管理多任务共享集群这张表放在 PPT 前几页比任何架构图都管用。2.2 HDFS、MapReduce、YARN 各自该讲多深一份合格的 hadoop 简介 PPT三个核心组件都要覆盖但深度不一样。HDFS 要讲清楚三件事数据切块block、副本机制replication、NameNode 和 DataNode 的分工。块大小默认 128MB副本默认 3 份这些数字要出现在 PPT 里因为面试题经常问。NameNode 管元数据DataNode 存实际数据SecondaryNameNode 不是备份 NameNode这个误解要在 PPT 里明确纠正。MapReduce 要讲清楚 Map 阶段、Shuffle 阶段、Reduce 阶段各自干什么。Shuffle 是重点也是面试高频考点。PPT 里可以用一个词频统计的例子把「Hello World」拆成 Map 输出、Shuffle 排序、Reduce 汇总三步每一步配一个简单的数据变化示意。YARN 要讲清楚 ResourceManager、NodeManager、ApplicationMaster 三个角色的关系。ResourceManager 管全局资源NodeManager 管单节点资源ApplicationMaster 管单个任务的执行。PPT 里可以用一个「提交任务」的时序图来说明这三者怎么协作。提示PPT 里每讲一个组件都配一句「这个组件挂了会怎样」听众对故障场景的记忆远比对正常流程的记忆深刻。2.3 从 PPT 到实操伪分布式搭建的最小步骤PPT 讲完架构必须接一个「怎么跑起来」的环节。最常见也最可靠的做法是伪分布式搭建也就是在一台机器上模拟多节点。以下是在虚拟机上安装 hadoop 的最小步骤可以直接放进 PPT 的附录页。# 1. 安装 JDKhadoop 依赖 Java 环境 sudo apt update sudo apt install openjdk-8-jdk -y java -version # 确认输出 1.8.x # 2. 下载 hadoop以 3.3.x 为例具体版本按官方镜像选择 wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz tar -xzvf hadoop-3.3.6.tar.gz sudo mv hadoop-3.3.6 /usr/local/hadoop # 3. 配置环境变量 echo export HADOOP_HOME/usr/local/hadoop ~/.bashrc echo export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ~/.bashrc source ~/.bashrc # 4. 修改 core-site.xml指定 HDFS 的默认文件系统 # 在 configuration 标签内添加 # propertynamefs.defaultFS/namevaluehdfs://localhost:9000/value/property # 5. 修改 hdfs-site.xml设置副本数为 1伪分布式只有一台机器 # propertynamedfs.replication/namevalue1/value/property # 6. 格式化 NameNode只执行一次 hdfs namenode -format # 7. 启动 HDFS start-dfs.sh # 8. 验证 jps # 应该看到 NameNode、DataNode、SecondaryNameNode这段命令的逻辑是先保证 Java 环境再解压 hadoop然后通过两个 XML 文件告诉 hadoop「文件系统在哪」和「副本存几份」格式化 NameNode 是初始化元数据目录最后启动守护进程。参数方面fs.defaultFS的端口 9000 是默认值如果冲突可以改成 8020dfs.replication在伪分布式下必须设为 1否则会一直报副本不足的警告。PPT 里放这段内容比放十张架构图都有说服力因为听众回去就能照着做。3. 把 hadoop 和 zookeeper 整合讲明白HA 到底在解决什么3.1 hadoop HA 的核心矛盾单点故障一份有深度的 hadoop 简介 PPT不能只讲伪分布式还要讲 hadoop HA。HA 要解决的是 NameNode 单点故障问题。在非 HA 模式下整个 HDFS 只有一个 NameNode它挂了集群就废了。HA 模式引入两个 NameNodeActive 和 Standby。Active 对外提供服务Standby 实时同步元数据一旦 Active 挂了Standby 立刻切换。这个切换过程需要协调否则两个 NameNode 都以为自己是 Active就会出现脑裂。zookeeper 在这里的角色就是「裁判」——通过 ZooKeeper 的选举机制保证同一时刻只有一个 NameNode 是 Active。PPT 里可以用一个简单的比喻两个主持人只有一个能拿话筒zookeeper 就是那个递话筒的人。谁拿到话筒谁说话话筒只有一支。3.2 zookeeper 在 HA 中的三个具体作用zookeeper 在 hadoop HA 里不是打杂的它承担三个关键职责。第一Active 选举。两个 NameNode 启动后都去 zookeeper 注册一个临时节点谁先创建成功谁就是 Active。临时节点的特性是会话断开就消失所以 Active 挂了之后节点自动删除Standby 就能抢到。第二状态监控。zookeeper 通过心跳感知每个 NameNode 的存活状态。心跳超时zookeeper 就认为该节点挂了触发重新选举。第三防止脑裂。zookeeper 的写操作是多数派确认这保证了即使网络分区也不会出现两个 NameNode 同时认为自己被选中的情况。PPT 里讲这部分最好配一个状态流转图初始状态两个都是 Standby选举后一个变 Active故障后 Active 变 Standby另一个变 Active。这个流转过程用文字描述清楚比画复杂的时序图更有效。3.3 整合实战配置文件里到底改了什么hadoop 和 zookeeper 整合实战核心是改两个配置文件core-site.xml和hdfs-site.xml。以下是关键配置项。!-- core-site.xml 中指定 zookeeper 集群地址 -- property nameha.zookeeper.quorum/name valuezk1:2181,zk2:2181,zk3:2181/value /property !-- hdfs-site.xml 中定义 nameservice 和两个 NameNode -- property namedfs.nameservices/name valuemycluster/value /property property namedfs.ha.namenodes.mycluster/name valuenn1,nn2/value /property property namedfs.namenode.rpc-address.mycluster.nn1/name valuenn1:8020/value /property property namedfs.namenode.rpc-address.mycluster.nn2/name valuenn2:8020/value /property !-- 启用自动故障转移 -- property namedfs.ha.automatic-failover.enabled/name valuetrue/value /property这些配置的逻辑是dfs.nameservices给集群起一个逻辑名字客户端通过这个名字访问不用关心当前 Active 是哪台。dfs.ha.namenodes列出所有 NameNode 的 ID后面分别指定各自的 RPC 地址。ha.zookeeper.quorum告诉 hadoop 去哪里找 zookeeper。dfs.ha.automatic-failover.enabled设为 true 后故障切换自动完成不需要人工干预。参数方面zookeeper 的端口 2181 是默认值如果改了要同步修改。NameNode 的 RPC 端口 8020 也是默认值注意和fs.defaultFS里的端口保持一致。配置完成后需要先启动 zookeeper 集群再启动 HDFS顺序反了会报连接不上 zookeeper。注意格式化 NameNode 之前确保 zookeeper 集群已经启动否则ha.zookeeper.quorum的初始化会失败。4. 避坑与排查hadoop 安装与配置里最容易翻车的地方4.1 格式化 NameNode 后集群起不来现象执行hdfs namenode -format后start-dfs.sh启动jps看不到 NameNode 进程。原因格式化时生成的 clusterID 和 DataNode 里存的不一致。常见于重复格式化或者之前装过又重装。解决找到dfs.namenode.name.dir和dfs.datanode.data.dir配置的目录把里面的数据全部清空重新格式化一次。注意生产环境不要随便清空伪分布式学习环境可以这么做。4.2 SSH 免密登录没配好导致启动脚本卡住现象执行start-dfs.sh时提示输入密码或者卡在「Starting namenodes」不动。原因hadoop 的启动脚本依赖 SSH 到 localhost如果没有配置免密登录脚本会等待密码输入。解决执行ssh-keygen -t rsa生成密钥然后ssh-copy-id localhost把公钥加到授权列表。验证方式ssh localhost不需要密码就能登录。4.3 端口冲突导致 DataNode 启动失败现象jps能看到 NameNode但看不到 DataNode日志里报「Address already in use」。原因DataNode 的默认端口 9866 被其他进程占用或者之前启动的 DataNode 没完全退出。解决用netstat -tlnp | grep 9866找到占用进程kill 掉后重启。如果经常冲突可以在hdfs-site.xml里改dfs.datanode.address的端口。4.4 zookeeper 连接超时导致 HA 切换失败现象HA 集群中 Active 挂了Standby 没有自动切换日志里报「Connection timed out」。原因zookeeper 集群地址配错或者 zookeeper 本身没启动或者防火墙挡了 2181 端口。解决先在每台机器上用telnet zk1 2181测试连通性确认 zookeeper 进程存在。如果 zookeeper 是伪分布式单节点确认zoo.cfg里的server.1配置和myid文件一致。4.5 hadoop distcp 参数用错导致数据不一致现象用 distcp 在两个集群之间同步数据同步完成后发现目标集群文件数不对。原因distcp 默认不覆盖已存在的文件如果目标路径有残留文件会导致结果不一致。另外-update和-overwrite参数用混也会出问题。解决同步前先确认目标路径为空或者使用-overwrite强制覆盖。如果只想同步新增和变化的文件用-update。常用参数组合hadoop distcp -update -delete /source /target-delete会删除目标端多余的文件保证两边完全一致。5. 从 PPT 到面试怎么把 hadoop 讲出深度5.1 面试里高频出现的三个 hadoop 问题hadoop 面试题里有三个问题几乎必问而且能区分「背过」和「用过」。第一个HDFS 写数据的流程。标准回答是客户端向 NameNode 请求写文件NameNode 返回可用的 DataNode 列表客户端把数据切块后依次写入第一个 DataNode第一个 DataNode 再传给第二个第二个传给第三个形成管道。每传完一个块DataNode 向 NameNode 汇报。这个流程要能画出管道图并说清楚如果某个 DataNode 挂了怎么处理。第二个MapReduce 的 Shuffle 过程。要讲清楚 Map 输出后先写入环形缓冲区达到阈值后溢写到磁盘溢写前会分区和排序。Reduce 端从各个 Map 端拉取数据再做归并排序。Shuffle 是 MapReduce 性能瓶颈的主要来源优化手段包括调整缓冲区大小、使用 Combiner、设置合理的 Reduce 数量。第三个YARN 的任务提交流程。客户端提交任务到 ResourceManagerResourceManager 分配一个 Container 给 ApplicationMasterApplicationMaster 向 ResourceManager 申请资源拿到资源后启动 Map 和 Reduce 任务。这个流程要能说清楚每个角色的职责和交互顺序。5.2 用一份 PPT 检验自己是否真懂一个实用的自检方法假设你要用一份 hadoop 简介 PPT 给新人讲 30 分钟你能不能在不看稿子的情况下把 HDFS 的块和副本、MapReduce 的 Shuffle、YARN 的资源调度、HA 的切换机制这四件事讲清楚并且每讲一个都能配一个具体的故障场景或调优参数。如果讲 HDFS 只能说出「分布式存储」讲 MapReduce 只能说出「分而治之」那说明还停留在 PPT 的表面。真正懂的人讲 HDFS 会提到dfs.blocksize和dfs.replication的默认值以及怎么改讲 MapReduce 会提到mapreduce.task.io.sort.mb和mapreduce.reduce.shuffle.parallelcopies的调优经验讲 YARN 会提到yarn.nodemanager.resource.memory-mb和yarn.scheduler.maximum-allocation-mb的配置逻辑。5.3 一个具体技巧用 docker 快速复现 hadoop 集群如果不想在虚拟机上反复装可以用 hadoop 的 docker 镜像快速搭一个集群。常见做法是拉取现成的 hadoop 镜像启动多个容器分别作为 NameNode、DataNode、ResourceManager、NodeManager。# 拉取 hadoop 镜像以某个公开镜像为例具体名称按实际可用镜像选择 docker pull sequenceiq/hadoop-docker:2.7.1 # 启动一个伪分布式容器 docker run -it -p 50070:50070 -p 8088:8088 sequenceiq/hadoop-docker:2.7.1 /etc/bootstrap.sh -bash # 进入容器后验证 hdfs dfs -ls /这个技巧的价值在于你可以在几分钟内搭好一个可用的 hadoop 环境用来验证 PPT 里的命令和配置不用每次都从头装虚拟机。参数方面-p 50070:50070映射的是 HDFS 的 Web UI 端口-p 8088:8088映射的是 YARN 的 Web UI 端口。进入容器后/etc/bootstrap.sh会自动启动 HDFS 和 YARN。提示docker 镜像的版本可能和最新版有差异用于学习验证足够生产环境还是要按官方文档部署。我自己做技术分享这么多年最大的教训就是PPT 讲得再漂亮不如现场跑一条命令。听众记住的永远是你踩过的坑和填坑的方法而不是你画的那张架构图。所以如果你要做一份 hadoop 简介 PPT不妨把一半的时间留给实操演示把另一半时间用来讲「哪里会出错、怎么排查」。希望帮到你。本文还有配套的精品资源点击获取