Hadoop 3.3.5 单机版安装：从 JDK 1.8 到 MapReduce 单词统计的 10 步验证

Hadoop 3.3.5 单机版实战从环境搭建到单词统计全流程验证1. 环境准备与基础配置在开始Hadoop之旅前我们需要确保基础环境就绪。不同于简单的安装教程我们将从系统层面构建完整的Hadoop运行环境。以下是经过优化的配置方案系统要求Linux操作系统推荐Ubuntu 20.04 LTSJDK 1.8必须与Hadoop 3.3.5兼容至少4GB内存20GB可用磁盘空间关键配置步骤# 创建专用用户避免使用root权限 sudo useradd -m hadoop -s /bin/bash sudo passwd hadoop sudo adduser hadoop sudo环境变量配置~/.bashrc末尾添加export JAVA_HOME/usr/lib/jvm/jdk1.8.0_291 export HADOOP_HOME/usr/local/hadoop export PATH$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin提示执行source ~/.bashrc使配置立即生效使用java -version和hadoop version验证安装2. Hadoop核心配置文件详解Hadoop 3.3.5的单机模式需要重点配置以下文件我们采用生产级参数优化core-site.xml位于$HADOOP_HOME/etc/hadoop/configuration property namefs.defaultFS/name valuehdfs://localhost:9000/value /property property namehadoop.tmp.dir/name value/usr/local/hadoop/tmp/value description确保此目录有写入权限/description /property property nameio.file.buffer.size/name value131072/value /property /configurationhdfs-site.xml关键配置对比参数单机模式值生产环境建议值dfs.replication13dfs.namenode.name.dirfile:/usr/local/hadoop/dfs/name多路径逗号分隔dfs.datanode.data.dirfile:/usr/local/hadoop/dfs/data多磁盘路径分隔3. HDFS初始化与服务启动首次启动必须执行的格式化命令hdfs namenode -format启动HDFS服务的完整流程检查SSH免密登录是否配置ssh localhost # 不应提示输入密码启动NameNode和DataNodestart-dfs.sh验证服务状态jps应看到以下进程NameNodeDataNodeSecondaryNameNodeWeb UI访问NameNode状态http://localhost:9870日志目录$HADOOP_HOME/logs/4. MapReduce单词统计实战现在进入核心验证环节——通过经典案例验证Hadoop处理能力。以下是完整操作流程步骤1准备测试数据mkdir ~/wordcount_test echo Hadoop MapReduce Hadoop HDFS MapReduce YARN HDFS HBase Hive Hadoop ~/wordcount_test/input.txt步骤2创建HDFS目录结构hdfs dfs -mkdir -p /user/hadoop/input hdfs dfs -put ~/wordcount_test/input.txt /user/hadoop/input步骤3执行MapReduce作业hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.5.jar \ wordcount /user/hadoop/input /user/hadoop/output步骤4查看结果hdfs dfs -cat /user/hadoop/output/part-r-00000预期输出HBase 1 HDFS 2 Hadoop 3 Hive 1 MapReduce 2 YARN 15. 深度调试与问题排查当遇到作业失败时使用以下方法定位问题日志分析技巧# 查看最近的应用日志 yarn logs -applicationId 你的应用ID # 实时监控资源使用 hadoop dfsadmin -report常见错误解决方案错误现象可能原因解决方案Connection refused服务未启动检查start-dfs.sh执行情况Permission denied用户权限问题使用hdfs dfs -chmod修改权限ExitCode137内存不足调整mapreduce.map.memory.mb参数6. 性能优化建议即使是单机环境这些优化也能提升体验内存配置调整修改mapred-site.xmlproperty namemapreduce.map.memory.mb/name value1024/value /property property namemapreduce.reduce.memory.mb/name value1536/value /propertyJVM重用配置property namemapreduce.job.jvm.numtasks/name value10/value /property7. 扩展功能验证完成基础验证后可以进一步测试HDFS文件操作# 上传下载测试 hdfs dfs -put localfile /user/hadoop/ hdfs dfs -get /user/hadoop/localfile # 空间使用查询 hdfs dfs -du -h /YARN资源管理需额外配置start-yarn.sh8. 自动化脚本实现将整个验证流程脚本化保存为hadoop-test.sh#!/bin/bash # 初始化HDFS hdfs dfs -rm -r /user/hadoop/input /user/hadoop/output 2/dev/null hdfs dfs -mkdir -p /user/hadoop/input # 生成测试数据 cat EOF /tmp/sample.txt Apache Hadoop is an open-source software framework for distributed storage and processing of big data using the MapReduce programming model EOF # 上传数据 hdfs dfs -put /tmp/sample.txt /user/hadoop/input/ # 执行WordCount hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.5.jar \ wordcount /user/hadoop/input /user/hadoop/output # 显示结果 echo -e \nWordCount Results: hdfs dfs -cat /user/hadoop/output/part-r-000009. 环境清理与重置完成验证后如需重新开始# 停止所有服务 stop-dfs.sh # 清理数据目录 rm -rf /usr/local/hadoop/tmp/ # 重新格式化 hdfs namenode -format10. 生产环境迁移建议当从单机转向集群时需要特别注意配置文件差异将localhost替换为实际主机名调整dfs.replication值为3配置slaves文件指定DataNode硬件规划原则NameNode与DataNode分离部署每个DataNode配置多块磁盘预留足够内存给系统进程监控方案启用Hadoop JMX接口配置Ganglia或Prometheus监控设置日志聚合功能