摘要:本文所搭建Hadoop伪分布式环境将使用Oracle JDK 8,将从Oracle Java SE 8 Archive Downloads页面中下载Linux版本的JDK,下载地址如下:
本文所使用 Linux 发行版为 OpenSUSE 15.6 ,使用的 JDK 版本为 Oracle JDK 8
本文所搭建 Hadoop 伪分布式环境将使用 Oracle JDK 8 ,将从 Oracle Java SE 8 Archive Downloads 页面中下载 Linux 版本的 JDK ,下载地址如下:
建议下载 .tar.gz 格式的压缩包,以便于对 JDK 版本做出更为便利的管理,可根据实际需求将 JDK 压缩包放置到合适的位置,本文将压缩包放置到 /opt/software 目录下,并在此解压
其中 jdk-8u441-linux-x64.tar.gz 为本文所使用的 JDK 压缩包文件名,请根据实际文件名作出修改
解压完成后对 Java 目录创建链接,以便于配置环境变量,切换 Java 版本仅需更改链接目标而无需更改环境变量,本文将在 /opt/softln 目录下创建链接,此步为可选操作,可根据自身实际需求进行调整执行
修改 /etc/profile 文件配置环境变量,多种远程 ssh 连接客户端如 MobaXterm 等可使用 NotePad++ 等工具对 Linux 端文件进行修改,本文使用 vim
在文件末尾追加以下内容:
其中 JAVA_HOME 变量的值根据实际作出调整 保存后执行
使配置的环境变量生效,验证
添加 hadoop 组:
将用户切换为 hadoop 并进入用户主目录
创建并进入 .ssh 目录
生成私钥与公钥
现在免密登录时还会出现
切换 root 用户修改 /etc/ssh/ssh_config ,找到
取消注释改为
切换回 hadoop 用户测试免密登录
国内镜像站或 Apache Archive 均可下载 Hadoop ,本文将安装 Hadoop 2.10.2 ,可在以下链接中下载Apache Archive
中国科学技术大学镜像站
推荐使用国内镜像站下载
将压缩包放置到合适的位置,本文依然将压缩包放置到 /opt/software 下,并在此解压
其中 hadoop-2.10.2.tar.gz 为本文所使用的压缩包文件名,请根据实际文件名修改
解压完成后创建对 Hadoop 目录创建链接,以便于配置环境变量,本文将在 /opt/softln 目录下创建链接,此步为可选操作,可根据自身实际需求进行调整执行
更改目录归属,使其归属于 hadoop 用户和组
修改 /etc/profile 文件配置环境变量,将文件末尾环境变量配置修改为
其中 HADOOP_HOME 变量的值根据实际做出调整
保存以后执行
使配置的环境变量生效
修改主机名为 master 并重新启动,可根据需要选择其他主机名
配置 /etc/hosts 文件,向文件末尾追加
其中 master 为上文所设置的主机名, 192.168.171.129 为当前 Linux 主机 IP ,请根据实际情况作出修改
切换为 hadoop 用户并创建 tmp 目录, name 目录和 data 目录,本文中将这三个目录放置到 $HADOOP_HOME 中,可根据需求灵活选择
配置 $HADOOP_HOME/etc/hadoop/core-site.xml在 标签中加入配置
/opt/softln/hadoop/tmp 值为先前创建的 tmp 目录, hdfs://master:9000 中的 master 为先前配置的主机名,请根据实际情况修改
配置 $HADOOP_HOME/etc/hadoop/hadoop-env.sh将
改为
/opt/softln/java 为先前创建的链接,请根据实际情况修改
配置 $HADOOP_HOME/etc/hadoop/hdfs-site.xml在 标签中加入配置
其中 /opt/softln/hadoop/hdfs/name 与 /opt/softln/hadoop/hdfs/data 均为上文所创建的 name 和 data 目录,请根据实际情况作出修改
配置 $HADOOP_HOME/etc/hadoop/mapred-site.xml执行
在 标签中加入配置
其中 中的 maste 为上文配置的主机名,请根据实际情况修改
配置 $HADOOP_HOME/etc/hadoop/yarn-env.sh将
改为
配置 $HADOOP_HOME/etc/hadoop/yarn-site.xml在 标签中加入配置
其中 master 为上文配置的主机名,请根据实际情况修改
操作前请先切换到 hadoop 用户
启动 dfs
访问 正常, 192.168.171.129 为本文 Linux 主机 IP ,请根据实际情况修改
生成测试文本文件
hdfs 创建测试目录
hdfs 向测试目录上传文件
查看测试文件内容
wordcount 测试
查看运行结果
来源:小羊看科技