最近接触大数据项目,需要搭建环境,下面是我安装Hadoop步骤,大家可以参考,话不多说学习新东西首先看官网,https://hadoop.apache.org/docs/stable
官网介绍了最新版本的特性,以及入门安装文档:
单节点 Hadoop 安装和配置
看过官网我们得知,Hadoop需要依赖jdk环境,首先需要装jdk

一.单节点 Hadoop 安装

我的安装环境,macOS Catalina和jdk8,首选安装方式一:brew安装(默认安装最新版本),安装方式二:对版本有特殊要求的可以手动下载对应版本
在这里插入图片描述

1.安装方式一:brew安装
![在这里插入图片描述](https://img-blog.csdnimg.cn/0795ab2ec5b04b3db8a80e1b0fdaa5c0.png
先用brew info 查看需要安装的包信息,最新版本3.3.3在这里插入图片描述
安装

brew install hadoop

如图:
在这里插入图片描述
安装中很慢,等着吧,再去看看官网文档,jdk版本的兼容性问题,我的刚好是1.8.0_191
它说所有 DES 密码套件都被禁用。如果您明确使用 DES 密码套件,则需要将密码套件更改为强密码套件,貌似升级集群会出现兼容性问题,很抽象看不懂先把不管了,反正单节点配置,以后再说

在这里插入图片描述
这会功夫下完了,打开看一下结果失败

在这里插入图片描述
原因是依赖openjdk
切换了openJDK,没有的可以去下载:openjdk库
在这里插入图片描述

下载还是失败,我emo了,看不懂,懂得大佬说下,天无绝人之路,既然不行,手动安装
在这里插入图片描述

下面是手动安装教程,如果你上面安装成功了,请略过,可以直接配置hadoop

2.安装方式二:手动选择版本安装教程
下载地址:https://dlcdn.apache.org/hadoop/common/

2,1选择版本,我下载的是3.2.4
在这里插入图片描述
选这个,如图
在这里插入图片描述
2.2下载完后,把他放到自己想放的位置解压

tar -zxvf hadoop-3.2.4.tar.gz

解压完目录,hdfs是我新建的目录用来存放
在这里插入图片描述
目录说明:

bin:存放基础的管理脚本和使用脚本,这些脚本是sbin目录下管理脚本的基础实现,用户>可以用这些脚本管理和使用hadoop
etc:存放包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等配置>文件。.template是模板文件。
lib:存放Hadoop的本地库(对数据进行压缩解压缩功能)
sbin:存放启动或停止Hadoop集群相关服务的脚本
share:存放Hadoop的依赖jar包、文档、和官方案例
libexec:各个服务所对应的shell配置文件所在目录,可用于配置日志输出目录、启动参数(比如JVM参数)等基本信息              

安装完成接下来就要配置hadoop了

二:配置,我选择伪分布式模式

1.编辑文件 etc/hadoop/hadoop-env.sh 定义一些参数
在这里插入图片描述
找到这一块配置然后设置java安装的根目录

# 设置为 Java 安装的根目录
# The java implementation to use. By default, this environment
# variable is REQUIRED on ALL platforms except OS X!
export JAVA_HOME=/Library/Java/JavaVirtualMachines/temurin-8.jdk/Contents/Home

2.编辑文件 etc/hadoop/core-site.xml


<configuration>
        <!-- 指定hadoop运行时产生文件的存储路径 -->
          <property>
             <name>hadoop.tmp.dir</name>
             <value>/Users/chenl/Library/JavaSoft/Middleware/Hadoop/hadoop3.2.4/hdfs/tmp</value>
          </property>
          <!-- 指定HDFS老大(namenode)的通信地址 -->
     <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

3.编辑文件 etc/hadoop/hdfs-site.xml

<configuration>
        <!-- 变量dfs.replication指定了每个HDFS数据库的复制次数。 通常为3,
        由于我们只有一台主机和一个伪分布式模式的DataNode,将此值修改为1 -->
     <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

4.配置ssh 免密登录
因为Hadoop是分布式平台,需要多个机器之间协作,设置ssh免密码登录可以减少每次登陆主机输入密码的繁琐流程。
4.1mac开始远程登录
系统偏好设置->共享->勾选远程登录

在这里插入图片描述
4.2配置免密
打开终端,运行,一直按回车

ssh-keygen -t rsa -P ''

会看到~/.ssh目录下有两个文件,如图
①私钥:id_rsa
②公钥:id_rsa.pub
ainibaiuandeMBP:~ chenl$ cd ~/.ssh
ainibaiuandeMBP:.ssh chenl$ ls
authorized_keys	id_rsa		id_rsa.pub	known_hosts
ainibaiuandeMBP:.ssh chenl$
cd ~/.ssh
将公钥内容写入到~/.ssh/authorized_keys中赋权限,执行以下命令:

  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  $ chmod 0600 ~/.ssh/authorized_keys

验证,执行 ssh localhost,如图成功,不成功重复以上操作试一遍
在这里插入图片描述
5.配置hadoop环境变量,用户的

$ cd ~
$ vim .bash_profile 

添加

#Hadoop 3.2.4
export HADOOP_HOME=/Users/chenl/Library/JavaSoft/Middleware/Hadoop/hadoop-3.2.4
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

最后刷新下 source .bash_profile

3.运行

3.1第一次需要先格式化,执行命令 hdfs namenode -formatt
3.2执行命令

$ cd $HADOOP_HOME
$ pwd
/Users/chenl/Library/JavaSoft/Middleware/Hadoop/hadoop-3.2.4

环境变量配置成功
(1)启动 start-dfs.sh
(2)关闭 stop-dfs.sh
3.hadoop版本是3.X,端口是9870,验证是否成功,浏览器访问.如图就成功了
http://localhost:9870

在这里插入图片描述

如有错误,敬请指出,一起成长!

Logo

鸿蒙生态一站式服务平台。

更多推荐