mac单节点 Hadoop 安装和伪分布式模式配置(图文教程)
大数据Hadoop
最近接触大数据项目,需要搭建环境,下面是我安装Hadoop步骤,大家可以参考,话不多说学习新东西首先看官网,https://hadoop.apache.org/docs/stable
官网介绍了最新版本的特性,以及入门安装文档:
单节点 Hadoop 安装和配置
看过官网我们得知,Hadoop需要依赖jdk环境,首先需要装jdk
一.单节点 Hadoop 安装
我的安装环境,macOS Catalina和jdk8,首选安装方式一:brew安装(默认安装最新版本),安装方式二:对版本有特殊要求的可以手动下载对应版本
1.安装方式一:brew安装
![在这里插入图片描述](https://img-blog.csdnimg.cn/0795ab2ec5b04b3db8a80e1b0fdaa5c0.png
先用brew info 查看需要安装的包信息,最新版本3.3.3
安装
brew install hadoop
如图:
安装中很慢,等着吧,再去看看官网文档,jdk版本的兼容性问题,我的刚好是1.8.0_191
它说所有 DES 密码套件都被禁用。如果您明确使用 DES 密码套件,则需要将密码套件更改为强密码套件,貌似升级集群会出现兼容性问题,很抽象看不懂先把不管了,反正单节点配置,以后再说
这会功夫下完了,打开看一下结果失败
原因是依赖openjdk
切换了openJDK,没有的可以去下载:openjdk库
下载还是失败,我emo了,看不懂,懂得大佬说下,天无绝人之路,既然不行,手动安装
下面是手动安装教程,如果你上面安装成功了,请略过,可以直接配置hadoop
2.安装方式二:手动选择版本安装教程
下载地址:https://dlcdn.apache.org/hadoop/common/,
2,1选择版本,我下载的是3.2.4
选这个,如图
2.2下载完后,把他放到自己想放的位置解压
tar -zxvf hadoop-3.2.4.tar.gz
解压完目录,hdfs是我新建的目录用来存放
目录说明:
bin:存放基础的管理脚本和使用脚本,这些脚本是sbin目录下管理脚本的基础实现,用户>可以用这些脚本管理和使用hadoop
etc:存放包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等配置>文件。.template是模板文件。
lib:存放Hadoop的本地库(对数据进行压缩解压缩功能)
sbin:存放启动或停止Hadoop集群相关服务的脚本
share:存放Hadoop的依赖jar包、文档、和官方案例
libexec:各个服务所对应的shell配置文件所在目录,可用于配置日志输出目录、启动参数(比如JVM参数)等基本信息
安装完成接下来就要配置hadoop了
二:配置,我选择伪分布式模式
1.编辑文件 etc/hadoop/hadoop-env.sh 定义一些参数
找到这一块配置然后设置java安装的根目录
# 设置为 Java 安装的根目录
# The java implementation to use. By default, this environment
# variable is REQUIRED on ALL platforms except OS X!
export JAVA_HOME=/Library/Java/JavaVirtualMachines/temurin-8.jdk/Contents/Home
2.编辑文件 etc/hadoop/core-site.xml
<configuration>
<!-- 指定hadoop运行时产生文件的存储路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/Users/chenl/Library/JavaSoft/Middleware/Hadoop/hadoop3.2.4/hdfs/tmp</value>
</property>
<!-- 指定HDFS老大(namenode)的通信地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
3.编辑文件 etc/hadoop/hdfs-site.xml
<configuration>
<!-- 变量dfs.replication指定了每个HDFS数据库的复制次数。 通常为3,
由于我们只有一台主机和一个伪分布式模式的DataNode,将此值修改为1 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4.配置ssh 免密登录
因为Hadoop是分布式平台,需要多个机器之间协作,设置ssh免密码登录可以减少每次登陆主机输入密码的繁琐流程。
4.1mac开始远程登录
系统偏好设置->共享->勾选远程登录
4.2配置免密
打开终端,运行,一直按回车
ssh-keygen -t rsa -P ''
会看到~/.ssh目录下有两个文件,如图
①私钥:id_rsa
②公钥:id_rsa.pub
将公钥内容写入到~/.ssh/authorized_keys中赋权限,执行以下命令:
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
验证,执行 ssh localhost
,如图成功,不成功重复以上操作试一遍
5.配置hadoop环境变量,用户的
$ cd ~
$ vim .bash_profile
添加
#Hadoop 3.2.4
export HADOOP_HOME=/Users/chenl/Library/JavaSoft/Middleware/Hadoop/hadoop-3.2.4
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
最后刷新下 source .bash_profile
3.运行
3.1第一次需要先格式化,执行命令 hdfs namenode -formatt
3.2执行命令
$ cd $HADOOP_HOME
$ pwd
/Users/chenl/Library/JavaSoft/Middleware/Hadoop/hadoop-3.2.4
环境变量配置成功
(1)启动 start-dfs.sh
(2)关闭 stop-dfs.sh
3.hadoop版本是3.X,端口是9870,验证是否成功,浏览器访问.如图就成功了
http://localhost:9870
如有错误,敬请指出,一起成长!
更多推荐
所有评论(0)