MacOS 安装Hadoop并配置环境变量

Author Avatar
AF_ 02月 17,2020
  • 使用微信扫码分享

MAC 系统安装 Hadoop-2.7.6

1.查看是否安装了Java

打开终端,运行java -version 命令,可以查看java版本。

image.png

2.下载hadoop

地址  http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz

image.png

3.配置Mac Os自身环境

这个主要是配置ssh环境,现在Item中输入ssh localhost 

方法一:当前用户没有权限。这个多半是系统为安全考虑,默认设置的。
更改设置如下:进入系统偏好设置 --> 共享 --> 勾选远程登录,并设置允许访问:所有用户。
再次输入“ssh localhost",再输入密码并确认之后,可以看到ssh成功。

image.png

 方法二:没有连接成功,需要新生成对应ssh的公钥与私钥,一路无脑next,可以实现最终免密登陆
 ssh-keygen -t dsa-P''-f~/.ssh/id_dsa 
 cat /.ssh/id_dsa.pub >> /.ssh/authorized_keys

4.设置环境变量

在终端中输入:touch ~/.bash_profile
打开文件:vim ~/.bash_profile
export HADOOP_HOME=/Users/lmf./work/hadoop/hadoop-2.7.6(根据你自己的目录进行设定)
export PATH=$PATH:$HADOOP_HOME/bin
②保存文件
③设置变量立即生效命令:source ~/.bash_profile
④查看设置变量设置是否成功:hadoop -version

image.png

5.配置Hadoop目录下的文件

路径下:hadoop-2.7.6/etc/hadoop
① Hadoop hadoop-env.sh 配置
JAVA_HOME={your java home directory}
HADOOP_PREFIX={your hadoop distribution directory}
说明:查看JAVA_HOME 命令:/usr/libexec/java_home# set to the root of your Hadoop
说明:HADOOP_PREFIX 你本地hadoop路径 xxxx/hadoop-2.7.6/

image.png


如果只是需要在本地上传文件至远程HDFS那么配置到这里就可以了。