帝王谷资源网

Linux中Centos7搭建Hadoop服务步骤
服务器 2024/12/23 佚名
3 2
帝王谷资源网 Design By www.wdxyy.com

下载Hadoop 官网：http://hadoop.apache.org/releases.html

先配置jdk环境（教程：https://www.jb51.net/article/108936.htm）

下载以后 解压到到/usr/local

tar -zxvf hadoop-2.8.0.tar.gz -C /usr/local

为了方便操作 把hadoop-2.8.0 改为hadoop

mv /usr/local/hadoop-2.8.0 /usr/local/hadoop

查看主机名

hostname //第一个参数为主机名

检查是否可以免密码

ssh localhost //这里的localhost为主机名

注意：一般初次安装都需要密码

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub  ~/.ssh/authorized_keys

再次验证

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub  ~/.ssh/authorized_keys

注意：如没有Enter password 就说明免密码了

配置环境变量

vim /etc/profile

末尾添加

export HADOOP_HOME=/usr/local/hadoop 
export PATH=$JAVA_HOME/bin:$PATH:$HOME/bin:$HADOOP_HOME/bin

使环境变量立即生效

source /etc/profile

创建Hadoop的临时文件存放地

mkdir /usr/local/hadoop/tmp

编辑Hadoop的配置文件

cd /usr/local/hadoop/etc/hadoop/
vim hadoop-env.sh

末尾添加

export JAVA_HOME=/usr/local/java/jdk1.8.0_131/ 
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

注意：路径要对

使环境变量立即生效

source hadoop-env.sh

配置另一个文件

vim core-site.xml

在<configuration></configuration>中添加以下内容

<property> 
    <name>fs.defaultFS</name> 
    <value>hdfs://localhost:9000</value> 
  </property> 
<property> 
<name>hadoop.tmp.dir</name> 
<value>file:/usr/local/hadoop/tmp</value> 
    </property>

配置下一个文件 hdfs-site.xml

vim hdfs-site.xml

在<configuration></configuration>中添加以下内容

<property> 
    <name>dfs.replication</name> 
    <value>1</value> 
  </property> 
 <property> 
    <name>dfs.namenode.name.dir</name> 
    <value>file:/usr/local/hadoop/tmp/dfs/name</value> 
    </property> 
    <property> 
     <name>dfs.datanode.data.dir</name> 
     <value>file:/usr/local/hadoop/tmp/dfs/data</value> 
    </property>

配置下一个文件mapred-site.xml 因为这个文件默认不存在 我们把mapred-site.xml.template作为模板来配置

cp mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

在<configuration></configuration>中添加以下内容

<property> 
    <name>mapreduce.framework.name</name> 
    <value>yarn</value> 
  </property>

配置下下个文件yarn-site.xml

vim yarn-site.xml

在<configuration></configuration>中添加以下内容

<property> 
    <name>yarn.nodemanager.aux-services</name> 
    <value>mapreduce_shuffle</value> 
  </property>

配置最后一个文件yarn-env.sh

vim yarn-env.sh

注意：在第23行左右 export JAVA_HOME （删除# 去掉注释），并更改正确jdk的路径

格式化namenode

cd /usr/local/hadoop
bin/hdfs namenode-format

注意：成功的话，会看到 “successfully formatted” 和 “Exitting withstatus 0” 的提示，若为 “Exitting with status 1” 则是出错了

通过脚本启动hdfs

sbin/start-dfs.sh

打开浏览器访问http://localhost:50070，验证是否hdfs配置成功

Linux中Centos7搭建Hadoop服务步骤

再来启动yarn

sbin/start-yarn.sh

打开浏览器访问http://localhost:8088，验证yarn是否配置成功

Linux中Centos7搭建Hadoop服务步骤

注意：由于浏览器存在缓存问题 打开地址可能会失败关闭浏览器 重新打开一两次就好，如果还是失败 检查配置文件是否有误

查看已启动的hadoop进程

jps

注意：如果没有 NameNode 或 DataNode ，那就是配置不成功

标签：
Centos7,Hadoop
帝王谷资源网 Design By www.wdxyy.com
广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
帝王谷资源网 Design By www.wdxyy.com
www.wdxyy.com 帝王谷资源网
139,976互联网资源
144,792高清电影
21,817无损音乐
631,128技术资源

更新日志

友情链接

杰晶网络 DDR爱好者之家 桃源资源网 杰网资源 富贵资源网 南强小屋 铁雪资源网 幽灵资源网 万梅资源网 狼山资源网 白云岛资源网 昆仑资源网 相思资源网 明霞山资源网 内蒙古资源网 黑松山资源网 茶园资源网 饿虎岗资源网 大旗谷资源网 常春岛资源网 岱庙资源网 兴国资源网 快活林资源网 蝙蝠岛资源网 帝王谷资源网 白云城资源网 伏龙阁资源网 清风细雨楼 天枫庄资源网 圆月山庄资源网 无争山庄资源网 神水资源网 移花宫资源网 神剑山庄资源网 无为清净楼资源网 金钱帮资源网 丐帮资源网 华山资源网 极乐门资源网 小李飞刀资源网 凤求凰客栈 风云阁资源网 金狮镖局 鸳鸯亭资源网 千金楼资源网 更多链接