(资料图片仅供参考)
一、环境准备
安装Java:Hadoop是基于Java编写的,需要先安装Java。创建普通用户:为了安全起见,我们不应该直接使用root用户来运行Hadoop。下载Hadoop:从官网下载Hadoop的稳定版本。二、安装配置Hadoop
解压Hadoop:将下载的Hadoop文件解压到指定目录下。配置Hadoop环境变量:编辑/etc/profile文件,将Hadoop的bin目录添加到PATH环境变量中。配置Hadoop:修改Hadoop的配置文件,主要包括core-site.xml、hdfs-site.xml和mapred-site.xml。core-site.xml:fs.defaultFS hdfs://localhost:9000
hdfs-site.xml:dfs.replication 1 dfs.name.dir /opt/hadoop-2.10.1/hadoop_data/hdfs/namenode dfs.data.dir /opt/hadoop-2.10.1/hadoop_data/hdfs/datanode
mapred-site.xml:mapreduce.framework.name yarn
启动Hadoop:使用以下命令启动Hadoop。$ start-all.sh
测试Hadoop:使用以下命令测试Hadoop是否正常运行。$ hadoop fs -mkdir /test
三、配置Hadoop集群
配置SSH无密码登录:Hadoop需要使用SSH来在不同节点之间传输数据,因此需要配置SSH无密码登录。编辑hdfs-site.xml:在hdfs-site.xml文件中配置HDFS的复制因子和数据目录。配置core-site.xml:在core-site.xml文件中配置NameNode和ResourceManager的IP地址和端口。配置yarn-site.xml:在yarn-site.xml文件中配置ResourceManager的IP地址和端口。在所有节点上启动Hadoop:使用以下命令在所有节点上启动Hadoop。$ start-all.sh
Copyright 2015-2022 亚洲质量网 版权所有 备案号:豫ICP备20022870号-9 联系邮箱:553 138 779@qq.com