win10安装hadoop的方法 win10怎么安装和配置Hadoop

　　有些用户想要在自己的win10电脑中安装并配置好Hadoop，但是不知道具体的操作方法是什么，今天小编就给大家带来win10安装hadoop的方法，如果你刚好遇到这个问题，跟着小编一起来操作吧。

　　方法如下：

　　1、安装JAVA环境

　　下载JDK8，

　　选择64版本：jdk-8u241-windows-x64.exe

　　下载过程会提示注册oracle账号，请注册，如果是已有oracle账号的可以直接登录，紧接着下载、安装、配置环境变量。

　　如果JDK安装路径是C:\Program Files\Java，因为Program Files目录有空格，把这个路径配到环境变量Path会报错，填写环境变量时请使用PROGRA~1代替Program Files。

　　2、下载hadoop

　　下载hadoop，镜像链接：Index of /apache/hadoop/common

　　注意：请不要下载最新版本，建议下载 hadoop-3.1.3.tar.gz （大小约322M）或者更低的版本。解压到C:\hadoop，路径可以随意，但不要有中文或空格。

　　下载winutils，Windows安装hadoop需要这部分文件，链接：steveloughran/winutils ，找到3.0版本，或者cdarlint/winutils 找到 3.2.0，下载bin目录的文件，放入/替换 C:\hadoop\bin 文件夹内的文件，特别是要放入hadoop.dll和winutils.exe文件，并复制一份hadoop.dll放到C:\Windows\System32下。

　　配置hadoop环境变量，把C:\hadoop添加到HADOOP_HOME。并在Path添加 %HADOOP_HOME%\bin 和 %HADOOP_HOME%\sbin 。

　　打开CMD，输入hadoop version 测试是否正常显示版本信息。

　　3、配置hadoop

　　切换至目录：C:\hadoop\hadoop-3.1.3\etc\hadoop 下，

　　修改core-site.xml：

　　需在目录C:/hadoop/hadoop-3.1.3/下创建data文件夹，配置文件中路径前需加“/”。HDFS可使用localhost，如果在hosts文件已经配置了主机映射，也可以直接填主机名。

　　 hadoop.tmp.dir /C:/hadoop/hadoop-3.1.3/data fs.defaultFS hdfs://your_host_name_or_localhost:9000 修改hadoop-env.cmd

　　set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_241修改hdfs-site.xml

　　单节点填1即可，如果是多节点，根据节点数量填写。

　　 dfs.replication 1 dfs.namenode.name.dir /C:/hadoop/hadoop-3.1.3/data/namenode dfs.datanode.data.dir /C:/hadoop/hadoop-3.1.3/data/datanode 修改mapred-site.xml

　　 mapreduce.framework.name yarn 修改yarn-site.xml

　　 yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hahoop.mapred.ShuffleHandler 修改完毕。

　　4、节点格式化

　　打开cmd执行：

　　hdfs namenode -format如正常，会显示namenode has been successfully formatted。如果出错，可能原因有如：环境变量配置错误如路径出现空格，或者winutils版本不对hadoop版本过高等，或hadoop的etc下文件配置有误。

　　5、启动Hadoop

　　切换到C:\hadoop\sbin目录下（如果有正常配置环境变量是不需要切换目录的），执行命令：

　　start-all.cmd启动Hadoop，此时会弹出4个CMD窗口，分别是NameNode、ResourceManager、NodeManager、DataNode。检查4个窗口有没有报错。在CMD执行jps看到这4个进程。

　　6、登录WEB验证

　　建议关闭防火墙。

　　在浏览器输入‘http://your_host_name_or_localhost:8088/’访问集群节点。

　　在浏览器输入‘http://your_host_name_or_localhost:9870/’访问HDFS。

　　以上就是win10安装hadoop的方法的全部内容，有遇到相同问题的用户可参考本文中介绍的步骤来进行修复，希望能够对大家有所帮助。