当前位置: 首页 > news >正文

Hadoop的安装

文章目录

  • 一. 到Hadoop官网下载安装文件hadoop-3.4.0.tar.gz。
  • 二. 环境变量
  • 三. 配置

一. 到Hadoop官网下载安装文件hadoop-3.4.0.tar.gz。


随后点击下载即可

由于Hadoop不直接支持Windows系统,因此,需要修改一些配置才能运行

二. 环境变量

在这里插入图片描述

三. 配置

进到目录:E:\hadoop-3.4.0\etc\hadoop

修改:hadoop-env.cmd
set JAVA_HOME=C:\Program Files\Java\jdk1.8.0_351

上述这样设置可能会出问题:Hadoop Error: JAVA_HOME is incorrectly set.
更改后:

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_351

PS:PROGRA~1是 Program Files 文件夹的dos文件名模式下的缩写 。
修改:core-sit.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>

PS:此文件中已有标签,可以直接覆盖掉

修改:hdfs-site.xml
配置namenode和datanode的存放位置,可以自定义

<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:///C:/hadoop_data/hdfs/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>file:///C:/hadoop_data/hdfs/datanode</value></property>
</configuration>

PS:此文件中已有标签,可以直接覆盖掉

修改:mapred-site.xml

<configuration>   <property>       <name>mapreduce.framework.name</name>       <value>yarn</value>   </property>
</configuration>

PS:此文件中已有标签,可以直接覆盖掉

修改:yarn-site.xml

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property>
</configuration>

PS:此文件中已有标签,可以直接覆盖掉

在这里插入图片描述


http://www.mrgr.cn/news/32931.html

相关文章:

  • 【推广】图书|2024新书《大模型RAG实战:RAG原理、应用与系统构建》汪鹏、谷清水、卞龙鹏等,机械工业出版社
  • CDVAE项目环境配置
  • cv环境设置
  • expressjs 如何封装接口响应数据
  • 用 HTML + JavaScript DIY 一个渐进式延迟法定退休年龄测算器
  • Linux操作系统面试题记录
  • 行阶梯形矩阵的定义,通过正例和反例说明如何判断一个矩阵是不是行阶梯形矩阵
  • iTerm2下载并配置
  • nacos适配人大金仓的数据库
  • 【BetterBench博士】2024年中国研究生数学建模竞赛 E题:高速公路应急车道紧急启用模型 问题分析
  • 【我的 PWN 学习手札】House Of Karui —— tcache key 绕过手法
  • python多继承 - 子类指定父类
  • 基于SpringBoot+Vue的考研百科网站系统
  • 线程池实现的是什么接口
  • 如何安装部署kafka
  • 色彩管理中的Gamma值的理解
  • [Redis面试高频] - zset的底层数据结构
  • 【HTTP】构造HTTP请求和状态码
  • 基于stm32物联网身体健康检测系统
  • 一篇进阶Python深入理解函数之高阶函数与函数式编程