最近装Hadoop的心得

  以前装Hadoop是跟着厦大林子雨的详细教程装的,所以遇到的问题不多,自己没怎么思考,导致跟着Hbase官网单机配置时出了很多问题,现在记下来以免以后再犯。

首先,安装软件首先看官网教程。但官网的教程是很简单的,比如Hadoop的安装。默认会创建hadoop用户;给hadoop权限;所有都在hadoop用户下操作(不然会出错);会更新apt;会解压;会配JAVA_HOME,会配置SSH免密登陆。但我是个小白啊,都不懂,因此查了很多资料。不过这些都是Linux基础,我现在得记住这些。

一、创建hadoop用户

1.1 创建可以登陆的 hadoop 用户,并自动建立用户的登入目录

udo useradd -m hadoop
知识兔

  -m 是自动建立用户的登入目录,如果不输以新用户身份登入后会出错。

  -s指定用户登入后所使用的shell。默认值为/bin/bash。(所以可以不指定)

  其他详见useradd命令详解:

        https://www.cnblogs.com/irisrain/p/4324593.html

1.2 设置密码,可简单设置为 hadoop,按提示输入两次密码

udo passwd hadoop
知识兔

  sudo是使得普通用户有root权限的命令,如果就是root没必要输

1.3 可为 hadoop 用户增加管理员权限,方便部署

udo adduser hadoop sudo
知识兔

二、更新apt

后续我们使用 apt 安装软件(比如ssh-server),如果没更新可能有一些软件安装不了

udo apt-get update
知识兔

三、安装SSH,配置免密登陆

  厦大教程cf官网教程,厦大说下载ssh-server(首先要确保你的linux系统中已经安装了ssh,对于ubuntu系统一般默认只安装了ssh client,所以还需要我们手动安装ssh server)

而官网说安装ssh(why?I don‘t know,但我相信官网hhh)

所以安装过程是:

get install ssh
sudo apt-get install pdsh
知识兔

配置免密登陆是:

先check一下可不可以免密:

sh localhost
知识兔

如果不行,利用 ssh-keygen 生成密钥,并将密钥加入到授权中(参考官网)

-f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys #加入授权
chmod 0600 ~/.ssh/authorized_keys #啥意思?
知识兔

四、安装Java环境

4.1 apt傻瓜式安装java

  按班主任的操作好像是先查看 java -version ,没有,系统提示apt-install headlessjava啥的,然后安装openjdk-8-jdk

pt install openjdk-8-jdk
知识兔

不安11好像是因为这个在hadoop3上没有错,比较稳定

4.2 编辑当前登录用户的环境变量配置文件

im ~/.bashrc
知识兔
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
知识兔
  • JAVA_HOME指明JDK安装路径,此路径下包括lib,bin,jre等文件夹
  • 如果你不记得自己的JAVA在哪里,可以输 whereis java ,再翻文件夹到第一个不是快捷键的就是你java的位置啦!

4.3 让环境变量立即生效

  请执行如下代码:

ource ~/.bashrc
知识兔

4.4检验

  执行上述命令后,可以检验一下是否设置正确:

  用查看java -version等方式检验一下,至此,就成功安装了Java环境。下面就可以进入Hadoop的安装。

$JAVA_HOME     # 检验变量值
java -version
$JAVA_HOME/bin/java -version  # 与直接执行java -version一样
知识兔
计算机