gmnon.cn-疯狂蹂躏欧美一区二区精品,欧美精品久久久久a,高清在线视频日韩欧美,日韩免费av一区二区

站長資訊網
最全最豐富的資訊網站

Hadoop大數據部署

2018-12-19 分類：服務器技術 閱讀(1282) 評論(0)

Hadoop大數據部署

一. 系統環境配置：

1. 關閉防火墻，selinux

關閉防火墻：
systemctl stop firewalld
systemctl disable firewalld

設置selinux為disable
# cat /etc/selinux/config
SELINUX=disabled

2. 配置ntp時間服務器
# yum -y install ntpdate
# crontab -l
*/5 * * * * /usr/sbin/ntpdate 192.168.1.1 >/dev/null 2>&1

將IP地址換成可用的時間服務器IP

3. 修改系統限制
# cat /etc/security/limits.conf
* soft nproc  100000
* hard nproc  100000
* soft nofile 102400
* hard nofile 102400
hadoop soft nproc  100000
hadoop hard nproc  100000
hadoop soft nofile 102400
hadoop hard nofile 102400

4. 創建hadoop用戶
groupadd -g 1002 hadoop
useradd -u 1002 -g hadoop hadoop

5. 配置hosts
[root@hadoop2 ~]# cat /etc/hosts
127.0.0.1  localhost localhost.localdomain localhost4 localhost4.localdomain4
::1        localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.24.43 hadoop1
192.168.24.216 hadoop2
192.168.24.7 hadoop3

6. 分發公鑰
# su – hadoop
$ ssh-keygen
$ ssh-copy-id hadoop@hadoop1
$ ssh-copy-id hadoop@hadoop2
$ ssh-copy-id hadoop@hadoop3

保證某一個節點上都有所有的節點的公鑰。

7. 安裝jdk
# yum -y install jdk-8u171-linux-x64.rpm
# java -version
java version “1.8.0_171”
Java(TM) SE Runtime Environment (build 1.8.0_171-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.171-b11, mixed mode)

8. 安裝SCALA

Scala 是一門多范式（multi-paradigm）的編程語言，設計初衷是要集成面向對象編程和函數式編程的各種特性。Scala 運行在Java虛擬機上，并兼容現有的Java程序。Scala 源代碼被編譯成Java字節碼，所以它可以運行于JVM之上，并可以調用現有的Java類庫。
cd /app
tar -zxvf /home/Software/scala-2.11.12.tgz  -C .
 mv scala-2.11.12 scala

9. 安裝snappy

Snappy是一個壓縮/解壓縮庫。它的目標不是最大壓縮，也不與任何其他壓縮庫兼容; 相反，它的目標是非常高的速度和合理的壓縮。例如，與最快的zlib模式相比，對于大多數輸入，Snappy的速度要快一個數量級，但生成的壓縮文件大小要高20％到100％。
yum -y install automake autoconf libtool openssl openssl-devel gcc gcc-c++
tar -zxvf  snappy-1.1.3.tar.gz
cd snappy-1.1.3
./autogen.sh
./configure
make & make install

10. 安裝lzo以及lzop

LZO 是一個用 ANSI C 語言編寫的無損壓縮庫。他能夠提供非常快速的壓縮和解壓功能。解壓并不需要內存的支持。即使使用非常大的壓縮比例進行緩慢壓縮出的數據，依然能夠非常快速的解壓。LZO遵循GNU 的GPL 使用許可。
LZO 非常適合進行數據的實時壓縮解壓處理，這就是說他更關心操作速度，而不是壓縮比例。
LZO 使用 ANSI C 語言編寫，并且壓縮后的數據也被設計為可以跨平臺使用的格式。
tar -xvf lzo-2.06.tar.gz
cd lzo-2.06
./configure –enable-shared
make && make install

lzop是使用lzo庫寫的一個程序，通過shell命令直接可以壓縮、解壓縮文件。
tar -xvf lzop-1.03.tar.gz
cd lzop-1.03
./configure
make && make install

二. Zookeeper 集群

Zookeeper有三種安裝模式，單機模式：單節點安裝standalones模式；偽集群模式：在一臺主機上啟動多個zookeeper的實例；集群模式：需要奇數臺服務器，至少3臺，每臺啟動一個zookeeper實例。

1. 解壓安裝Zookeepr
su – hadoop
mkdir /app
tar -zxvf zookeeper-3.4.10.tar.gz -C /app/
cd /app
sudo mv zookeeper-3.4.10 zookeeper
mkdir data logs

2. 修改zoo.cfg文件
[hadoop@hadoop1 ~]$ vim /app/zookeeper/conf/zoo.cfg
tickTime=2000
initLimit=20
syncLimit=10
dataDir=/app/zookeeper/data
dataLogDir=/app/zookeeper/logs
clientPort=2181
server.1=hadoop1:2888:3888
server.2=hadoop2:2888:3888
server.3=hadoop3:2888:3888

initLimit：初始化鏈接時，follower和leader之間的最長心跳時間，20*2000即40秒
syncLimit：leader和follower之間發送消息, 請求和應答的最大時間長度，即20秒
server.X=A:B:C 其中X是一個數字, 表示這是第幾號server. A是該server所在的IP地址. B:配置該server和集群中的leader交換消息所使用的端口. C:配置選舉leader時所使用的端口

3. 修改myid

在/app/zookeeper/data/下增加一個myid文件，把前面配置文件里server.X中的X寫入里面。
[hadoop@hadoop1 ~]$ cat /app/zookeeper/data/myid
1

4. 修改zookeeper的日志輸出路徑：

修改/app/zookeeper/bin/zkEnv.sh下的ZOO_LOG_DIR改為配置文件里寫的路徑/app/zookeeper/logs。
if [ “x${ZOO_LOG_DIR}” = “x” ]
then
    ZOO_LOG_DIR=”/app/zookeeper/logs”
fi

5. 啟動并調試zookeeper

啟動：

$ zkServer.sh start

查看狀態：

$ zkServer.sh status
[hadoop@hadoop1 ~]$ zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /app/zookeeper/bin/../conf/zoo.cfg
Mode: follower

二. Hadoop HA安裝

hadoop分為1.0和2.0兩個大版本，具體的區別自行查找。本文主要使用的是hadoop2.0。hadoop2.0的生態系統主要包括以下核心項目：HDFS YARN MapReduce。

1. 解壓安裝
sudo tar -zxvf hadoop-2.9.1.tar.gz -C /app/
$ pwd
/app/hadoop/etc/hadoop
$ ls
capacity-scheduler.xml      httpfs-env.sh            mapred-env.sh
configuration.xsl          httpfs-log4j.properties  mapred-queues.xml.template
container-executor.cfg      httpfs-signature.secret  mapred-site.xml
core-site.xml              httpfs-site.xml          mapred-site.xml.template
hadoop-env.cmd              kms-acls.xml            slaves
hadoop-env.sh              kms-env.sh              ssl-client.xml.example
hadoop-metrics2.properties  kms-log4j.properties    ssl-server.xml.example
hadoop-metrics.properties  kms-site.xml            yarn-env.cmd
hadoop-policy.xml          log4j.properties        yarn-env.sh
hdfs-site.xml              mapred-env.cmd          yarn-site.xml

2. 修改hadoop的環境變量（hadoop-env.sh）
export HADOOP_HEAPSIZE=16196
export JAVA_HOME=/usr/java/1.8.0_171
export JAVA_LIBRARY_PATH=/app/hadoop-2.9.1/lib/native
export HADOOP_OPTS=”-Djava.library.path=/app/hadoop-2.9.0/lib/native”
注意：如果在CentOS 6環境中變量名后面的路徑必須使用雙引號，否則后面啟動的時候報錯找不到該變量。

3. 修改core-site.xml
<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://myhadoop</value>
</property>
<property>
  <name>ha.zookeeper.quorum</name>
  <value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/app/hadoop/tmp</value>
</property>
<property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
</property>
<property>
    <name>io.compression.codecs</name>                            <value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.BZip2Codec</value>
</property>
<property>
    <name>io.compression.codec.lzo.class</name>
    <value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
<property>
    <name>hadoop.proxyuser.hadoop.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.hadoop.groups</name>
    <value>*</value>
</property>
</configuration>

3. 修改hdfs-site.xml
<configuration>
<property>
  <name>dfs.nameservices</name>
  <value>myhadoop</value>
</property>
<property>
  <name>dfs.ha.namenodes.myhadoop</name>
  <value>nn1,nn2</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.myhadoop.nn1</name>
  <value>hadoop1:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.myhadoop.nn2</name>
  <value>hadoop2:8020</value>
</property>
<property>
  <name>dfs.namenode.http-address.myhadoop.nn1</name>
  <value>hadoop1:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>hadoop2:50070</value>
</property>
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/app/hadoop/qjournal</value>
</property>
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://hadoop1:8485;hadoop2:8485;hadoop3:8485/myhadoop</value>
</property>
<property>
  <name>dfs.client.failover.proxy.provider.myhadoop</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/home/hadoop/.ssh/id_rsa</value>
</property>
 <property>
  <name>dfs.ha.automatic-failover.enabled</name>
  <value>true</value>
 </property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/app/hadoop/dfs/name,file:/hadoop/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/app/hadoop/dfs/data</value>
</property>
<property>
    <name>dfs.datanode.handler.count</name>
    <value>100</value>
</property>
<property>
    <name>dfs.namenode.handler.count</name>
    <value>1024</value>
</property>
<property>
    <name>dfs.datanode.max.xcievers</name>
    <value>8096</value>
</property>
</configuration>

3. 修改yarn-site.xml
<configuration>
<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>cluster1</value>
</property>
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>hadoop1</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>hadoop2</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm1</name>
  <value>hadoop1:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm2</name>
  <value>hadoop2:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
</property>
</configuration>

5. 修改mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop1:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop1:19888</value>
</property>
<property>
    <name>mapreduce.job.tracker</name>
    <value>hdfs://hadoop1:8021</value>
</property>
<property>
    <name>mapreduce.reduce.shuffle.parallelcopies</name>
    <value>50</value>
</property>
<property>
    <name>mapreduce.map.java.opts</name>
    <value>-Xmx4096M</value>
</property>
<property>
    <name>mapreduce.reduce.java.opts</name>
    <value>-Xmx8192M</value>
</property>
<property>
    <name>mapreduce.map.memory.mb</name>
    <value>4096</value>
</property>
<property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>8192</value>
</property>
<property>
    <name>mapreduce.map.output.compress</name>
    <value>true</value>
</property>
<property>
    <name>mapred.child.env</name>
    <value>JAVA_LIBRARY_PATH=/app/hadoop-2.9.1/lib/native</value>
</property>
<property>
    <name>mapreduce.map.output.compress.codec</name>
    <value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
<property>
    <name>mapreduce.task.io.sort.mb</name>
    <value>512</value>
</property>
<property>
    <name>mapreduce.task.io.sort.factor</name>
    <value>100</value>
</property>
<property>
    <name>mapred.reduce.tasks</name>
    <value>4</value>
</property>
<property>
    <name>mapred.map.tasks</name>
    <value>20</value>
</property>
<property>
    <name>mapred.child.java.opts</name>
    <value>-Xmx4096m</value>
</property>
<property>
    <name>mapreduce.reduce.shuffle.memory.limit.percent</name>
    <value>0.1</value>
</property>
<property>
    <name>mapred.job.shuffle.input.buffer.percent</name>
    <value>0.6</value>
</property>
</configuration>

6. 修改yarn-env.sh環境，添加環境變量

在yarn-env.sh文件后面設置yarn heap大小。追加下面這句
YARN_HEAPSIZE=4000

添加環境變量：
$ tail .bash_profile
export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64
export HADOOP_HOME=/app/hadoop
export ZOOKPEER_HOME=/app/zookeeper
export LIBRAY_PATH=$HADOOP_HOME/lib/native
export SCALA_HOME=/app/scala
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKPEER_HOME/bin:$SCALA_HOME/bin

7 集群的啟動與監控

安裝psmisc，否則不能實現自動切換：
yum -y install psmisc

啟動集群：
# 1. 在所有zookeeper節點上執行
zkServer.sh start
# 1.1 在leader上執行，用zookeeper進行初始化，這將會創建一個znode在zookeeper上內部實現自動備援系統。
hdfs zkfc -formatZK
# 1.2 If you are setting up a fresh HDFS cluster, you should first run the format command，on one of NameNodes.
hdfs namenode -format
# 2. 自動啟動hdfs服務
start-dfs.sh
# 2.1 注意：如何你想要手動的管理你的集群服務，你必須通過zkfc deamon來啟動你的namenode，命令如下：
hadoop-daemon.sh –script hdfs start zkfc
# 3. 在hadoop啟動Resourcemanager
start-yarn.sh
# 4. 在另一個節點上啟動standby resourcemanager
yarn-daemon.sh start resourcemanager

# 其他命令：
# 啟停namenode
hadoop-daemon.sh start/stop namenode
# 啟停datanode
hadoop-daemon.sh start/stop namenode

查看狀態：
# 查看各個節點
$ jps
2049 NameNode
2611 DFSZKFailoverController
3465 ResourceManager
1727 QuorumPeerMain
2159 DataNode
2415 JournalNode
3199 NodeManager
3695 Jps
# 查看HDFS集群namedate節點的狀態
hdfs haadmin -getAllServiceState
# 查看nn1/nn2的狀態
hdfs haadmin -getServiceState nn1
hdfs haadmin -getServiceState nn2
# 查看resourcemanager集群的主備狀態
$ yarn rmadmin -getAllServiceState
hadoop1:8033                                      active   
hadoop2:8033                                      standby 
# 查看resourcemanager的集群各個節點的狀態
$ yarn rmadmin -getServiceState rm1
active
$ yarn rmadmin -getServiceState rm2
standby

hadoop集群監控相關的端口：
NameNode: http://namenode_host:50070
ResourceManager: http://resourcemanager_host:8088
MapReduce JobHistory Server: http://jobistoryserver_host:19888

贊(0)
分享到： 更多 (0)
標簽：
?
網站地圖   滬ICP備18035694號-2    滬公網安備31011702889846號
gmnon.cn-疯狂蹂躏欧美一区二区精品,欧美精品久久久久a,高清在线视频日韩欧美,日韩免费av一区二区
久久黄色片视频| 日本一道在线观看| 91制片厂免费观看| 欧美女人性生活视频| 91性高潮久久久久久久| 99色精品视频| 日韩激情视频一区二区| 五月婷婷六月丁香激情| 两根大肉大捧一进一出好爽视频| 久久婷婷中文字幕| 成人中文字幕av| 欧美日韩精品在线一区二区| 欧美aaa在线观看| 亚洲最大成人在线观看| 精品无码一区二区三区在线| www.日本三级| 成人午夜免费在线视频| 99精品视频国产| 亚洲视频一二三四| 青青青国产在线视频| 国内外成人激情视频| 国产视频一视频二| 欧美 日韩 亚洲 一区| 免费无码毛片一区二三区| 800av在线免费观看| 精品国产一区二区三区无码| 警花观音坐莲激情销魂小说| 中文字幕色网站| 五月天开心婷婷| 午夜探花在线观看| 五月天综合婷婷| 日韩精品久久一区二区| 青青在线视频免费观看| 欧美一级爱爱视频| 无码日本精品xxxxxxxxx| av网站大全免费| 日韩av资源在线| 天天爽人人爽夜夜爽| 中文字幕亚洲欧洲| 亚洲欧美天堂在线| 国产女教师bbwbbwbbw| 人妻少妇精品无码专区二区| 国模吧无码一区二区三区| 99久久国产宗和精品1上映| 久草福利视频在线| 欧美视频亚洲图片| 欧美亚洲色图视频| 成人中文字幕av| 4444在线观看| 91成人在线观看喷潮教学| 东京热加勒比无码少妇| 免费精品99久久国产综合精品应用| 久久99国产精品一区| 欧美日韩福利在线| www.色就是色| 国内精品国产三级国产99| 久久成人免费观看| 加勒比av中文字幕| 丰满少妇被猛烈进入高清播放| 一二三av在线| 18岁视频在线观看| 国产 欧美 日本| 天堂在线中文在线| 国产日韩一区二区在线| 欧美a级黄色大片| 亚洲精品视频导航| 国产h视频在线播放| 天天操夜夜操很很操| 北条麻妃视频在线| 国产真人做爰毛片视频直播| 亚洲欧美自偷自拍另类| 国产精品12345| 日本一本在线视频| 欧美美女性视频| 美女网站免费观看视频| 国产伦精品一区二区三区四区视频_| 911av视频| 尤物国产在线观看| 久久精品影视大全| 黄色国产精品视频| 午夜精品久久久久久久无码| 先锋影音男人资源| caoporm在线视频| 粉色视频免费看| 欧美婷婷精品激情| 人妻精品无码一区二区三区| 国产视频1区2区3区| 911福利视频| 免费观看成人网| 国产成人久久婷婷精品流白浆| 色偷偷中文字幕| 中文国产在线观看| 国产高清av片| 国产高清免费在线| 中文字幕免费高| 一级黄色大片儿| 爱豆国产剧免费观看大全剧苏畅| 天天干天天av| 国产对白在线播放| av磁力番号网| 日本人妻伦在线中文字幕| 国产欧美123| 国产婷婷一区二区三区| a级黄色一级片| 免费日韩视频在线观看| 国产a级片免费观看| 男女无套免费视频网站动漫| 欧美黄色性生活| 超碰97免费观看| 成人午夜视频免费观看| www.99热这里只有精品| 亚洲乱码国产一区三区| 天天综合网久久| 国产精品国产三级国产专区51| 国产中文字幕视频在线观看| 手机在线免费观看毛片| 在线播放黄色av| 18禁裸男晨勃露j毛免费观看| 免费看的黄色大片| 第四色婷婷基地| 久久久国产精华液999999 | 日本999视频| 亚洲第一天堂久久| 欧美无砖专区免费| 日韩精品一区二区三区色欲av| 性欧美1819| 韩日视频在线观看| 色悠悠久久综合网| avav在线播放| 亚洲va在线va天堂va偷拍| www婷婷av久久久影片| 一本久道中文无码字幕av| 手机看片日韩国产| 国产精彩免费视频| 国产精品国产对白熟妇| 污污网站免费观看| 狠狠97人人婷婷五月| 在线观看中文av| 免费观看成人在线视频| 青青草视频在线视频| 中文字幕有码av| 黄页网站大全在线观看| 国产黑丝在线视频| 日本在线一二三区| 日本中文字幕片| 成年在线观看视频| 国产成人强伦免费视频网站| 成年网站在线免费观看| 18黄暴禁片在线观看| 亚洲热在线视频| 欧美男女交配视频| 别急慢慢来1978如如2| 欧美午夜性视频| 成人在线免费观看视频网站| 亚洲黄色av片| 天天操天天干天天做| 美女喷白浆视频| 一本大道熟女人妻中文字幕在线 | 四虎1515hh.com| 777一区二区| 簧片在线免费看| xxxx一级片| 91欧美视频在线| 182午夜在线观看| 在线观看岛国av| 亚洲第一成肉网| 懂色av一区二区三区四区五区| 免费成人黄色大片| 欧美 另类 交| 青青草免费在线视频观看| 蜜桃视频成人在线观看| 三级在线免费观看| av在线免费观看国产| 分分操这里只有精品| 国产精品又粗又长| 欧美 国产 日本| 国产高清视频网站| caoporm在线视频| 亚洲自拍偷拍一区二区三区| 青青草影院在线观看| 免费人成在线观看视频播放| 国产精品裸体瑜伽视频| 凹凸日日摸日日碰夜夜爽1| 亚洲一二三区av| 99精品视频免费版的特色功能| 国产免费xxx| 2022亚洲天堂| 怡红院亚洲色图| 日本免费黄色小视频| 久色视频在线播放| 91在线视频观看免费| 日韩欧美理论片| 国产精品999视频| 亚洲欧美国产日韩综合| 日本免费黄色小视频| 少妇性饥渴无码a区免费| 8x8x成人免费视频| 可以看毛片的网址| 成人性生生活性生交12| 国产又黄又爽免费视频|