配置完全分布式

10余年的彭州網(wǎng)站建設(shè)經(jīng)驗，針對設(shè)計、前端、開發(fā)、售后、文案、推廣等六對一服務(wù)，響應(yīng)快，48小時及時工作處理。成都全網(wǎng)營銷的優(yōu)勢是能夠根據(jù)用戶設(shè)備顯示端的尺寸不同，自動調(diào)整彭州建站的顯示方式，使網(wǎng)站能夠適用不同顯示終端，在瀏覽器中調(diào)整網(wǎng)站的寬度，無論在任何一種瀏覽器上瀏覽網(wǎng)站，都能展現(xiàn)優(yōu)雅布局與設(shè)計，從而大程度地提升瀏覽體驗。創(chuàng)新互聯(lián)從事“彭州網(wǎng)站設(shè)計”,“彭州網(wǎng)站推廣”以來，每個客戶項目都認(rèn)真落實執(zhí)行。

---

1、修改靜態(tài)IP和主機名稱

①規(guī)劃IP和主機名映射

②涉及文件

etc/hostname

etc/hosts

etc/resolve.conf

etc/sysconfig/network-script/ifcfg-ens3

2、配置ssh

①刪除各節(jié)點的~/.ssh目錄

②在各節(jié)點創(chuàng)建~/.ssh目錄，同時指定權(quán)限

mkdir ~/.ssh -m 700

③在主節(jié)點生成公私密鑰對

//生成成公私密鑰對

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cp id_rsa.pub authorized_keys        //authorized_keys為644權(quán)限

//分發(fā)公鑰

scp ~/.ssh/authorized_keys centos@s202:/home/centos/.ssh/

ssh-copy-id centos@s202

④分發(fā)密鑰

scp ~/.ssh/authorized_keys centos@s212:/~/.ssh/

⑤測試ssh是否成功

ssh s212

3、修改配置文件并分發(fā)到個節(jié)點

①core-site.xml

<?xml version="1.0"?>

<!-- core-site.xml -->

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://s201</value>

    </property>

</configuration>

②hdfs-site.xml

<?xml version="1.0"?>

<!-- hdfs-site.xml -->

<configuration>

    <property>

            <name>dfs.replication</name>

            <value>3</value>

        </property>

    <property>

            <name>dfs.namenode.name.dir</name>

            <value>/home/centos/hadoop/hdfs/name</value>

    </property>

    <property>

            <name>dfs.datanode.data.dir</name>

            <value>/home/centos/hadoop/hdfs/data</value>

    </property>

    <property>

            <name>dfs.namenode.checkpoint.dir</name>

            <value>/home/centos/hadoop/hdfs/namesecondary</value>

    </property>

</configuration>

③mapred-site.xml

<?xml version="1.0"?>

<!-- mapred-site.xml -->   

<configuration>

    <property>

            <name>mapreduce.framework.name</name>

            <value>yarn</value>

    </property>

</configuration>

④yarn-site.xml

<?xml version="1.0"?>

<!-- yarn-site.xml -->

<configuration>

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>s201</value>

    </property>

    <property>

        <name>yarn.nodemanager.local-dirs</name>

        <value>/home/centos/hadoop/nm-local-dir</value>

    </property>

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

</configuration>

⑤分發(fā)配置文件

rsync etc centos@s212:/soft/hadoop/

4、NN和DN指定

slaves文件配置

5、克隆主機并修改各節(jié)點主機IP和名稱

方法同步驟1

6、格式化文件系統(tǒng)

hdfs namenode -format

7、啟動集群，觀察進程

1、啟動hdfs

start-dfs.sh

//涉及進程

namenode    50070    元數(shù)據(jù)

datanode    50075    數(shù)據(jù)

secondarynamenode    50090    

2、啟動yarn

start-yarn.sh

//涉及進程

resourcemanager    

nodemanager

涉及腳本：

---

1、xcall.sh

#!/bin/bash

for host in `cat /soft/hadoop/etc/hadoop/slaves` ; do

echo ========== $host ===========

ssh $host $@ ;

done

2、xsync.sh

#!/bin/bash

param=$1

dir=`dirname $param`

fullpath=`pwd -P`

user=`whoami`

filename=`basename $param`

cd $dir

for host in `cat /soft/hadoop/etc/hadoop/slaves` ; do

echo =========== $host ============

rsync -lr $filename $user@$host:$fullpath ;

done

網(wǎng)頁題目：CentOS下hadoop完全分布式的基礎(chǔ)配置
標(biāo)題來源：http://sd-ha.com/article6/popgig.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站策劃、網(wǎng)站營銷、建站公司、域名注冊、網(wǎng)站排名、搜索引擎優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)