Dokumen1.docx

ARSITEKTUR HADOOP Terdapat empat node dimana 1 bertindak sebagai namenode dan 2 lagi sebagai datanode dan 1 lagi sebagai compute node untuk layer mapreduce. pada sistem cluster hadoop ini dibuat sistem grid pada directory hdfs dimana terdapat 3 grid pada datanode dan 1 grid pada namenode. Sesuai dengan implementasinya grid sistem ini berguna untuk menjaga data hasil replika tetap aman jika terjadi kerusakan pada hardware. jadi data yang hilang hanya pada grid itu saja dan masih banyak grid yang lainnya yang masih menyimpan replika data yang ada pada hdfs.

NETWORK SETTING setting jaringan static di setiap node dengan ip dibawah 1. 2. 3. 4.

headnode ( 10.30.40.80 ) Compute (10.30.40.167 datanode1 (10.30.40.82) datanode2 (10.30.40.83)

ssh password less untuk root # ssh-keygen -t ras# ssh-copy-id -i ~/.ssh/id_pub.rsa root@namenode# ssh-copy-id -i ~/.ssh/id_pub.rsa root@compute# ssh-copy-id -i ~/.ssh/id_pub.rsa root@datanode1# sshcopy-id -i ~/.ssh/id_pub.rsa root@datanode2 

lakukan ssh passless untuk semua node usahakan lakukan dengan mode yang sangat aman karena untuk root

NFS untuk hadoop file config Insall NFS Dependensi disemua node # yum install nfs-utils -y

KONFIGURASI UNTUK HEADNODE

enable servis untuk nfs server di headnode # systemctl enable nfs-server# systemctl enable rpcbind# systemctl enable nfs-idmap# systemctl enable nfs-lock# systemctl start nfs-server# systemctl start rpcbind# systemctl start nfs-idmap# systemctl start nfs-lock create direktori yang akan di share dan setting file export # cd /# mkdir share# echo "/share 10.30.40.82(rw,async,no_root_squash,no_all_squash)" >> /etc/exports# echo "/share 10.30.40.83(rw,async,no_root_squash,no_all_squash)" >> /etc/exports# echo "/share 10.30.40.167(rw,async,no_root_squash,no_all_squash)" >> /etc/exports# exportfs -va output : exporting 10.30.40.167:/shareexporting 10.30.40.82:/share exporting 10.30.40.83:/share setting konfigurasi firewalld untuk nfs firewall-cmd --permanent --zone=public --add-service=nfsfirewall-cmd --permanent -zone=public --add-service=mountdfirewall-cmd --permanent --zone=public --addservice=rpc-bindfirewall-cmd --reload KONFIGURASI UNTUK SLAVE DAN COMPUTE

enable servis untuk nfs di slave # systemctl enable nfs-server# systemctl enable rpcbind# systemctl enable nfs-idmap# systemctl enable nfs-lock# systemctl start nfs-server# systemctl start rpcbind# systemctl start nfs-idmap# systemctl start nfs-lock create direktori yang akan di share dan setting file fstab lalul mounting # cd /# mkdir share# echo "10.30.40.80:/share /share nfs defaults 0 0 # mount -t nfs 10.30.40.80:/share /share# df -h output : [root@compute /]# df -h Filesystem Size Used Avail Use% Mounted on /dev/sda3 17G 1.6G 16G 9% / devtmpfs 902M 0 902M 0% /dev tmpfs 912M 0 912M 0% /dev/shm tmpfs 912M 8.7M 903M 1% /run tmpfs 912M 0 912M 0% /sys/fs/cgroup /dev/sda1 1014M 177M 838M 18% /boot tmpfs 183M 0 183M 0% /run/user/0 10.30.40.80:/share 17G 1.5G 16G 9% /share [root@compute /]#

INSTALL JAVA JDK install java jdk di semua node dan letakan file binary java jdk di folder share yang telah di share

# cd /share # mkdir download # cd download# get --no-cookies --no-check-certificate -header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=acceptsecurebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u161b12/2f38c3b165be4555a1fa6e98c45e0808/jdk-8u161-linux-x64.tar.gz"# tar -xzvf jdk-8u161linux-x64.tar.gz# cd jdk1.8.0_16# alternatives --install /usr/bin/java java /share/download/jdk1.8.9_161/bin/java 1# alternatives --config java NB : Pilih inputan current selection yang bertanda [+] konfigurasi environment java di root dengan cara edit pada baris terakhri di file /etc/profile dan insert path dibawah ini. export JAVA_HOME=/share/download/jdk1.8.9_161export JRE_HOME=/share/download/jdk1.8.9_161/jreexport PATH=$PATH:/share/download/jdk1.8.9_161/bin://share/download/jdk1.8.9_161/jre/bin

Create and ssh password less user hadoop membuat user untuk administartor user hadoop dalam menjalankan aplikasikanya. buat user di seluruh user dan # groupadd -g 1111 hadoop# useradd -g 1111 -u 1111 -m -d /home/hadoop hadoop# passwd hadoop ssh passles untuk hadoop dan lakukan disemua node. # su hadoop$ ssh-keygen -t ras$ ssh-copy-id -i ~/.ssh/id_pub.rsa hadoop@namenode$ sshcopy-id -i ~/.ssh/id_pub.rsa hadoop@compute$ ssh-copy-id -i ~/.ssh/id_pub.rsa hadoop@datanode1$ ssh-copy-id -i ~/.ssh/id_pub.rsa hadoop@datanode2

Installasi Ambari Download Ambari Repositori wget -nv http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.2/ambari.repo -O /etc/yum.repos.d/ambari.repo

Konfirmasi repositori yum repolist

Ambari server di install dengan database postgres sql untuk database ambari server. yum install ambari-server

Ambari Setup

Setup ambari untuk menyiapkan database dan schema untuk ambari server ambari-server setup

Setelah itu akan ada perintah untuk mengaktifkan semua jenis konfigurasi awal pada ambari.