일단 저장
1. 설정 맞춰주기
*ip 변경은 root 계정
vi /etc/hosts
서버 4대에 해당해는 ip로 설정해준다
[ip1] hadoop01
[ip2] hadoop02
[ip3] hadoop03
[ip4] hadoop04
su - hadoop
2. 연결 확인
ssh hadoop@hadoop01
ssh hadoop@hadoop02
ssh hadoop@hadoop03
ssh hadoop@hadoop04
*4개 시스템의 시간이 동일해야 한다
동일하지 않으면 반드시 맞춰줘야 함
- 서버 시간 맞추기 (root에서 실행)
1) chrony 서비스 상태 확인
# systemctl status chronyd
2) chrony 서비스 활성화 및 시작
# systemctl enable chronyd
# systemctl start chronyd
=> 인터넷 되는 환경에서만 가능
3) 시간 동기화 정보 확인 및 동기화 명령어
#chronyc tracking
#timedatectl
출처 : https://paeksang.tistory.com/m/27
https://blog.naver.com/firstpcb/222886333176
- 서버 시간 동일한지 확인
while true; do date; sleep 1; done;
3. 가동
-hadoop01~03
/home/hadoop/zk/startup.sh
-hadoop01 (연결된 부분 알아서 구동됨)
$SPARK_HOME/sbin/start-all.sh
$SPARK_HOME/sbin/start-history-server.sh
start-dfs.sh
start-yarn.sh
데이터 올릴 때도 main(hadoop01)에서만
- jps
spark : master - worker
hadoop01
4945 QuorumPeerMain
5635 JournalNode
5875 DFSZKFailoverController
6533 WebAppProxyServer
6264 ResourceManager
5353 NameNode
5018 Master
7597 Jps
hadoop02
5040 Worker
5216 NameNode
5938 NodeManager
4947 QuorumPeerMain
5654 DFSZKFailoverController
5468 JournalNode
5325 DataNode
6670 Jps
5823 ResourceManager
hadoop03
6146 Jps
5268 DataNode
5590 NodeManager
5416 JournalNode
4972 QuorumPeerMain
5086 Worker
-주피터 겨는 법
-hadoop01
/home/hadoop/.jupyter/jupStartup.sh
http://myip:8888 접속
4. 중지
-hadoop01
stop-dfs.sh
stop-yarn.sh
$SPARK_HOME/sbin/stop-all.sh
$SPARK_HOME/sbin/stop-history-server.sh
rm -rf $SPARK_HOME/evevntLog/*
-hadoop01~03
/home/hadoop/zk/shutdown.sh
exit
init 0
출처 : https://blog.naver.com/firstpcb/222888306545