Hadoop 관리 명령 - 더미

Dashies 치트 시트를위한 Hadoop의 일부

그의 소금에 합당한 Hadoop 관리자는 클러스터 관리를위한 포괄적 인 명령 집합을 습득해야합니다. 다음 목록은 가장 중요한 명령을 요약하여 명령이 수행하는 내용과 구문 및 예제를 나타냅니다. 그들을 알면 하둡 지혜의 길을 따라 먼 길을 나아갈 것입니다.

• balancer : 클러스터 균형 유틸리티를 실행합니다. 디스크 임계 값의 백분율을 나타내는 지정된 임계 값은 기본 임계 값 (10 %)을 겹쳐 쓰는 데 사용됩니다. 재조정 프로세스를 중지하려면 Ctrl + C를 누르십시오.

  구문: hadoop 밸런서 [-threshold]

  예: hadoop 밸런서 -threshold 20

• daemonlog : 로그 수준을 가져 오거나 설정합니다. 각 데몬 (서비스라고도 함)마다. http: // host: port / logLevel에 연결합니까? log = name host: port에서 실행중인 데몬의 로그 수준을 인쇄하고 설정합니다. Hadoop 데몬은 시스템에서 무슨 일이 일어나고 있는지 파악하는 데 도움이되는 로그 파일을 생성하며 시스템을 디버깅 할 때 daemonlog 명령을 사용하여 Hadoop 구성 요소의 로그 수준을 일시적으로 변경할 수 있습니다. 변경 사항은 데몬이 다시 시작될 때 적용됩니다.

  구문: hadoop daemonlog -getlevel; hadoop daemonlog -setlevel

  예: hadoop daemonlog -getlevel 10. 250. 1. 15: 50030 org. 아파치. hadoop. 지도로 나타냈다. JobTracker; hadoop daemonlog -setlevel 10. 250. 1. 15: 50030 org. 아파치. hadoop. 지도로 나타냈다. JobTracker DEBUG

• datanode : 각 슬레이브 노드의 스토리지를 조정하는 HDFS DataNode 서비스를 실행합니다. -rollback을 지정하면 DataNode가 이전 버전으로 롤백됩니다. 이 옵션을 사용하기 전에 DataNode를 중지하고 이전 Hadoop 버전을 배포하십시오.

  예: hadoop datanode -rollback

  dfsadmin :

• 다수의 Hadoop 분산 파일을 실행한다. 시스템 (HDFS) 관리 작업. 지원되는 모든 옵션 목록을 보려면 -help 옵션을 사용하십시오. 일반 옵션은 여러 명령으로 지원되는 공통 옵션 세트입니다. 구문: hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode enter | 떠나라 | 얻을 | wait] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress 상태 | 세부 사항 | MapReduce 관리를 실행합니다. [-setQuota …] [-clrQuota …] [-restoreFailedStorage true | false | check] [-help [cmd]]

  mradmin :

• 작업. 지원되는 모든 옵션 목록을 보려면 -help 옵션을 사용하십시오.다시 말하지만, 일반 옵션은 여러 명령에 의해 지원되는 일반적인 옵션 세트입니다. -refreshServiceAcl을 지정하면 서비스 레벨 권한 policy 파일을 다시로드합니다 (JobTracker는 권한 policy 파일을 다시로드합니다). -refreshQueues는 큐 액세스 제어 목록 (ACL) 및 상태를 다시로드합니다 (JobTracker는 mapred-queues. xml 파일을 다시로드합니다). -refreshNodes는 JobTracker에서 호스트 정보를 새로 고칩니다. -refreshUserToGroupsMappings는 사용자 - 그룹 매핑을 새로 고칩니다. -refreshSuperUserGroupsConfiguration은 수퍼 유저 프록시 그룹 매핑을 새로 고칩니다. -help [cmd]는 지정된 명령 또는 지정되지 않은 경우 모든 명령에 대한 도움말을 표시합니다.

  구문:
  hadoop mradmin [GENERIC_OPTIONS] [-refreshServiceAcl] [-refreshQueues] [-refreshNodes] [-refreshUserToGroupsMappings] [-refreshSuperUserGroupsConfiguration] [-help [cmd]]

  예: hadoop mradmin -help -refreshNodes

  jobtracker :

• Hadoop 용 데이터 처리 시스템을 조정하는 MapReduce JobTracker 노드를 실행합니다. -dumpConfiguration을 지정하면 JSON 형식의 JobTracker 및 대기열 구성에서 사용하는 구성이 표준 출력에 기록됩니다. 예:

  hadoop jobtracker -dumpConfiguration

  namenode :

  NameNode를 실행한다. 전체 Hadoop 클러스터에 대한 저장소. -format을 지정하면 NameNode가 시작되고 형식이 지정된 다음 중지됩니다. -upgrade를 사용하면 새 Hadoop 버전이 배포 된 후 NameNode가 upgrade 옵션으로 시작됩니다. -rollback을 사용하면 NameNode가 이전 버전으로 롤백됩니다 (이 옵션을 사용하기 전에 클러스터를 중지하고 이전 Hadoop 버전을 배포해야 함). -finalize를 사용하면 파일 시스템의 이전 상태가 제거되고 가장 최근의 업그레이드가 영구적으로되고 롤백을 더 이상 사용할 수 없으며 NameNode가 중지됩니다. 마지막으로 -importCheckpoint를 사용하면 이미지가 검사 점 디렉토리 (fs. checkpoint. dir 등록 정보에 지정된대로)에서로드되어 현재 디렉토리에 저장됩니다.

• 구문: hadoop namenode [-format] | [- 업 그레 이드] | [- 롤백] | [final] | [-importCheckpoint] 예:

  hadoop namenode -finalize

  보조 namenode :

  보조 NameNode를 실행합니다. -checkpoint를 지정하면 EditLog (파일 시스템 메타 데이터에서 발생하는 모든 변경 사항을 기록하는 트랜잭션 로그)의 크기가 fs보다 크거나 같으면 2 차 NameNode의 검사 점이 수행됩니다. 검문소. 크기; -force를 지정하면 검사 점 크기에 관계없이 검사 점이 수행됩니다. -geteditsize를 지정하면 편집 로그 크기가 인쇄됩니다. 구문:

• hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize] 예: hadoop secondarynamenode -geteditsize

  tasktracker :

  MapReduce TaskTracker 노드를 실행합니다. 구문:

• hadoop tasktracker 예: hadoop tasktracker