Hadoop Các lệnh quản trị - đầu gối

Một phần của Hadoop For Dummies Cheat Sheet

Bất kỳ quản trị viên nào của Hadoop có giá trị muối của mình phải nắm vững được toàn bộ các lệnh cho quản lý cụm. Danh sách dưới đây tóm tắt các lệnh quan trọng nhất, cho biết lệnh gì cũng như cú pháp và ví dụ. Biết họ, và bạn sẽ tiến một chặng đường dài dọc theo con đường để Hadoop trí tuệ.

• cân bằng : Chạy tiện ích cân bằng cụm. Giá trị ngưỡng được chỉ định đại diện cho phần trăm dung lượng đĩa được sử dụng để ghi đè giá trị ngưỡng mặc định (10 phần trăm). Để dừng quá trình tái cân bằng, nhấn Ctrl + C.

  Cú pháp: Mức cân bằng hadoop [-ngưỡng]

  Ví dụ: hadoop balancer -ngưỡng 20

• daemonlog : Lấy hoặc đặt mức đăng nhập cho mỗi daemon (còn gọi là một dịch vụ). Kết nối với // host: port / logLevel? log = tên và bản in hoặc thiết lập mức đăng nhập của daemon đang chạy ở máy chủ: port. Các trình nền của Hadoop tạo ra các tệp nhật ký giúp bạn xác định điều gì đang xảy ra trên hệ thống và bạn có thể sử dụng lệnh daemonlog để tạm thời thay đổi cấp độ bản ghi của một thành phần Hadoop khi bạn gỡ lỗi hệ thống. Sự thay đổi này sẽ trở nên hiệu quả khi daemon khởi động lại.

  Cú pháp: hadoop daemonlog -getlevel; hadoop daemonlog -setlevel

  Ví dụ: hadoop daemonlog -getlevel 10. 250. 1. 15: 50030 org. apache. hadoop. mapred. JobTracker; hadoop daemonlog -setlevel 10. 250. 1. 15: 50030 org. apache. hadoop. mapred. JobTracker DEBUG

• datanode : Chạy dịch vụ DataNode HDFS, điều phối lưu trữ trên mỗi nút nô lệ. Nếu bạn chỉ định -rollback, DataNode được cuộn lại sang phiên bản trước đó. Dừng DataNode và phân phối phiên bản Hadoop trước đó trước khi sử dụng tùy chọn này.

  Cú pháp: hadoop datanode [-rollback]

  Ví dụ: hadoop datanode -rollback

• dfsadmin : Chạy một số tệp phân phối Hadoop Hệ thống (HDFS). Sử dụng tùy chọn -help để xem danh sách tất cả các tùy chọn được hỗ trợ. Các tùy chọn chung chung là một tập hợp các tùy chọn phổ biến được hỗ trợ bởi một số lệnh.

  Cú pháp: hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode nhập | rời khỏi | nhận | chờ đợi] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress status | chi tiết | [999] mradmin

• : Chạy một số hành chính của MapReduce [999] hoạt động. Sử dụng tùy chọn -help để xem danh sách tất cả các tùy chọn được hỗ trợ.Một lần nữa, các tùy chọn chung chung là một tập phổ biến các tùy chọn được hỗ trợ bởi một số lệnh. Nếu bạn chỉ định -refreshServiceAcl, tải lại tệp chính sách ủy quyền cấp dịch vụ (JobTracker tải lại tệp chính sách ủy quyền); -refreshQueues nạp lại các danh sách điều khiển truy cập hàng đợi (ACLs) và trạng thái (JobTracker nạp lại các tệp tin định dạng hàng đợi-xml); -refreshNodes làm mới thông tin máy chủ tại JobTracker; -refreshUserToGroupsMappings làm mới các ánh xạ người dùng giữa các nhóm; -refreshSuperUserGroupsConfiguration làm mới các ánh xạ nhóm của các nhóm proxy siêu người dùng; và -help [cmd] hiển thị trợ giúp cho lệnh đã cho hoặc cho tất cả các lệnh nếu không có gì được chỉ định.

  Cú pháp:

  hadoop mradmin [GENERIC_OPTIONS] [-refreshServiceAcl] [-refreshQueues] [-refreshNodes] [-refreshUserToGroupsMappings] [-refreshSuperUserGroupsConfiguration] [-help [cmd]] Ví dụ:

  hadoop mradmin -help -refreshNodes jobtracker :

• Chạy nút JobTracker MapReduce, nó điều phối hệ thống xử lý dữ liệu cho Hadoop. Nếu bạn chỉ định -dumpConfiguration, cấu hình được sử dụng bởi JobTracker và cấu hình hàng đợi ở định dạng JSON được ghi vào đầu ra tiêu chuẩn. hadoop jobtracker [-dumpConfiguration]

  Ví dụ:

  hadoop jobtracker -dumpConfiguration namenode

  : Chạy NameNode, tọa độ lưu trữ cho toàn bộ cụm Hadoop. Nếu bạn chỉ định định dạng, NameNode được bắt đầu, định dạng, và sau đó dừng lại; với-nâng cấp, NameNode bắt đầu với tùy chọn nâng cấp sau khi một phiên bản Hadoop mới được phân phối; với -rollback, NameNode được cuộn lại về phiên bản trước đó (nhớ dừng cụm và phân phối phiên bản Hadoop trước đó trước khi sử dụng tùy chọn này); với -finalize, trạng thái trước của hệ thống tập tin được loại bỏ, nâng cấp gần đây nhất trở nên vĩnh viễn, rollback không còn tồn tại, và NameNode là dừng lại; Cuối cùng, với -importCheckpoint, một hình ảnh được tải từ thư mục điểm kiểm tra (được xác định bởi checkpoint.dir property) và lưu vào thư mục hiện hành.

• Cú pháp: hadoop namenode [-format] | [nâng cấp] | [-chọn lại] | [sửa] [-importCheckpoint]
  Ví dụ:

  hadoop namenode -finalize thứ cấp namenode

  : Chạy NameName thứ cấp. Nếu bạn chỉ định -checkpoint, một checkpoint trên NameNode thứ cấp được thực hiện nếu kích thước của EditLog (một bản ghi giao dịch ghi lại mọi thay đổi xảy ra với siêu dữ liệu hệ thống tập tin) lớn hơn hoặc bằng fs. trạm kiểm soát. kích thước; chỉ rõ lực và điểm kiểm soát được thực hiện bất kể kích thước EditLog; chỉ định -geteditsize và kích thước EditLog được in.

• Cú pháp: hadoop secondarynamenode [kiểm tra [lực lượng]] | [-geteditsize] Ví dụ:

  hadoop secondarynamenode -geteditsize tasktracker

  : Chạy một nút TaskTracker MapReduce.

• Cú pháp: hadoop tasktracker Ví dụ:

  hadoop tasktracker