Video: GCP-How to Install Cloudera Manager on Google Cloud Cluster 2025
Lập kế hoạch công việc và theo dõi dữ liệu lớn là những bộ phận không thể thiếu của Hadoop MapReduce và có thể được sử dụng để quản lý tài nguyên và ứng dụng. Các phiên bản đầu của Hadoop hỗ trợ một công việc thô sơ và hệ thống theo dõi nhiệm vụ, nhưng khi sự kết hợp của công việc được hỗ trợ bởi Hadoop thay đổi, lập lịch không thể theo kịp.
Cụ thể, trình lên lịch cũ không thể quản lý các công việc không phải là MapReduce, và nó không thể tối ưu hoá việc sử dụng cụm. Vì vậy, một năng lực mới được thiết kế để giải quyết những thiếu sót này và mang lại sự linh hoạt, hiệu quả và hiệu quả hơn.
Quản lý mỗi ứng dụng (ApplicationMaster)-
Trình quản lý tài nguyên (ResourceManager) là một dịch vụ chính và kiểm soát NodeManager trong mỗi nút của một cụm Hadoop. Bao gồm trong ResourceManager Scheduler, nhiệm vụ duy nhất của nó là phân bổ các tài nguyên hệ thống cho các ứng dụng đang chạy cụ thể, nhưng nó không theo dõi hoặc theo dõi trạng thái của ứng dụng.
-
Tất cả các thông tin hệ thống cần thiết được lưu trữ trong Resource Container. Nó chứa chi tiết CPU, đĩa, mạng và các thuộc tính tài nguyên quan trọng khác cần thiết để chạy các ứng dụng trên nút và trong cluster.
Mỗi node có một NodeManager slaved để ResourceManager toàn cầu trong cluster. NodeManager giám sát việc sử dụng CPU của CPU, đĩa, mạng và bộ nhớ và báo cáo lại ResourceManager. Đối với mỗi ứng dụng chạy trên nút có một ApplicationMaster tương ứng.
