Video: Phim Hàn Quốc Hợp Đồng Nô Lệ 2025
Trong một vũ trụ Hadoop, các nút nô lệ là nơi lưu trữ dữ liệu Hadoop và xử lý dữ liệu ở đâu. Các dịch vụ sau đây cho phép các nút nô lệ lưu trữ và xử lý dữ liệu:
-
NodeManager: Tọa độ các nguồn cho một nút nô lệ riêng lẻ và báo cáo trở lại Resource Manager.
-
ApplicationMaster: Theo dõi tiến trình của tất cả các nhiệm vụ đang chạy trên cụm Hadoop cho một ứng dụng cụ thể. Đối với mỗi ứng dụng khách, Resource Manager triển khai một thể hiện của dịch vụ ApplicationMaster trong một container trên một nút nô lệ. (Nhớ rằng bất kỳ node nào đang chạy dịch vụ NodeManager sẽ được hiển thị với Resource Manager)
-
Container: Một bộ sưu tập tất cả các tài nguyên cần thiết để chạy từng tác vụ cho một ứng dụng. Khi một ứng dụng chạy trên cluster, Resource Manager sắp xếp các nhiệm vụ cho ứng dụng để chạy như các dịch vụ container trên các nút nô lệ của cluster.
-
TaskTracker: Quản lý bản đồ cá nhân và giảm các nhiệm vụ thực hiện trên nút nô lệ cho các cụm Hadoop 1. Trong Hadoop 2, dịch vụ này đã lỗi thời và đã được thay thế bằng các dịch vụ YARN.
-
DataNode: Một dịch vụ HDFS cho phép NameNode lưu các khối trên nút nô lệ.
-
RegionServer: Lưu dữ liệu cho hệ thống HBase. Trong Hadoop 2, HBase sử dụng Hoya, cho phép các trường hợp RegionServer được chạy trong các thùng chứa.
Tại đây, mỗi nút slave luôn chạy một cá thể DataNode (cho phép HDFS lưu trữ và truy xuất các khối dữ liệu trên nút nô lệ) và một thể hiện NodeManager (cho phép Resource Manager gán các tác vụ ứng dụng cho nút nô lệ để xử lý). Các quá trình chứa là các nhiệm vụ cá nhân cho các ứng dụng đang chạy trên cụm.
Với HBase trên Hadoop 2, mô hình thùng chứa vẫn theo sau, như bạn thấy:HBase trên Hadoop 2 được khởi tạo bởi Hoya Application Master, yêu cầu các container cho các dịch vụ HMaster. (Bạn cần nhiều dịch vụ HMaster để dự phòng). Hoya Application Master cũng yêu cầu các tài nguyên cho RegionServers, cũng như trong các thùng chứa đặc biệt.
Hình dưới đây cho thấy các dịch vụ được triển khai trên các nút nô lệ Hadoop 1.
Đối với Hadoop 1, mỗi nút nô lệ luôn chạy một thể hiện DataNode (cho phép HDFS lưu trữ và truy xuất các khối dữ liệu trên nút nô lệ) và một ví dụ TaskTracker (cho phép JobTracker gán bản đồ và giảm các nhiệm vụ tới nút nô lệ để chế biến).
Các nút Slave có số lượng khe bản đồ cố định và giảm các khe để thực hiện bản đồ và giảm các tác vụ tương ứng. Nếu cụm của bạn đang chạy HBase, một số nút nô lệ của bạn sẽ cần phải chạy một dịch vụ RegionServer. Bạn càng lưu trữ nhiều dữ liệu trong HBase, bạn càng cần nhiều phiên bản RegionServer.
Tiêu chí phần cứng cho các nút nô lệ khá khác với các nút chủ; trên thực tế, các tiêu chí không khớp với các tiêu chuẩn được tìm thấy trong các kiến trúc tham khảo phần cứng truyền thống cho các máy chủ dữ liệu. Phần lớn các tin đồn xung quanh Hadoop là do sử dụng các phần cứng hàng hoá trong các tiêu chí thiết kế của các cụm Hadoop, nhưng hãy nhớ rằng phần cứng
hàng hóa không đề cập đến phần cứng loại người tiêu dùng. Các nút nô lệ Hadoop vẫn yêu cầu phần cứng cấp doanh nghiệp, nhưng ở phần dưới của khoảng chi phí, đặc biệt là để lưu trữ.
