Video: HDFS - Hadoop Distributed File System | Session 5 | Big Data Hadoop Spark | CloudxLab 2025
Một nhóm lớn của cơ sở dữ liệu NoSQL là một điều khó sử dụng để quản lý. Apache Zookeeper để giải cứu! Theo dõi các nút nào trong cluster, mỗi dữ liệu nào được quản lý và đảm bảo rằng các thạc sĩ mới được chọn khi một thạc sĩ thất bại không phải là các nhiệm vụ dễ dàng.
Việc phối hợp các hệ thống phân tán lớn là rất khó. Cả hai Hadoop và các cơ sở dữ liệu NoSQL được phân phối cần một cách để quản lý cấu hình của toàn bộ một cluster. Quá trình này cũng cần phải có sẵn cao để nó không phải là điểm duy nhất của sự thất bại trong hệ thống tổng thể.
Đây là nơi Apache Zookeeper đến. Zookeeper cung cấp dịch vụ phối hợp phân tán, giao dịch thống nhất.
Một số sản phẩm khác sử dụng Zookeeper để quản lý cụm:
-
Apache Hadoop
-
Solr Cloud
-
Neo4j
-
Accumulo
-
HBase
-
Rackspace
-
Zynga
-
Yahoo! (đối với một số dịch vụ của nó)
Người giữ vệ sinh e nsemble. Chỉ chủ quản cập nhật (viết) vào bộ nhớ. Những thay đổi này được checkpointed vào đĩa để làm cho chúng bền và sau đó sao chép vào các trường hợp Zookeeper khác trong toàn bộ.
Tìm kiếm nút nào lưu trữ các dãy khóa nào làm giảm thiểu tải trên các máy chủ NoSQL, bởi vì họ không cần chuyển tiếp yêu cầu dữ liệu từ một nút NoSQL đến nút thực sự giữ dữ liệu.
Bạn cũng có thể sử dụng bộ nhớ lưu trữ dữ liệu của Zookeeper để lưu trữ tạm thời (lưu trữ sẽ không kéo dài thời gian khởi động lại dịch vụ), rất hữu ích cho việc lưu trữ phiên hoặc dữ liệu thời gian chạy khác.
Máy chủ của người giữ nhiệm vụ sử dụng kho lưu trữ tạm thời này để xác định ai sẽ tiếp quản nếu một bậc thầy thất bại. Mỗi máy chủ tạo ra một znode ngắn (số liệu lưu trữ) được đánh số trong không gian khoá. Nếu chủ sở hữu Zookeeper (lãnh đạo) bị lỗi phần cứng, thì chủ sở hữu của znode tiếp theo trong chuỗi sẽ trở thành bậc thầy. Đây là một giải pháp tao nhã và tránh hiệu ứng "đàn", nơi mà tất cả các máy chủ liên lạc điên cuồng với nhau trong một vài giây để chọn một chủ mới.
Zookeeper là một giải pháp tuyệt vời của Java đối với các vấn đề vốn có trong quản lý hệ thống phối hợp và tính sẵn sàng cao. Bạn có thể sử dụng nó để thực hiện các dịch vụ có sẵn cao, bao gồm các dịch vụ nhắn tin. Vì vậy, nếu bạn cần tạo một dịch vụ phân phối mới, hãy cân nhắc sử dụng Zookeeper.