3 Hadoop Cấu hình Cụm - núm vú

1 3

Triển khai Hadoop đơn giá

Triển khai một giá đỡ đơn là một điểm khởi đầu lý tưởng cho một cụm Hadoop.

Ở đây, cụm này khá khép kín, nhưng vì nó vẫn có ít nút nô lệ, thì những lợi ích thực sự của sự hồi phục của Hadoop vẫn chưa rõ ràng.

Khả năng phục hồi của Hadoop bắt đầu trở nên rõ ràng: Ngay cả khi toàn bộ rack bị hỏng (ví dụ, cả ToR switch trong một rack), cluster sẽ vẫn hoạt động, mặc dù mức hiệu năng thấp hơn. Sự thất bại của một nút nô lệ sẽ không đáng chú ý.

3

Triển khai Hadoop trên quy mô lớn

Trong các cụm lớn hơn với nhiều kệ, như ví dụ thể hiện, kiến ​​trúc mạng yêu cầu khá phức tạp.

Bất kể có bao nhiêu cụm Hadoop cụm mở rộng đến, các nút nô lệ từ bất kỳ rack cần để có thể có hiệu quả ?? nói chuyện ?? cho bất kỳ nút chủ.

Khi số nút nô lệ tăng lên đến mức bạn có nhiều hơn ba kệ, giá đỡ bổ sung chỉ gồm các nút nô lệ, ngoài các nút ToR. Nếu bạn đang sử dụng HBase mạnh vào cụm của mình, bạn có thể thêm các nút chủ để lưu trữ thêm các dịch vụ HMaster và Zookeeper.

Nếu bạn đạt đến quy mô thật sự lớn, nơi bạn có hàng trăm nút nô lệ, bạn có thể cần phải sử dụng khả năng liên kết HDFS để phần lớn các bộ dữ liệu của bạn được quản lý bởi các dịch vụ NameNode khác nhau.

Đối với mỗi Tên Active NameName bổ sung, bạn sẽ cần một StandName NameName tương ứng và hai nút chủ để lưu trữ các máy chủ này. Với liên kết HDFS, bầu trời thực sự là giới hạn về mức độ bạn có thể mở rộng các cụm của mình.

Trở lại Tiếp theo