Video: [BigData Engineering] P4: Cài cắm hadoop, chuẩn bị nhóm các yếu tố 2025
Như với bất kỳ hệ thống phân phối nào, mạng có thể tạo ra hoặc phá vỡ một cụm Hadoop: Đừng "đi rẻ. "Rất nhiều cuộc trò chuyện diễn ra giữa các nút chủ và nút nô lệ trong một cụm Hadoop, điều thiết yếu trong việc giữ cho cụm đang chạy, vì vậy các thiết bị chuyển mạch cấp doanh nghiệp được khuyến khích sử dụng.
Đối với mỗi rack trong cụm của bạn, bạn cần hai công tắc trên cùng của rack (ToR), cho cả dự phòng và hiệu năng. Sử dụng 10GbE cho thiết bị chuyển mạch ToR.
Bộ chuyển mạch ToR là thiết bị chuyển mạch mạng kết nối tất cả các máy tính trong cùng một giá. Bạn thường nhìn thấy chúng ở đầu rất nhiều rack, đó là lý do tại sao mọi người nói "top-of-rack. "Phương pháp tiếp cận mạng thay thế là sử dụng thiết bị chuyển mạch cuối cùng (EoR) nhưng, bạn không thấy điều này thường xảy ra.
Cách tiếp cận ToR đơn giản hơn từ quan điểm mạng cho các cụm đang phát triển. Ví dụ, việc thêm các nút nô lệ và các giá đỡ bổ sung là dễ dàng hơn với các thiết bị chuyển mạch ToR so với EoR.
Nếu bạn đang xây dựng hoặc mở rộng một cụm để mở rộng nhiều kệ, hãy tham gia các chuyên gia mạng quen thuộc với Hadoop, kế hoạch tăng trưởng trong tương lai của bạn và khối lượng công việc của bạn. Mạng lưới không tốt có thể cản trở hiệu suất, nhưng nó cũng có thể làm tăng trưởng trong tương lai đau đớn và tốn kém.
