Các yếu tố hình thức triển khai thay thế cho Hadoop

Mặc dù Hadoop hoạt động tốt nhất khi nó được cài đặt trên máy tính vật lý, nơi quá trình xử lý có quyền truy cập trực tiếp vào lưu trữ chuyên dụng và mạng, Hadoop có các triển khai thay thế. Và mặc dù chúng kém hiệu quả hơn so với phần cứng chuyên dụng, trong một số trường hợp các lựa chọn thay thế là những lựa chọn đáng giá.

Các máy chủ Ảo

Xu hướng chính trong các trung tâm CNTT trong thập kỷ qua là ảo hóa, nơi một máy chủ lớn có thể lưu trữ một số "máy ảo" trông và hoạt động giống như các máy đơn lẻ. Thay cho phần cứng chuyên dụng, toàn bộ tập hợp các ứng dụng và kho lưu trữ của tổ chức được triển khai trên phần cứng ảo.

Cách tiếp cận này có nhiều ưu điểm: Việc tập trung CNTT đơn giản hoá việc duy trì, đầu tư CNTT được tối đa hóa do chu kỳ CPU không sử dụng ít hơn, và dấu chân phần cứng tổng thể thấp hơn, dẫn đến tổng chi phí sở hữu thấp hơn.

Các tổ chức trong đó triển khai CNTT hoàn toàn ảo hóa đôi khi ủy thác cho mọi ứng dụng mới theo mô hình này. Mặc dù Hadoop có thể được triển khai theo cách này, về cơ bản là một cụm ảo (với các nút chủ ảo và các nút nô lệ ảo), hiệu suất bị ảnh hưởng, một phần bởi vì đối với hầu hết các môi trường ảo hóa, lưu trữ là dựa trên SAN và không gắn kết cục bộ.

Khi hiệu suất máy chủ ảo của bạn bị ảnh hưởng bởi khối lượng công việc của máy chủ khác, điều này thực sự được biết đến trong các vòng kết nối CNTT là vấn đề "ồn ào hàng xóm"!

Các môi trường ảo hóa có thể khá hữu ích, mặc dù trong một số trường hợp. Ví dụ: nếu tổ chức của bạn cần hoàn thành phân tích thăm dò một lần của bộ dữ liệu lớn, bạn có thể dễ dàng tạo một cụm tạm thời trong môi trường ảo hóa của mình. Phương pháp này thường là một cách nhanh hơn để đạt được phê duyệt nội bộ hơn là phải chịu đựng những rắc rối quan liêu về mua sắm phần cứng chuyên dụng mới.

Khi bạn thử nghiệm với Hadoop, bạn thường chạy nó trên máy tính xách tay thông qua một máy ảo (VM). Hadoop rất chậm trong loại môi trường này, nhưng nếu bạn đang sử dụng bộ dữ liệu nhỏ, đó là một công cụ học tập và thử nghiệm có giá trị.

Triển khai trên đám mây

Các biến thể của môi trường ảo hóa là các nhà cung cấp điện toán đám mây như Amazon, Rackspace và IBM SoftLayer. Hầu hết các nhà cung cấp dịch vụ đám mây công cộng hiện nay đều có dịch vụ MapReduce hoặc Hadoop có sẵn để sử dụng. Một lần nữa, hiệu suất của họ kém hơn việc triển khai cluster của bạn trên phần cứng chuyên dụng, nhưng nó đang được cải thiện.

Các nhà cung cấp đám mây đang làm cho các môi trường tối ưu hóa Hadoop có sẵn nơi các nút nô lệ có lưu trữ gắn liền với địa phương và mạng dành riêng. Ngoài ra, hypervisors đang trở nên hiệu quả hơn rất nhiều, với giảm chi phí và độ trễ.

Không xem xét giải pháp đám mây cho các ứng dụng dài hạn vì chi phí cho thuê tài nguyên điện toán đám mây cao hơn đáng kể so với việc sở hữu và duy trì một hệ thống tương đương. Với nhà cung cấp đám mây, bạn đang trả tiền cho tiện lợi và để có thể giảm tải trên không của cung cấp phần cứng. Tuy nhiên, đám mây là một nền tảng lý tưởng để thử nghiệm, giáo dục, và xử lý dữ liệu một lần.

Ngoài các cân nhắc về hiệu suất và chi phí, bạn có các cân nhắc về quy định với triển khai đám mây công khai. Nếu bạn có dữ liệu nhạy cảm, phải được lưu trữ trong nhà hoặc trong nước, việc triển khai đám mây công khai không phải là một lựa chọn. Trong những trường hợp như vậy, nơi bạn cần sự tiện lợi của việc triển khai dựa trên đám mây, một đám mây riêng là một lựa chọn tốt, nếu có.