Tùy chọn Chuẩn dữ liệu Hybrid trong Hadoop - núm vú

Ngoài việc phải lưu trữ lượng dữ liệu lạnh lớn hơn, một áp lực bạn nhìn thấy các kho dữ liệu truyền thống là việc gia tăng số lượng tài nguyên đang được sử dụng cho việc chuyển đổi (ELT).

Ý tưởng đằng sau việc sử dụng Hadoop như một công cụ tiền xử lý để xử lý chuyển đổi dữ liệu có nghĩa là chu kỳ xử lý quý giá được giải phóng, cho phép kho dữ liệu tuân thủ mục đích ban đầu: Trả lời các câu hỏi kinh doanh lặp lại để hỗ trợ các ứng dụng phân tích. Một lần nữa, bạn sẽ thấy Hadoop có thể bổ sung các triển khai kho dữ liệu truyền thống và nâng cao năng suất của chúng.

là một số công việc chuyển đổi hoàn toàn phù hợp với khả năng xử lý dữ liệu của Hadoop, nhưng tôi cũng biết rằng có rất nhiều công việc chuyển đổi trong các bài toán đại số, từng bước, khi chạy SQL trên cơ sở dữ liệu quan hệ sẽ là sự lựa chọn tốt hơn. Nó sẽ không được mát mẻ nếu tôi có thể chạy SQL trên Hadoop? "

SQL trên Hadoop đã có ở đây. Với khả năng phát hành các truy vấn SQL đối với dữ liệu trong Hadoop, bạn không bị mắc kẹt chỉ với cách tiếp cận ETL cho luồng dữ liệu của bạn - bạn cũng có thể triển khai các ứng dụng giống như ELT.

Cách tiếp cận lai khác để xem xét là nơi để chạy logic chuyển đổi của bạn: trong Hadoop hoặc trong kho dữ liệu? Mặc dù một số tổ chức quan tâm đến việc chạy bất cứ thứ gì trừ các phân tích trong các kho của họ, thực tế vẫn là các cơ sở dữ liệu quan hệ là tuyệt vời khi chạy SQL và có thể là nơi thực tế hơn để vận hành một sự chuyển đổi hơn là Hadoop.