Video: Big Data - Tim Smith 2025
Rất nhiều nghiên cứu cho thấy hầu hết dữ liệu trong kho dữ liệu doanh nghiệp hiếm khi được truy vấn. Các nhà cung cấp cơ sở dữ liệu đã trả lời các quan sát như vậy bằng cách áp dụng các phương pháp riêng của họ để phân loại dữ liệu được đặt ở đâu
Một phương pháp đặt hàng vũ trụ dữ liệu vào các tên gọi nóng, ấm hoặc lạnh, nơi dữ liệu nóng đôi khi được gọi là dữ liệu đang hoạt động ) được sử dụng thường xuyên, dữ liệu ấm được sử dụng theo thời gian và dữ liệu lạnh hiếm khi được sử dụng. để lưu trữ dữ liệu lạnh trên đĩa chậm hơn trong kho của kho dữ liệu hoặc để tạo các chiến lược bộ nhớ đệm thông minh để giữ cho dữ liệu nóng trong bộ nhớ, trong số những người khác.
Vấn đề với cách tiếp cận này là mặc dù dung lượng lưu trữ chậm hơn được sử dụng, nhưng vẫn tốn kém để lưu trữ dữ liệu lạnh, hiếm khi được sử dụng trong kho. Chi phí ở đây bắt nguồn từ cả hai cấp phép phần cứng và phần mềm. Đồng thời, dữ liệu về lạnh và không hoạt động thường được lưu trữ trên băng.
Mô hình lưu trữ dữ liệu truyền thống này sẽ dừng lại khi bạn muốn truy vấn tất cả dữ liệu lạnh một cách có hiệu quả và tương đối hiệu quả - mà không cần yêu cầu băng cũ, nói cách khác.
Nếu bạn nhìn vào các chi phí và đặc điểm hoạt động của Hadoop, thực sự nó có vẻ như nó đã được thiết lập để trở thành băng sao lưu mới. Hadoop là không tốn kém phần lớn bởi vì các hệ thống Hadoop được thiết kế để sử dụng một loại phần cứng thấp hơn so với những gì thường được triển khai trong các hệ thống kho dữ liệu. Một tiết kiệm đáng kể chi phí là cấp phép phần mềm.
Giấy phép phân phối thương mại của Hadoop yêu cầu một phần chi phí của giấy phép phần mềm kho dữ liệu quan trọng, vốn nổi tiếng là tốn kém. Từ quan điểm hoạt động, Hadoop được thiết kế để dễ dàng quy mô bằng cách thêm các nút nô lệ bổ sung vào một cụm hiện có. Và khi các nút nô lệ được thêm vào và tập hợp dữ liệu về khối lượng, các khuôn khổ xử lý dữ liệu của Hadoop cho phép các ứng dụng của bạn liên tục xử lý tải công việc tăng lên.
Hadoop đại diện cho một cách thức đơn giản, linh hoạt và không tốn kém để đẩy quá trình xử lý trên hàng ngàn máy chủ.
Với kiến trúc có thể mở rộng và rẻ tiền, Hadoop dường như là một sự lựa chọn hoàn hảo cho việc lưu trữ dữ liệu kho … ngoại trừ một vấn đề nhỏ: Hầu hết thế giới CNTT chạy trên SQL, và SQL không chạy tốt với Hadoop.
Chắc chắn, phong trào NoSQL thân thiện với Hadoop vẫn còn sống, nhưng hầu hết người sử dụng điện giờ đây sử dụng SQL thông qua các bộ công cụ phổ biến, các bộ công cụ sẵn có để tạo ra các truy vấn SQL dưới các sản phẩm như Tableau, Microsoft Excel, và IBM Cognos BI của IBM.
Sự thật là hệ sinh thái Hadoop bao gồm Hive, nhưng Hive chỉ hỗ trợ một tập hợp con của SQL và mặc dù hiệu suất được cải thiện (cùng với hỗ trợ SQL), nhưng nó không nhanh như lúc trả lời các truy vấn nhỏ hơn như các hệ thống quan hệ. Gần đây, đã có nhiều tiến bộ về truy cập SQL vào Hadoop, mở đường cho Hadoop trở thành điểm đến mới cho lưu trữ kho dữ liệu trực tuyến.
Tùy thuộc vào nhà cung cấp Hadoop, SQL (hoặc SQL giống như) API đang trở nên có sẵn để các công cụ báo cáo và phân tích phổ biến hơn có thể liên tục phát hành SQL thực hiện dữ liệu được lưu trữ trong Hadoop. Ví dụ, IBM có Big SQL API, Cloudera có Impala và Hive, thông qua sáng kiến Hortonworks Stinger, ngày càng trở nên tương thích với SQL.
Mặc dù các quan điểm khác nhau tồn tại (một số nhằm mục đích tăng cường Hive, một số, để mở rộng Hive, và những người khác, để cung cấp một thay thế), tất cả các giải pháp này cố gắng giải quyết hai vấn đề: MapReduce là một giải pháp nghèo để thực hiện các truy vấn nhỏ hơn, và truy cập SQL là bây giờ - chìa khóa để cho phép các nhân viên IT sử dụng các kỹ năng SQL hiện có của họ để có được giá trị trên dữ liệu được lưu trữ trong Hadoop.
