Phân tích dữ liệu lớn và Kho dữ liệu - những con voi

Bạn sẽ tìm thấy giá trị trong việc mang lại khả năng của kho dữ liệu và môi trường dữ liệu lớn. Bạn cần phải tạo môi trường lai, nơi dữ liệu lớn có thể làm việc với kho dữ liệu.

Thứ nhất, điều quan trọng là phải nhận ra rằng kho dữ liệu được thiết kế hôm nay sẽ không thay đổi trong ngắn hạn.

Do đó, thực tế hơn là sử dụng kho dữ liệu cho những gì nó đã được thiết kế để làm - cung cấp một phiên bản được kiểm tra chặt chẽ về sự thật về một chủ đề mà doanh nghiệp muốn phân tích. Kho hàng có thể bao gồm thông tin về dòng sản phẩm của một công ty cụ thể, khách hàng, nhà cung cấp và chi tiết về giao dịch trong một năm.

Các thông tin được quản lý trong kho dữ liệu hoặc một phòng thu dữ liệu của phòng ban được xây dựng cẩn thận để siêu dữ liệu chính xác. Với sự phát triển của các thông tin dựa trên web mới, thực tế và thường là cần thiết để phân tích khối lượng dữ liệu khổng lồ này trong ngữ cảnh với dữ liệu lịch sử. Đây là nơi mà mô hình lai được đưa vào.

Một số khía cạnh của việc kết hôn với kho dữ liệu với dữ liệu lớn có thể tương đối dễ dàng. Ví dụ: nhiều nguồn dữ liệu lớn đến từ các nguồn bao gồm siêu dữ liệu được thiết kế tốt của riêng họ. Các trang web thương mại điện tử phức tạp bao gồm các yếu tố dữ liệu được xác định rõ ràng. Do đó, khi tiến hành phân tích giữa kho và nguồn dữ liệu lớn, tổ chức quản lý thông tin đang làm việc với hai bộ dữ liệu với các mô hình siêu dữ liệu được thiết kế cẩn thận cần được hợp lý hóa.

Tất nhiên, trong một số trường hợp, các nguồn thông tin thiếu siêu dữ liệu rõ ràng. Trước khi một nhà phân tích có thể kết hợp dữ liệu giao dịch lịch sử với dữ liệu có cấu trúc nhỏ hơn, công việc phải được thực hiện. Thông thường, phân tích ban đầu petabytes dữ liệu sẽ cho thấy các mô hình thú vị có thể giúp dự đoán các thay đổi tinh tế trong kinh doanh hoặc các giải pháp tiềm năng để chẩn đoán bệnh nhân.

Phân tích ban đầu có thể được hoàn thành đòn bẩy các công cụ như MapReduce với khuôn khổ hệ thống tập tin phân phối Hadoop. Tại thời điểm này, bạn có thể bắt đầu hiểu liệu nó có thể giúp đánh giá vấn đề đang được giải quyết.

Quá trình tích hợp dữ liệu lớn

Quy trình này yêu cầu một chiến lược tích hợp dữ liệu được xác định rõ ràng. Mặc dù tích hợp dữ liệu là một phần quan trọng trong việc quản lý dữ liệu lớn nhưng nó cũng quan trọng không kém khi tạo phân tích lai với kho dữ liệu. Trên thực tế, quá trình trích xuất dữ liệu và chuyển đổi nó trong môi trường lai tạo rất giống với cách thức quá trình này được thực hiện trong một kho dữ liệu truyền thống.

Trong kho dữ liệu, dữ liệu được trích xuất từ ​​các hệ thống nguồn truyền thống như hệ thống CRM hay ERP. Điều quan trọng là các yếu tố từ các hệ thống khác nhau được kết hợp chính xác.

Suy nghĩ lại việc khai thác, chuyển đổi và tải cho các kho dữ liệu

Trong kho dữ liệu, bạn thường tìm thấy một sự kết hợp của các bảng cơ sở dữ liệu quan hệ, các tệp tin bằng phẳng và các nguồn phi quan hệ. Một kho dữ liệu được xây dựng tốt sẽ được kiến ​​trúc để dữ liệu được chuyển đổi thành một định dạng chung, cho phép các truy vấn được xử lý một cách chính xác và nhất quán. Các tệp được trích xuất phải được chuyển đổi để phù hợp với các quy tắc và quy trình kinh doanh của khu vực môn học mà kho dữ liệu được thiết kế để phân tích.

Nói cách khác, dữ liệu phải được trích ra từ các nguồn dữ liệu lớn để các nguồn này có thể hợp tác an toàn và mang lại những kết quả có ý nghĩa. Ngoài ra, các nguồn phải được chuyển đổi để chúng hữu ích trong việc phân tích mối quan hệ giữa các dữ liệu lịch sử và các dữ liệu động và thời gian thực hơn từ nguồn dữ liệu lớn.

Việc tải thông tin trong mô hình dữ liệu lớn sẽ khác với những gì bạn mong đợi trong kho dữ liệu truyền thống. Với kho dữ liệu, sau khi dữ liệu đã được soạn thảo, nó không bao giờ thay đổi. Một kho dữ liệu điển hình sẽ cung cấp cho doanh nghiệp một bản chụp nhanh dữ liệu dựa trên nhu cầu phân tích một vấn đề kinh doanh cụ thể đòi hỏi phải theo dõi, chẳng hạn như hàng tồn kho hoặc bán hàng.

Cơ cấu phân phối của dữ liệu lớn thường sẽ dẫn các tổ chức đầu tiên tải dữ liệu vào một loạt các nút và sau đó thực hiện việc khai thác và chuyển đổi. Khi tạo một hỗn hợp của kho dữ liệu truyền thống và môi trường dữ liệu lớn, bản chất phân bố của môi trường dữ liệu lớn có thể làm thay đổi đáng kể khả năng của các tổ chức để phân tích dữ liệu khổng lồ trong bối cảnh kinh doanh.