Video: BIG DATA for Management - Dữ liệu lớn trong quản trị doanh nghiệp - Đào tạo Tập Đoàn Trí Việt 2025
Một trong những trường hợp sử dụng sớm nhất cho Hadoop trong doanh nghiệp là một công cụ chuyển đổi chương trình được sử dụng để xử lý dữ liệu trước cho một kho dữ liệu. Về cơ bản, trường hợp sử dụng này thúc đẩy sức mạnh của hệ sinh thái Hadoop để thao tác và áp dụng các phép biến đổi dữ liệu vào trước khi nó được tải vào kho dữ liệu.
Mặc dù công cụ chuyển đổi thực sự là mới (đó là Hadoop, do đó các phép biến đổi và luồng dữ liệu được mã hoá bằng Pig hoặc MapReduce, trong số các ngôn ngữ khác), cách tiếp cận này đã được sử dụng một thời gian với các quy trình Extract, Transform, Load (ETL).
Hãy suy nghĩ về sự tiến triển của cơ sở dữ liệu OLTP và ROLAP. Nhiều tổ chức có cơ sở dữ liệu hoạt động cũng triển khai kho dữ liệu. Vậy các phòng ban CNTT lấy dữ liệu từ cơ sở dữ liệu hoạt động của họ như thế nào vào kho dữ liệu của họ?
Câu trả lời ở đây là ETL, và khi các kho dữ liệu tăng lên trong sử dụng và tầm quan trọng, các bước trong quá trình được hiểu rõ và thực tiễn tốt nhất là đã phát triển. Ngoài ra, một số công ty phần mềm bắt đầu cung cấp các giải pháp ETL thú vị để các bộ phận CNTT có thể giảm thiểu sự phát triển mã tùy chỉnh của riêng họ.
E xtract dữ liệu từ cơ sở dữ liệu hoạt động, T ransform nó vào mẫu mà bạn cần để phân tích và công cụ báo cáo, và sau đó bạn L bỏ dữ liệu này vào kho dữ liệu của bạn. Một biến thể chung cho ETL là ELT - Trích xuất, tải và chuyển đổi. Trong quá trình ELT, bạn thực hiện các phép biến đổi (trái ngược với ETL)sau khi tải dữ liệu vào kho đích. Cách tiếp cận này thường được sử dụng khi quá trình chuyển đổi có nhiều lợi ích từ một công cụ xử lý SQL rất nhanh trên dữ liệu có cấu trúc. (Các cơ sở dữ liệu quan hệ có thể không nổi trội khi xử lý dữ liệu phi cấu trúc, nhưng chúng thực hiện xử lý rất nhanh - đoán cái gì? - Dữ liệu được cấu trúc.)
Với Hadoop bây giờ có thể xử lý các truy vấn SQL, cả khối lượng công việc ETL và ELT có thể được lưu trữ trên Hadoop. Hình này cho thấy các dịch vụ ETL được thêm vào kiến trúc tham chiếu.
Nếu bạn đã triển khai vùng hạ cánh dựa trên Hadoop, bạn đã có hầu như mọi thứ cần thiết để sử dụng Hadoop như một công cụ chuyển đổi.Bạn đã hạ cánh dữ liệu từ hệ thống hoạt động của mình vào Hadoop sử dụng Sqoop, bao gồm bước khai thác. Tại thời điểm này, bạn sẽ cần thực hiện logic chuyển đổi của bạn vào các ứng dụng MapReduce hoặc Pig. Sau khi dữ liệu được chuyển đổi, bạn có thể tải dữ liệu vào kho dữ liệu bằng Sqoop.
Sử dụng Hadoop như một công cụ chuyển đổi dữ liệu cũng làm tăng khả năng. Nếu kho dữ liệu của bạn không sửa đổi dữ liệu của nó (chỉ dành cho báo cáo), bạn chỉ cần giữ dữ liệu bạn tạo ra với quá trình chuyển đổi. Trong mô hình này, dữ liệu chỉ chảy từ trái sang phải trong hình, nơi dữ liệu được trích ra từ cơ sở dữ liệu hoạt động, được chuyển đổi trong khu đích và sau đó được tải vào kho dữ liệu.
Với tất cả các dữ liệu chuyển đổi đã có trong vùng hạ cánh, bạn không cần sao chép nó trở lại Hadoop - trừ khi tất nhiên dữ liệu được sửa đổi trong kho.
