Video: 192nd Knowledge Seekers Workshop - Oct 5, 2017 2025
Khi bạn cố gắng phân tích môi trường phân tích có thể trông giống như trong tương lai, bạn vấp ngã qua mô hình vùng đích dựa trên Hadoop dựa trên thời gian và thời gian một lần nữa. Thực tế, nó không còn là một cuộc thảo luận theo hướng tương lai bởi vì đích đến đã trở thành cách mà các công ty hướng tới tương lai đang cố gắng tiết kiệm chi phí CNTT và cung cấp một nền tảng để phân tích dữ liệu sáng tạo.
Vậy thì đích đến là gì? Ở mức cơ bản nhất, đích chỉ là nơi trung tâm, nơi dữ liệu sẽ đưa vào trong doanh nghiệp của bạn - trích xuất hàng tuần dữ liệu từ các cơ sở dữ liệu hoạt động, ví dụ, hoặc từ các hệ thống tạo các tệp nhật ký. Hadoop là kho chứa hữu ích trong đó dữ liệu về đất đai, vì những lý do sau:
-
Nó có thể xử lý tất cả các loại dữ liệu.
-
Nó dễ dàng mở rộng.
-
Nó không tốn kém.
-
Khi bạn đưa dữ liệu vào Hadoop, bạn có thể linh hoạt truy vấn, phân tích hoặc xử lý dữ liệu theo nhiều cách.
Biểu đồ này chỉ cho thấy một phần của câu chuyện và hoàn toàn không có. Rốt lại, bạn cần phải biết dữ liệu di chuyển từ vùng hạ cánh đến kho dữ liệu, v.v …
Trong những năm 1980, một khi các tổ chức trở nên giỏi lưu trữ thông tin hoạt động của họ trong các cơ sở dữ liệu quan hệ (các giao dịch bán hàng, ví dụ, hoặc tình trạng chuỗi cung ứng), lãnh đạo doanh nghiệp bắt đầu muốn các báo cáo được tạo ra từ dữ liệu quan hệ này. Các cửa hàng quan hệ sớm nhất là cơ sở dữ liệu hoạt động và được thiết kế cho Chế biến giao dịch trực tuyến (OLTP), do đó hồ sơ có thể được chèn, cập nhật hoặc xóa nhanh nhất có thể.
, là một thực thể riêng biệt và sống cùng với các kho dữ liệu hoạt động của tổ chức. Việc này đi xuống đến việc sử dụng các công cụ có mục đích để tạo ra hiệu quả cao hơn: bạn có kho dữ liệu hoạt động, được thiết kế để xử lý hiệu quả các giao dịch và kho dữ liệu, được thiết kế để hỗ trợ phân tích và báo cáo lặp lại. Các kho dữ liệu đang ngày càng căng thẳng, vì những lý do sau:
Tăng nhu cầu lưu giữ dữ liệu dài hơn trực tuyến.
Tăng nhu cầu xử lý tài nguyên để chuyển đổi dữ liệu để sử dụng trong các kho khác và các trung tâm dữ liệu.
-
Nhu cầu phân tích sáng tạo ngày càng tăng đòi hỏi các nhà phân tích phải đặt câu hỏi về dữ liệu kho, trên cơ sở báo cáo định kỳ đã được thực hiện. Điều này có thể gia tăng đáng kể xử lý.
-
Trong hình này, bạn có thể thấy kho dữ liệu được trình bày như là nguồn chính cho các loại phân tích khác nhau được liệt kê ở phía bên phải của hình. Ở đây bạn cũng thấy khái niệm về vùng hạ cánh được đại diện, nơi Hadoop sẽ lưu trữ dữ liệu từ nhiều nguồn dữ liệu đến.
-
Để kích hoạt vùng hạ cánh Hadoop, bạn cần đảm bảo bạn có thể ghi dữ liệu từ các nguồn dữ liệu khác nhau lên HDFS. Đối với cơ sở dữ liệu quan hệ, một giải pháp tốt sẽ được sử dụng Sqoop.
Tuy nhiên, hạ cánh dữ liệu chỉ là sự khởi đầu.
Khi bạn di chuyển dữ liệu từ nhiều nguồn vào đích, một vấn đề mà bạn chắc chắn sẽ gặp phải là chất lượng dữ liệu. Thông thường, các công ty có nhiều cơ sở dữ liệu hoạt động, trong đó các chi tiết chính là khác nhau, ví dụ như khách hàng có thể được gọi là "D. deRoos "trong một cơ sở dữ liệu, và" Dirk deRoos "ở một trang khác.
Một vấn đề về chất lượng nằm ở các hệ thống có sự phụ thuộc nặng nề vào việc nhập dữ liệu thủ công, hoặc là từ khách hàng hay nhân viên - ở đây, không phải là hiếm khi tìm thấy tên và tên cuối cùng được chuyển đổi hoặc thông tin sai lệch khác trong các trường dữ liệu.
Vấn đề chất lượng dữ liệu là một vấn đề lớn đối với các môi trường kho dữ liệu và đó là lý do tại sao rất nhiều nỗ lực đi vào các bước làm sạch và xác nhận khi dữ liệu từ các hệ thống khác được xử lý khi nó được tải vào kho. Tất cả xuống
tin tưởng
: nếu dữ liệu bạn đang đặt câu hỏi chống lại là bẩn, bạn không thể tin tưởng vào câu trả lời trong các báo cáo của bạn. Vì vậy, mặc dù tiềm năng rất lớn trong việc truy cập vào nhiều bộ dữ liệu khác nhau từ các nguồn khác nhau trong vùng hạ cánh Hadoop của bạn, bạn phải tính đến chất lượng dữ liệu và mức độ tin cậy của dữ liệu.
