Xác định dữ liệu bạn cần cho dữ liệu lớn của bạn - núm vú

Theo dõi loại dữ liệu bạn đang xử lý trong dự án dữ liệu lớn của bạn. Nhiều tổ chức nhận ra rằng rất nhiều dữ liệu nội bộ được tạo ra đã không được sử dụng hết tiềm năng của nó trong quá khứ.

Bằng cách tận dụng các công cụ mới, các tổ chức đang thu thập thông tin sâu sắc từ các nguồn dữ liệu phi cấu trúc trước đây chưa được khai thác trong e-mail, bản ghi dịch vụ khách hàng, dữ liệu cảm biến và các bản ghi bảo mật. Ngoài ra, nhiều mối quan tâm tồn tại trong việc tìm kiếm thông tin chi tiết mới dựa trên phân tích dữ liệu chủ yếu bên ngoài tổ chức, chẳng hạn như phương tiện truyền thông xã hội, vị trí điện thoại di động, giao thông và thời tiết.

Giai đoạn thăm dò dữ liệu lớn

Trong giai đoạn đầu của phân tích, bạn sẽ muốn tìm kiếm các mẫu trong dữ liệu. Chỉ bằng cách kiểm tra khối lượng dữ liệu rất lớn mà mối quan hệ mới và bất ngờ giữa các yếu tố có thể trở nên rõ ràng. Những mẫu này có thể cung cấp cái nhìn sâu sắc về sở thích của khách hàng cho một sản phẩm mới, ví dụ. Bạn sẽ cần một nền tảng để tổ chức dữ liệu lớn của bạn để tìm kiếm các mẫu này.

Hadoop được sử dụng rộng rãi như một khối xây dựng cơ bản để thu thập và xử lý các dữ liệu lớn. Hadoop được thiết kế với khả năng tăng tốc quá trình xử lý dữ liệu lớn và giúp xác định được các mẫu với số lượng lớn dữ liệu trong một khoảng thời gian tương đối ngắn. Hai thành phần chính của Hadoop-Hadoop Distributed File System (HDFS) và MapReduce - được sử dụng để quản lý và xử lý dữ liệu lớn của bạn.

Thông thường, Flume được sử dụng để thu thập số lượng lớn dữ liệu nhật ký từ các máy chủ phân tán. Nó theo dõi tất cả các nút vật lý và logic trong một cài đặt Flume. Các nút đại lý được cài đặt trên các máy chủ và có trách nhiệm quản lý cách một luồng dữ liệu được truyền và xử lý từ điểm khởi đầu đến điểm đích.

Ngoài ra, các nhà sưu tập được sử dụng để nhóm các luồng dữ liệu vào các luồng lớn có thể được ghi vào một hệ thống tệp tin Hadoop hoặc các kho lưu trữ dữ liệu lớn khác. Flume được thiết kế cho khả năng mở rộng và liên tục có thể bổ sung thêm nhiều nguồn lực vào một hệ thống để xử lý số lượng cực lớn của dữ liệu một cách hiệu quả.Đầu ra của Flume có thể được tích hợp với Hadoop và Hive để phân tích dữ liệu.

Flume cũng có các phần tử biến đổi để sử dụng trên dữ liệu và có thể biến cơ sở hạ tầng Hadoop của bạn thành một nguồn dữ liệu phi cấu trúc trực tuyến.

Các mẫu dữ liệu lớn

Bạn tìm thấy nhiều ví dụ về các công ty bắt đầu nhận ra lợi thế cạnh tranh từ phân tích dữ liệu lớn. Đối với nhiều công ty, luồng dữ liệu truyền thông xã hội đang ngày càng trở thành một bộ phận không thể tách rời của chiến lược tiếp thị kỹ thuật số. Trong giai đoạn khám phá, công nghệ này có thể được sử dụng để nhanh chóng tìm kiếm thông qua một lượng lớn dữ liệu truyền tải và rút ra các mô hình thịnh hành liên quan đến các sản phẩm hoặc khách hàng cụ thể.

Với hàng trăm cửa hàng và hàng ngàn khách hàng, bạn cần một quy trình lặp lại để tạo bước nhảy vọt từ nhận dạng mẫu đến việc thực hiện lựa chọn sản phẩm mới và tiếp thị mục tiêu hơn. Sau khi bạn tìm thấy một cái gì đó thú vị trong phân tích dữ liệu lớn của mình, hãy mã hoá nó và làm cho nó trở thành một phần của quy trình kinh doanh của bạn.

Để tính toán mối quan hệ giữa dữ liệu phân tích lớn và dữ liệu hoạt động của bạn, bạn cần phải tích hợp dữ liệu.

Tích hợp dữ liệu lớn và giai đoạn kết hợp

Dữ liệu lớn đang có một tác động lớn đến nhiều khía cạnh của quản lý dữ liệu, bao gồm tích hợp dữ liệu. Theo truyền thống, tích hợp dữ liệu đã tập trung vào chuyển động của dữ liệu thông qua middleware, bao gồm các thông số về truyền tin và yêu cầu cho giao diện lập trình ứng dụng (API). Những khái niệm về tích hợp dữ liệu này thích hợp hơn để quản lý dữ liệu khi nghỉ ngơi hơn là dữ liệu đang chuyển động.

Việc di chuyển vào thế giới mới của dữ liệu phi cấu trúc và luồng dữ liệu thay đổi khái niệm thông thường về tích hợp dữ liệu. Nếu bạn muốn kết hợp phân tích dữ liệu luồng vào quy trình kinh doanh của mình, bạn cần công nghệ tiên tiến đủ nhanh để có thể đưa ra quyết định theo thời gian thực.

Sau khi phân tích số liệu lớn của bạn đã hoàn thành, bạn cần một phương pháp tiếp cận cho phép bạn tích hợp hoặc kết hợp các kết quả phân tích dữ liệu lớn vào quá trình kinh doanh và hành động kinh doanh theo thời gian thực.

Các công ty có kỳ vọng cao để đạt được giá trị thực sự kinh doanh từ phân tích dữ liệu lớn. Trên thực tế, nhiều công ty muốn bắt đầu phân tích sâu hơn về dữ liệu lớn được tạo nội bộ, chẳng hạn như dữ liệu nhật ký bảo mật, điều này trước đây không thể thực hiện được do những hạn chế về công nghệ.

Công nghệ cho vận chuyển tốc độ cao dữ liệu rất lớn và nhanh là một yêu cầu để tích hợp trên các nguồn dữ liệu phân tán lớn và giữa dữ liệu lớn và dữ liệu hoạt động. Các nguồn dữ liệu phi cấu trúc thường cần được di chuyển nhanh chóng qua khoảng cách địa lý lớn để chia sẻ và cộng tác.

Liên kết các nguồn truyền thống với dữ liệu lớn là một quá trình đa tầng sau khi bạn đã xem xét tất cả dữ liệu từ nguồn dữ liệu lớn và xác định các mẫu có liên quan. Sau khi thu hẹp lượng dữ liệu bạn cần để quản lý và phân tích, bây giờ bạn cần suy nghĩ về hội nhập.