Làm thế nào để sử dụng Data Streaming cho dữ liệu lớn - dumummies

Đôi khi, khi tiếp cận dữ liệu lớn, các công ty đang phải đối mặt với số lượng lớn dữ liệu và ý tưởng về nơi để đi tiếp theo. Nhập luồng dữ liệu. Khi một lượng dữ liệu đáng kể cần được xử lý nhanh chóng trong thời gian gần gần để nhận được thông tin chi tiết, dữ liệu chuyển động ở dạng luồng dữ liệu là câu trả lời tốt nhất.

Dữ liệu không nghỉ ngơi là gì? Đây sẽ là các hệ thống đang quản lý các giao dịch tích cực và do đó cần phải có sự kiên trì. Trong những trường hợp này, dữ liệu sẽ được lưu trữ trong kho dữ liệu hoạt động. Tuy nhiên, trong các tình huống khác, các giao dịch đó đã được thực hiện, và đã đến lúc phân tích dữ liệu đó trong kho dữ liệu hoặc trong siêu dữ liệu.

Điều này có nghĩa là thông tin đang được xử lý theo lô và không theo thời gian thực. Khi các tổ chức đang lên kế hoạch cho tương lai của họ, họ cần có khả năng phân tích rất nhiều dữ liệu, từ thông tin về khách hàng mua gì và tại sao. Điều quan trọng là phải hiểu các chỉ số hàng đầu về thay đổi. Nói cách khác, sự thay đổi sẽ ảnh hưởng đến những sản phẩm và dịch vụ mà một tổ chức sẽ cung cấp trong tương lai?

Nhiều tổ chức nghiên cứu đang sử dụng loại phân tích dữ liệu lớn để khám phá loại thuốc mới. Một công ty bảo hiểm có thể muốn so sánh các mẫu tai nạn giao thông trên một khu vực địa lý rộng với thống kê thời tiết. Trong những trường hợp này, không có lợi ích nào tồn tại để quản lý thông tin này theo tốc độ thời gian thực. Rõ ràng, việc phân tích phải nhanh chóng và thiết thực. Ngoài ra, các tổ chức sẽ phân tích dữ liệu để xem các mô hình mới xuất hiện hay không.

Dữ liệu luồng là một nền tảng máy tính phân tích tập trung vào tốc độ. Điều này là bởi vì các ứng dụng này đòi hỏi một luồng liên tục của dữ liệu phi cấu trúc thường xuyên được xử lý. Do đó, dữ liệu được liên tục phân tích và chuyển đổi trong bộ nhớ trước khi nó được lưu trữ trên đĩa. Xử lý luồng dữ liệu hoạt động bằng cách xử lý "cửa sổ thời gian" của dữ liệu trong bộ nhớ trên một cụm máy chủ.

Điều này cũng tương tự như cách tiếp cận khi quản lý dữ liệu khi nghỉ ngơi tận dụng Hadoop. Sự khác biệt chính là vấn đề vận tốc. Trong cụm Hadoop, dữ liệu được thu thập theo chế độ lô và sau đó được xử lý. Tốc độ ít xảy ra trong Hadoop so với tốc độ truyền dữ liệu. Một số nguyên tắc chính xác định khi sử dụng luồng là thích hợp nhất:

• Khi cần xác định cơ hội mua bán lẻ tại thời điểm cam kết, thông qua phương tiện truyền thông xã hội hoặc thông qua tin nhắn dựa trên quyền truy cập

• Thu thập thông tin về phong trào xung quanh trang web an toàn

• Để có thể phản ứng lại với một sự kiện cần đáp ứng ngay, chẳng hạn như mất dịch vụ hoặc thay đổi tình trạng sức khoẻ của bệnh nhân

• Tính toán chi phí thời gian thực phụ thuộc vào các biến như sử dụng và tài nguyên có sẵn

Dữ liệu phát trực tuyến rất hữu ích khi phân tích cần được thực hiện trong thời gian thực trong khi dữ liệu đang hoạt động.Trên thực tế, giá trị của phân tích (và thường là số liệu) giảm theo thời gian. Ví dụ: nếu bạn không thể phân tích và hành động ngay lập tức, cơ hội bán hàng có thể bị mất hoặc một mối đe dọa có thể không bị phát hiện.

Sau đây là một số ví dụ có thể giúp giải thích cách thức này hữu ích.

Nhà máy điện cần phải là một môi trường an toàn cao để các cá nhân không được phép không can thiệp vào việc cung cấp điện cho khách hàng. Các công ty thường đặt các cảm biến xung quanh chu vi của một vị trí để phát hiện chuyển động. Nhưng một vấn đề có thể tồn tại. Có một sự khác biệt rất lớn giữa một con thỏ chạy quanh khu vực và một chiếc xe hơi lái xe nhanh và cố ý. Do đó, lượng dữ liệu khổng lồ đến từ những cảm biến này cần phải được phân tích theo thời gian thực để báo động chỉ khi nào có mối đe doạ thực sự tồn tại.

Một công ty viễn thông trong một thị trường có tính cạnh tranh cao muốn đảm bảo rằng sự cố mất thời gian được theo dõi cẩn thận để có thể tăng mức dịch vụ phát hiện lên nhóm thích hợp. Các hệ thống truyền thông tạo ra lượng dữ liệu khổng lồ phải được phân tích trong thời gian thực để có hành động thích hợp. Sự chậm trễ trong việc phát hiện lỗi có thể ảnh hưởng nghiêm trọng đến sự hài lòng của khách hàng.

Không cần phải nói, các doanh nghiệp đang xử lý rất nhiều dữ liệu cần được xử lý và phân tích trong thời gian thực. Do đó, môi trường vật lý hỗ trợ mức phản ứng này là rất quan trọng. Các môi trường dữ liệu luồng dữ liệu thường yêu cầu giải pháp phần cứng nhóm và đôi khi phải thực hiện một cách tiếp cận xử lý song song để xử lý phân tích.

Một yếu tố quan trọng về phân tích dữ liệu luồng là thực tế rằng đó là phân tích đơn. Nói cách khác, nhà phân tích không thể phân tích lại dữ liệu sau khi phát. Điều này là phổ biến trong các ứng dụng mà bạn đang tìm kiếm sự vắng mặt của dữ liệu.

Nếu cần nhiều lần, dữ liệu sẽ được đưa vào một số loại kho mà có thể phân tích bổ sung. Ví dụ, nó thường là cần thiết để thiết lập bối cảnh. Dữ liệu luồng này so với dữ liệu lịch sử như thế nào? Tương quan này có thể cho bạn biết rất nhiều về những gì đã thay đổi và sự thay đổi đó có ý nghĩa gì đối với doanh nghiệp của bạn.