Quản lý dữ liệu cho dữ liệu lớn - núm vú

Dữ liệu lớn có thực sự mới hay nó là một sự tiến hóa trong cuộc hành trình quản lý dữ liệu? Nó thực sự là cả hai. Cũng giống như các sóng khác trong quản lý dữ liệu, dữ liệu lớn được xây dựng trên sự tiến triển của thực tiễn quản lý dữ liệu trong năm thập kỷ qua. Cái mới là lần đầu tiên, chi phí của các chu kỳ tính toán và lưu trữ đã đạt đến một điểm tới hạn. Sao nó lại quan trọng?

Chỉ một vài năm trước đây, các tổ chức thường thỏa hiệp bằng cách lưu trữ ảnh chụp nhanh hoặc tập hợp các thông tin quan trọng vì chi phí lưu trữ và hạn chế chế biến đã cấm họ lưu trữ tất cả những gì họ muốn phân tích.

Trong nhiều trường hợp, thỏa hiệp này đã làm việc tốt. Ví dụ: một công ty sản xuất có thể thu thập dữ liệu máy mỗi hai phút để xác định sức khoẻ của hệ thống. Tuy nhiên, có thể có những tình huống mà ảnh chụp nhanh sẽ không chứa thông tin về một loại lỗi mới và có thể sẽ không được chú ý trong nhiều tháng.

Với dữ liệu lớn, bây giờ có thể ảo hóa dữ liệu để nó có thể được lưu trữ hiệu quả và sử dụng lưu trữ dựa trên đám mây cũng có hiệu quả về chi phí. Ngoài ra, sự cải tiến về tốc độ và độ tin cậy của mạng đã loại bỏ những hạn chế vật lý khác về việc có thể quản lý khối lượng dữ liệu khổng lồ với tốc độ chấp nhận được.

Thêm vào đó là tác động của những thay đổi về giá cả và sự phức tạp của bộ nhớ máy tính. Với tất cả những chuyển đổi công nghệ này, bây giờ có thể tưởng tượng được cách thức mà các công ty có thể sử dụng dữ liệu có thể không thể tưởng tượng được chỉ năm năm trước.

Nhưng không có quá trình chuyển đổi công nghệ xảy ra một cách độc lập; nó xảy ra khi một nhu cầu quan trọng tồn tại có thể được đáp ứng bởi sự sẵn có và trưởng thành của công nghệ. Nhiều công nghệ nằm trong lòng các dữ liệu lớn, như ảo hóa, xử lý song song, các hệ thống tập tin phân tán, và các cơ sở dữ liệu trong bộ nhớ, đã xuất hiện trong nhiều thập kỷ qua.

Phân tích nâng cao cũng đã xuất hiện trong nhiều thập kỷ, mặc dù chúng không phải lúc nào cũng thực tế. Các công nghệ khác như Hadoop và MapReduce đã có mặt tại hiện trường chỉ trong vài năm. Sự kết hợp các tiến bộ công nghệ này giờ đây có thể giải quyết các vấn đề kinh doanh đáng kể. Các doanh nghiệp muốn có được những hiểu biết sâu sắc và những kết quả khả thi từ nhiều loại dữ liệu khác nhau với tốc độ phù hợp.

Nếu các công ty có thể phân tích petabytes dữ liệu (tương đương với 20 triệu tủ 4 ngăn chứa các tệp văn bản hoặc 13. 3 năm nội dung HDTV) với hiệu suất chấp nhận được để phân biệt các mẫu và dị thường, các doanh nghiệp có thể bắt đầu hiểu được dữ liệu theo những cách mới.Việc chuyển sang dữ liệu lớn không chỉ là về các doanh nghiệp.

Các hoạt động khoa học, nghiên cứu và chính phủ cũng đã giúp thúc đẩy nó. Chỉ cần suy nghĩ về việc phân tích hệ gen của con người hoặc xử lý tất cả các dữ liệu thiên văn được thu thập tại các đài quan sát để thúc đẩy sự hiểu biết của chúng ta về thế giới chung quanh chúng ta. Xem xét số lượng dữ liệu mà chính phủ thu thập được trong các hoạt động chống khủng bố của mình và bạn nhận được ý tưởng rằng dữ liệu lớn không chỉ là về kinh doanh.

Cách tiếp cận khác nhau để xử lý dữ liệu tồn tại. Dữ liệu chuyển động sẽ được sử dụng nếu một công ty có thể phân tích chất lượng sản phẩm của mình trong quá trình sản xuất để tránh các lỗi tốn kém. Dữ liệu được nghỉ ngơi sẽ được một nhà phân tích doanh nghiệp sử dụng để hiểu rõ hơn về mô hình mua hàng hiện tại của khách hàng dựa trên tất cả các khía cạnh của mối quan hệ với khách hàng, bao gồm bán hàng, dữ liệu truyền thông xã hội và tương tác dịch vụ khách hàng.

Hãy nhớ rằng các doanh nghiệp vẫn đang ở giai đoạn đầu của việc tận dụng khối lượng dữ liệu khổng lồ để có được cái nhìn 360 độ về doanh nghiệp và dự đoán được sự thay đổi và thay đổi trong mong đợi của khách hàng. Các công nghệ cần thiết để có được câu trả lời nhu cầu kinh doanh vẫn còn bị cô lập với nhau.

Dữ liệu lớn không chỉ đơn giản là về một công cụ hoặc một công nghệ. Đó là cách tất cả các công nghệ này kết hợp với nhau để đưa ra những hiểu biết đúng đắn, vào đúng thời điểm, dựa trên các dữ liệu đúng - cho dù đó là do con người, máy móc hay web.