Lớp 4 của ngăn xếp dữ liệu lớn: các kho dữ liệu phân tích - những xác ướp

Kho dữ liệu, lớp 4 của ngăn xếp dữ liệu lớn, và đồng hành của data mart, từ lâu đã là những kỹ thuật chính mà các tổ chức sử dụng để tối ưu hóa dữ liệu để giúp các nhà ra quyết định. Thông thường, các kho dữ liệu và các kho chứa dữ liệu chuẩn được thu thập từ nhiều nguồn khác nhau và được lắp ráp để phân tích kinh doanh.

Kho dữ liệu và các cửa hàng đơn giản hóa việc tạo ra các báo cáo và hình dung các mục dữ liệu khác nhau. Chúng thường được tạo ra từ cơ sở dữ liệu quan hệ, cơ sở dữ liệu đa chiều, các tệp tin phẳng và cơ sở dữ liệu đối tượng - chủ yếu là bất kỳ kiến ​​trúc lưu trữ nào. Trong một môi trường truyền thống, nơi mà hiệu suất không phải là ưu tiên cao nhất, việc lựa chọn công nghệ cơ bản được định hướng bởi các yêu cầu cho việc phân tích, báo cáo và hình dung dữ liệu của công ty.

Vì việc tổ chức dữ liệu và sự sẵn sàng để phân tích là quan trọng, hầu hết các triển khai kho dữ liệu được lưu giữ thông qua quá trình xử lý theo lô. Vấn đề là các kho dữ liệu và kho dữ liệu được nạp hàng loạt có thể không đủ cho nhiều ứng dụng dữ liệu lớn. Sự căng thẳng do các luồng dữ liệu tốc độ cao đòi hỏi phải có thêm cách tiếp cận thời gian thực hơn đối với các kho dữ liệu lớn.

Điều này không có nghĩa là bạn sẽ không tạo và cho ăn một kho dữ liệu phân tích hoặc một tòa dữ liệu với các quy trình theo đợt. Thay vào đó, bạn có thể sẽ có nhiều kho dữ liệu hoặc các trung tâm dữ liệu và hiệu suất và quy mô sẽ phản ánh yêu cầu về thời gian của các nhà phân tích và các nhà ra quyết định.

Vì nhiều kho dữ liệu và các kho dữ liệu bao gồm dữ liệu thu thập được từ nhiều nguồn bên trong một công ty, cần phải giải quyết các chi phí liên quan đến việc làm sạch và bình thường hoá dữ liệu. Với dữ liệu lớn, bạn sẽ thấy một số khác biệt chính:

• Các luồng dữ liệu truyền thống (từ các giao dịch, ứng dụng, v.v.) có thể tạo ra nhiều dữ liệu khác nhau.

• Hàng chục nguồn dữ liệu mới cũng tồn tại, mỗi người trong số họ cần một số mức độ thao tác trước khi nó có thể được kịp thời và hữu ích cho doanh nghiệp.

• Các nguồn nội dung cũng cần được làm sạch, và các nội dung này có thể yêu cầu các kỹ thuật khác với bạn có thể sử dụng với dữ liệu có cấu trúc.

Trong lịch sử, nội dung của kho dữ liệu và các trung tâm dữ liệu được tổ chức và phân phối cho các nhà lãnh đạo doanh nghiệp phụ trách chiến lược và quy hoạch. Với dữ liệu lớn, một nhóm các đội mới đang sử dụng dữ liệu để đưa ra quyết định.

Nhiều triển khai dữ liệu lớn cung cấp khả năng theo thời gian thực, do đó các doanh nghiệp có thể cung cấp nội dung để giúp các cá nhân có vai trò hoạt động giải quyết các vấn đề như hỗ trợ khách hàng, cơ hội bán hàng và dịch vụ ngừng hoạt động trong thời gian gần.Bằng cách này, dữ liệu lớn giúp di chuyển hành động từ văn phòng quay trở lại văn phòng chính.

Các công cụ và kỹ thuật phân tích hiện có sẽ rất hữu ích trong việc tạo ra ý nghĩa của dữ liệu lớn. Tuy nhiên, có một nhược điểm. Các thuật toán là một phần của các công cụ này phải có khả năng làm việc với số lượng lớn dữ liệu có khả năng theo thời gian thực và khác biệt. Cơ sở hạ tầng sẽ cần được xây dựng để hỗ trợ cho việc này.

Và, các nhà cung cấp cung cấp công cụ phân tích cũng sẽ cần đảm bảo rằng các thuật toán của họ hoạt động trên các triển khai phân tán. Do những phức tạp này, nên bạn mong đợi một loại công cụ mới giúp hiểu được dữ liệu lớn.

Có ba lớp công cụ trong lớp kiến ​​trúc tham chiếu này. Họ có thể được sử dụng một cách độc lập hoặc tập thể bởi những người ra quyết định để giúp điều khiển doanh nghiệp. Ba loại công cụ như sau:

• Báo cáo và bảng điều khiển: Các công cụ này cung cấp một & ldquo; thân thiện & rdquo; đại diện của thông tin từ nhiều nguồn khác nhau. Mặc dù trụ cột chính trong thế giới dữ liệu truyền thống, khu vực này vẫn đang phát triển cho dữ liệu lớn. Một số công cụ đang được sử dụng là những công cụ truyền thống hiện có thể truy cập vào các loại cơ sở dữ liệu mới được gọi chung là NoSQL (Not Only SQL).

• Hình dung: Những công cụ này là bước tiếp theo trong quá trình báo cáo. Đầu ra có xu hướng có tính tương tác và năng động cao. Một sự phân biệt quan trọng khác giữa các báo cáo và đầu ra được hình dung là hoạt hình. Người dùng doanh nghiệp có thể xem các thay đổi trong dữ liệu sử dụng nhiều kỹ thuật hiển thị khác nhau, bao gồm bản đồ tâm trí, bản đồ nhiệt, bảng thống kê, và sơ đồ kết nối. Báo cáo và trực quan diễn ra vào cuối hoạt động kinh doanh.

• Analytics và phân tích nâng cao: Các công cụ này được tiếp cận vào kho dữ liệu và xử lý dữ liệu để phục vụ tiêu dùng của con người. Phân tích nâng cao nên xu hướng xu hướng hoặc sự kiện mang tính đột phá, độc đáo hoặc cách mạng đối với thực tiễn kinh doanh hiện tại. Phân tích tiên đoán và phân tích tình cảm là những ví dụ điển hình của khoa học này.