ĐặC điểm của Khung Phân tích Dữ liệu Lớn - những con vú

Mặc dù các bộ công cụ mới tiếp tục sẵn có để giúp bạn quản lý và phân tích khuôn khổ dữ liệu lớn của bạn hiệu quả hơn, bạn không thể có được những gì bạn cần. Ngoài ra, một loạt các công nghệ có thể hỗ trợ phân tích số liệu lớn và các yêu cầu như tính khả dụng, khả năng mở rộng và hiệu năng cao. Một số trong đó bao gồm các thiết bị dữ liệu lớn, cơ sở dữ liệu cột, cơ sở dữ liệu trong bộ nhớ, cơ sở dữ liệu không liên quan, và động cơ chế biến song song.

Vì vậy, người dùng doanh nghiệp đang tìm kiếm gì khi nói đến phân tích dữ liệu lớn? Câu trả lời cho câu hỏi đó phụ thuộc vào loại vấn đề kinh doanh mà họ đang cố gắng giải quyết. Một số cân nhắc quan trọng khi bạn chọn một khung phân tích ứng dụng dữ liệu lớn bao gồm:

• Hỗ trợ cho nhiều kiểu dữ liệu: Nhiều tổ chức đang hợp nhất hoặc mong muốn kết hợp tất cả các loại dữ liệu như là một phần của triển khai dữ liệu lớn, bao gồm dữ liệu có cấu trúc, bán cấu trúc và không có cấu trúc.

• Định hướng hành động là sản phẩm của phân tích luồng dữ liệu thời gian thực, trong khi định hướng quyết định có thể được phục vụ đầy đủ bằng xử lý hàng loạt. Một số người dùng sẽ yêu cầu cả hai, khi họ phát triển để bao gồm các dạng phân tích khác nhau. Sử dụng những gì đã tồn tại trong môi trường của bạn:

• Để có được bối cảnh phù hợp, điều quan trọng là tận dụng dữ liệu và các thuật toán hiện có trong khung phân tích dữ liệu lớn. Vượt qua độ trễ thấp:

• Nếu bạn đang phải đối phó với tốc độ dữ liệu cao, bạn sẽ cần một khuôn khổ có thể hỗ trợ các yêu cầu về tốc độ và hiệu năng. Cung cấp lưu trữ giá rẻ:

• Dữ liệu lớn có nghĩa là rất nhiều dung lượng lưu trữ - tùy thuộc vào số lượng dữ liệu bạn muốn xử lý và / hoặc giữ lại. Tích hợp với triển khai điện toán đám mây:

• Đám mây có thể cung cấp khả năng lưu trữ và tính toán theo yêu cầu. Ngày càng có nhiều công ty đang sử dụng đám mây như là một phân tích "sandbox. "Ngày càng có nhiều đám mây đang trở thành một mô hình triển khai quan trọng để tích hợp các hệ thống hiện có với các triển khai điện toán đám mây trong một mô hình lai. Mặc dù tất cả những đặc điểm này là quan trọng, nhưng giá trị cảm nhận và thực tế của việc tạo ra các ứng dụng từ một khuôn khổ là thời gian nhanh hơn để triển khai.Với tất cả những tính năng này, hãy xem xét một khung ứng dụng phân tích dữ liệu lớn từ một công ty có tên Continuity.

• AppFabric liên tục là một khuôn khổ hỗ trợ việc phát triển và triển khai các ứng dụng dữ liệu lớn. Bản thân AppFabric là một tập hợp các công nghệ được thiết kế đặc biệt nhằm tóm tắt những thay đổi bất thường của công nghệ dữ liệu cấp thấp. Trình tạo lập trình là một trình cắm thêm Eclipse cho phép nhà phát triển xây dựng, kiểm tra và gỡ lỗi tại địa phương và trong môi trường xung quanh quen thuộc. Các tính năng của AppFabric bao gồm:

Hỗ trợ Stream để phân tích và phản ứng trong thời gian thực

Unified API, loại bỏ sự cần thiết phải ghi vào các cơ sở dữ liệu lớn

Giao diện truy vấn cho các kết quả đơn giản và hỗ trợ các bộ xử lý truy vấn có thể hoán chuyển

• Các bộ dữ liệu đại diện cho các bảng dữ liệu có thể truy cập được từ Unified API

• Đọc và ghi dữ liệu độc lập với định dạng đầu vào hoặc đầu ra hoặc các chi tiết cụ thể của thành phần

• Xử lý sự kiện dựa trên giao tác

• Triển khai đa thức tới một nút đơn hoặc đám mây

• Cách tiếp cận này sẽ thu hút được sự phát triển ứng dụng dữ liệu lớn chủ yếu do rất nhiều công cụ và công nghệ cần thiết để tạo ra một môi trường dữ liệu lớn.

• Thiếu hợp tác có thể tốn kém bằng nhiều cách. Các tổ chức lớn có thể hưởng lợi từ các công cụ thúc đẩy hợp tác. Rất thường những người làm công việc tương tự không ý thức được nỗ lực của nhau dẫn đến việc lặp lại công việc.

• Một ví dụ khác về một khuôn khổ ứng dụng là OpenChorus. Ngoài sự phát triển nhanh chóng của các ứng dụng phân tích dữ liệu lớn, nó còn hỗ trợ cộng tác và cung cấp nhiều tính năng khác quan trọng cho các nhà phát triển phần mềm, như tích hợp công cụ, kiểm soát phiên bản và quản lý cấu hình.

Open Chorus là một dự án được duy trì bởi Tập đoàn EMC và có dưới giấy phép Apache 2. 0. EMC cũng sản xuất và hỗ trợ một phiên bản thương mại của Chorus. Cả Open Chorus và Chorus đều có mạng đối tác sôi nổi cũng như một tập hợp lớn các cá nhân và cộng tác viên.

Mở Chorus là một khuôn khổ chung chung. Tính năng hàng đầu của nó là khả năng tạo ra một "trung tâm" cộng đồng để chia sẻ các nguồn dữ liệu lớn, những hiểu biết sâu sắc, các kỹ thuật phân tích và hình ảnh hóa. Open Chorus cung cấp:

Kho lưu trữ các công cụ phân tích, hiện vật và kỹ thuật với phiên bản hoàn chỉnh, theo dõi thay đổi và lưu trữ

Không gian làm việc và hộp cát được tự quản lý và dễ dàng duy trì bởi các thành viên cộng đồng

Hình dung, bản đồ nhiệt, chuỗi thời gian, biểu đồ, …

• Liên kết tìm kiếm bất kỳ và tất cả các tài sản dữ liệu, bao gồm Hadoop, siêu dữ liệu, kho SQL và nhận xét

• Hợp tác thông qua các tính năng mạng xã hội giống như các tính năng khuyến khích khám phá, chia sẻ và động não

• Khả năng mở rộng để tích hợp các thành phần và công nghệ bên thứ ba