Làm thế nào để Đặt nền kiến ​​trúc cho dữ liệu lớn - núm vú

Điều quan trọng là bạn nên đặt nền tảng kiến ​​trúc vững chắc nếu bạn muốn thành công với dữ liệu lớn. Ngoài việc hỗ trợ các yêu cầu chức năng, điều quan trọng là hỗ trợ thực hiện yêu cầu. Nhu cầu của bạn sẽ phụ thuộc vào bản chất của phân tích bạn đang hỗ trợ. Bạn sẽ cần số lượng quyền lực tính toán và tốc độ.

Kiến trúc của bạn cũng phải có số lượng dự phòng đúng để bạn được bảo vệ khỏi độ trễ và thời gian chết không mong đợi.

Hãy bắt đầu bằng cách tự hỏi những câu hỏi sau:

• Bao nhiêu dữ liệu mà tổ chức của bạn cần quản lý ngày nay và trong tương lai?

• Tổ chức của bạn sẽ cần quản lý dữ liệu theo thời gian thực hoặc gần thời gian thực bao nhiêu lần?

• Tổ chức của bạn có thể chịu rủi ro bao nhiêu? Ngành của bạn có phải tuân theo các yêu cầu nghiêm ngặt về an ninh, tuân thủ và quản trị không?

• Mức độ quan trọng của bạn cần quản lý dữ liệu như thế nào?

• dữ liệu cần phải chính xác và chính xác như thế nào?

  

Giao diện và nguồn cấp dữ liệu lớn

Để hiểu được dữ liệu lớn hoạt động như thế nào trong thế giới thực, điều quan trọng là phải bắt đầu bằng sự hiểu biết về sự cần thiết của giao diện và nguồn cấp dữ liệu. Trên thực tế, điều gì làm cho dữ liệu lớn lớn là thực tế là nó dựa vào việc thu thập nhiều dữ liệu từ nhiều nguồn.

Vì vậy, giao diện lập trình ứng dụng mở (API) sẽ là cốt lõi cho bất kỳ kiến ​​trúc dữ liệu lớn. Ngoài ra, hãy nhớ rằng giao diện tồn tại ở mọi cấp độ và giữa mỗi lớp của ngăn xếp. Nếu không có dịch vụ tích hợp, dữ liệu lớn không thể xảy ra.

Cơ sở hạ tầng vật liệu dự phòng lớn

Cơ sở hạ tầng vật lý hỗ trợ là nền tảng cho hoạt động và khả năng mở rộng của một kiến ​​trúc dữ liệu lớn. Trên thực tế, nếu không có cơ sở hạ tầng vật lý mạnh mẽ, dữ liệu lớn có lẽ sẽ không xuất hiện như một xu hướng quan trọng. Để hỗ trợ khối lượng dữ liệu không dự đoán trước hoặc không dự đoán trước, cơ sở hạ tầng vật lý cho dữ liệu lớn phải khác với cơ sở dữ liệu truyền thống.

Cơ sở hạ tầng vật lý được dựa trên mô hình tính toán phân tán. Điều này có nghĩa là dữ liệu có thể được lưu trữ ở nhiều địa điểm khác nhau và có thể được liên kết với nhau thông qua mạng, sử dụng hệ thống tệp phân phối và các công cụ và ứng dụng phân tích dữ liệu lớn.

Sự dư thừa là rất quan trọng vì bạn đang đối phó với rất nhiều dữ liệu từ rất nhiều nguồn khác nhau. Sự dư thừa có nhiều hình thức. Nếu công ty của bạn đã tạo một đám mây riêng, bạn sẽ muốn có dư thừa được xây dựng trong môi trường riêng để có thể mở rộng ra để hỗ trợ thay đổi khối lượng công việc.

Nếu công ty của bạn muốn tăng trưởng CNTT nội bộ, nó có thể sử dụng các dịch vụ đám mây bên ngoài để tăng cường các nguồn lực nội bộ của nó. Trong một số trường hợp, sự thừa này có thể được đưa ra dưới hình thức một dịch vụ Phần mềm như một Dịch vụ (SaaS) cho phép các công ty phân tích dữ liệu tinh vi như một dịch vụ. Các phương pháp tiếp cận SaaS cung cấp chi phí thấp hơn, khởi động nhanh hơn, và sự tiến triển liền mạch của công nghệ cơ bản.

Cơ sở hạ tầng bảo mật dữ liệu lớn

Phân tích dữ liệu quan trọng hơn sẽ trở thành công ty, quan trọng hơn là đảm bảo dữ liệu đó. Ví dụ: nếu bạn là một công ty chăm sóc sức khoẻ, có thể bạn sẽ muốn sử dụng các ứng dụng dữ liệu lớn để xác định sự thay đổi nhân khẩu học hoặc thay đổi nhu cầu của bệnh nhân. Dữ liệu này về các thành phần của bạn cần được bảo vệ để đáp ứng các yêu cầu tuân thủ và để bảo vệ sự riêng tư của bệnh nhân.

Bạn sẽ cần phải tính đến những người được phép xem dữ liệu và trong những trường hợp nào họ được phép làm như vậy. Bạn sẽ cần để có thể xác minh danh tính của người dùng cũng như bảo vệ danh tính của bệnh nhân.

Nguồn dữ liệu hoạt động lớn

Điều quan trọng là phải hiểu rằng bạn phải kết hợp tất cả các nguồn dữ liệu cung cấp cho bạn một bức tranh toàn cảnh về doanh nghiệp của bạn và xem dữ liệu ảnh hưởng đến cách bạn hoạt động kinh doanh như thế nào. Khi thế giới thay đổi, điều quan trọng là hiểu rằng dữ liệu hoạt động bây giờ phải bao gồm một tập hợp các nguồn dữ liệu rộng hơn, bao gồm các nguồn không có cấu trúc như dữ liệu truyền thông xã hội dưới mọi hình thức.

Bạn tìm thấy những cách tiếp cận mới nổi đến việc quản lý dữ liệu trong thế giới dữ liệu lớn, bao gồm các kiến ​​trúc cơ sở dữ liệu văn bản, đồ thị, cột và không gian địa lý. Nói chung, chúng được gọi là NoSQL, hoặc không chỉ SQL, cơ sở dữ liệu. Về bản chất, bạn cần phải bản đồ các kiến ​​trúc dữ liệu để các loại giao dịch.

Làm như vậy sẽ giúp đảm bảo phải dữ liệu có sẵn khi bạn cần. Bạn cũng cần kiến ​​trúc dữ liệu hỗ trợ các nội dung phi cấu trúc phức tạp. Bạn cần phải bao gồm cả cơ sở dữ liệu quan hệ và cơ sở dữ liệu phi quan hệ trong cách tiếp cận của bạn để khai thác dữ liệu lớn. Cũng cần phải bao gồm các nguồn dữ liệu phi cấu trúc, chẳng hạn như các hệ thống quản lý nội dung, để bạn có thể tiến gần hơn đến quan điểm kinh doanh 360 độ.

Tất cả các nguồn dữ liệu hoạt động này có một số đặc điểm chung:

• Chúng đại diện cho các hệ thống ghi lại các dữ liệu quan trọng cần thiết cho hoạt động kinh doanh theo thời gian thực và hàng ngày.

• Chúng được liên tục cập nhật dựa trên các giao dịch xảy ra trong các đơn vị kinh doanh và từ web.

• Đối với những nguồn này để cung cấp mô tả chính xác về doanh nghiệp, họ phải kết hợp các dữ liệu có cấu trúc và không có cấu trúc.

• Các hệ thống này cũng phải có khả năng mở rộng để hỗ trợ hàng ngàn người dùng trên cơ sở phù hợp. Các hệ thống này có thể bao gồm hệ thống thương mại điện tử giao dịch, hệ thống quản lý quan hệ khách hàng hoặc ứng dụng trung tâm cuộc gọi.