Lớp 1 của ngăn xếp dữ liệu lớn: cơ sở hạ tầng bảo mật - yêu cầu

Video: North Korea - All the dictator's men | DW Documentary 2025

Yêu cầu bảo mật và riêng tư, lớp 1 của chồng dữ liệu lớn, cho các yêu cầu đối với các môi trường dữ liệu thông thường. Các yêu cầu bảo mật phải được sắp xếp chặt chẽ với nhu cầu kinh doanh cụ thể. Một số thách thức duy nhất phát sinh khi dữ liệu lớn trở thành một phần của chiến lược:

Truy cập dữ liệu: Người dùng truy cập dữ liệu thô hoặc dữ liệu lớn có cùng cấp yêu cầu kỹ thuật với việc triển khai dữ liệu không lớn. Dữ liệu chỉ có sẵn cho những người có nhu cầu kinh doanh hợp pháp để kiểm tra hoặc tương tác với nó. Hầu hết các nền tảng lưu trữ dữ liệu cốt lõi đều có các chương trình bảo mật nghiêm ngặt và được tăng cường với khả năng nhận dạng thống nhất, cung cấp truy cập thích hợp trên nhiều lớp kiến trúc.
Ứng dụng truy cập vào dữ liệu cũng tương đối đơn giản từ góc độ kỹ thuật. Hầu hết các giao diện lập trình ứng dụng (API) cung cấp bảo vệ khỏi sử dụng trái phép hoặc truy cập. Mức độ bảo vệ này có lẽ là phù hợp với hầu hết các triển khai dữ liệu lớn. Mã hóa dữ liệu:
Mã hóa dữ liệu là khía cạnh thách thức nhất của bảo mật trong môi trường dữ liệu lớn. Trong các môi trường truyền thống, mã hóa và giải mã dữ liệu thật sự nhấn mạnh đến các nguồn lực của hệ thống. Vấn đề này trở nên trầm trọng hơn với những dữ liệu lớn. Cách tiếp cận đơn giản nhất là cung cấp khả năng tính toán nhanh hơn và nhanh hơn. Cách tiếp cận ôn hòa hơn là xác định các phần tử dữ liệu yêu cầu mức độ bảo mật này và chỉ mã hóa các mục cần thiết. Vì vậy, cơ sở hạ tầng vật lý cho phép tất cả mọi thứ và cơ sở hạ tầng bảo mật bảo vệ tất cả các yếu tố trong môi trường dữ liệu lớn của bạn. Cấp kế tiếp trong ngăn xếp là các giao diện cung cấp quyền truy cập hai chiều cho tất cả các thành phần của ngăn xếp - từ các ứng dụng của công ty đến các nguồn cấp dữ liệu từ Internet.
. Trong nhiều thập kỷ, các lập trình viên đã sử dụng API để cung cấp truy cập và triển khai phần mềm. Các nhà cung cấp công cụ và công nghệ sẽ có thời gian dài để đảm bảo rằng đó là một nhiệm vụ tương đối đơn giản để tạo ra các ứng dụng mới bằng cách sử dụng các sản phẩm của họ.Mặc dù rất hữu ích, nhưng đôi khi cần thiết cho các chuyên gia CNTT tạo API tùy chỉnh hoặc độc quyền độc quyền cho công ty.

Bạn có thể cần làm điều này vì lợi thế cạnh tranh, nhu cầu duy nhất cho tổ chức của bạn hoặc nhu cầu kinh doanh khác, và đó không phải là một nhiệm vụ đơn giản. Các API cần được ghi chép và duy trì tốt để bảo toàn giá trị cho doanh nghiệp. Vì lý do này, một số công ty chọn sử dụng bộ công cụ API để bắt đầu một bước nhảy vọt trong hoạt động quan trọng này. Bộ công cụ
bộ công cụ API có một vài lợi thế so với API được phát triển nội bộ. Thứ nhất là bộ công cụ API là các sản phẩm được tạo ra, quản lý và duy trì bởi một bên thứ ba độc lập. Thứ hai, chúng được thiết kế để giải quyết một yêu cầu kỹ thuật cụ thể.
Những thách thức về dữ liệu lớn đòi hỏi một cách tiếp cận hơi khác để phát triển API hoặc áp dụng. Bởi vì nhiều dữ liệu không có cấu trúc và được tạo ra ngoài sự kiểm soát của doanh nghiệp của bạn, một kỹ thuật mới, được gọi là Natural Language Processing (NLP), đang nổi lên như một phương pháp được ưa thích để giao tiếp giữa các dữ liệu lớn và các chương trình ứng dụng của bạn.

NLP cho phép bạn tạo các truy vấn với cú pháp ngôn ngữ tự nhiên thay vì một ngôn ngữ truy vấn chính thức như SQL. Đối với hầu hết người dùng dữ liệu lớn, sẽ dễ dàng hơn nhiều khi yêu cầu "liệt kê tất cả những người tiêu dùng nam đã kết hôn từ 30 đến 40 tuổi cư trú ở vùng đông nam Hoa Kỳ và là những người hâm mộ NASCAR" hơn là viết một truy vấn SQL 30 dòng cho câu trả lời.

Vì hầu hết thu thập dữ liệu và di chuyển có các đặc tính rất giống nhau, bạn có thể thiết kế một bộ dịch vụ để thu thập, làm sạch, chuyển đổi, bình thường hoá và lưu trữ các mục dữ liệu lớn trong hệ thống lưu trữ mà bạn chọn.

Để tạo ra tính linh hoạt khi cần thiết, nhà máy có thể được điều khiển bằng các mô tả giao diện được viết bằng ngôn ngữ đánh dấu mở rộng (Extensible Markup Language - XML). Mức trừu tượng này cho phép các giao diện cụ thể được tạo ra dễ dàng và nhanh chóng mà không cần phải xây dựng các dịch vụ cụ thể cho từng nguồn dữ liệu.

Trong thực tế, bạn có thể tạo mô tả về các giao diện ứng dụng SAP hoặc Oracle sử dụng một cái gì đó như XML. Mỗi giao diện sẽ sử dụng cùng một phần mềm cơ bản để di chuyển dữ liệu giữa môi trường dữ liệu lớn và môi trường ứng dụng sản xuất độc lập với các chi tiết cụ thể của SAP hay Oracle. Nếu bạn cần thu thập dữ liệu từ các trang xã hội trên Internet, thực tế sẽ giống nhau.

Mô tả các giao diện với các trang web trong XML, và sau đó tham gia vào các dịch vụ để di chuyển dữ liệu qua lại. Thông thường, các giao diện này được ghi lại để sử dụng bởi các nhà công nghệ trong và ngoài.