Quản lý Ảo hóa cho dữ liệu lớn - những con voi

Ảo hóa tách biệt nguồn lực và dịch vụ môi trường phân phối vật lý, cho phép bạn tạo ra nhiều hệ thống ảo trong một hệ thống vật lý đơn lẻ. Một trong những lý do chính mà các công ty đã triển khai thực hiện ảo hóa là cải thiện hiệu suất và hiệu quả của quá trình xử lý đa dạng các khối lượng công việc

Siêu dữ liệu lớn

Trong một thế giới lý tưởng, bạn không muốn lo lắng về cơ bản hệ điều hành và phần cứng vật lý. Một hypervisor là công nghệ có trách nhiệm đảm bảo việc chia sẻ tài nguyên diễn ra một cách có trật tự và lặp lại được.

Hypervisor nằm ở mức thấp nhất của môi trường phần cứng và sử dụng một lớp mỏng của mã để cho phép chia sẻ tài nguyên động. Các hypervisor làm cho nó có vẻ như mỗi hệ điều hành có các nguồn lực vật lý tất cả cho chính nó.

Trong thế giới dữ liệu lớn, bạn có thể cần phải hỗ trợ nhiều môi trường hoạt động khác nhau. Hypervisor trở thành một cơ chế phân phối lý tưởng cho các thành phần công nghệ của chồng dữ liệu lớn. Hypervisor cho phép bạn hiển thị cùng một ứng dụng trên rất nhiều hệ thống mà không cần phải sao chép các ứng dụng trên mỗi hệ thống.

Như một lợi ích bổ sung, vì kiến ​​trúc hypervisor, nó có thể tải bất kỳ hệ điều hành nào khác như thể chúng chỉ là một ứng dụng khác. Vì vậy, các hypervisor là một cách rất thực tế để có được những thứ ảo hóa một cách nhanh chóng và hiệu quả.

Hệ điều hành khách là các hệ điều hành đang chạy trên các máy ảo. Với công nghệ ảo hóa, bạn có thể thiết lập hypervisor để chia tài nguyên máy tính vật lý. Tài nguyên có thể được chia 50/50 hoặc 80/20 giữa hai hệ điều hành khách, ví dụ.

Vẻ đẹp của sự sắp xếp này là hypervisor làm tất cả những nâng nặng. Hệ điều hành khách không quan tâm rằng nó đang chạy trong một phân vùng ảo; nó nghĩ rằng nó có một máy tính tất cả cho chính nó.

Bạn thấy về cơ bản hai loại hypervisors:

• Type 1 hypervisors chạy trực tiếp trên nền tảng phần cứng. Họ đạt được hiệu suất cao hơn vì chúng đang chạy trực tiếp trên nền tảng.

• Các hypervisor loại 2 chạy trên hệ điều hành máy chủ lưu trữ. Chúng thường được sử dụng khi có nhu cầu để hỗ trợ một loạt các thiết bị I / O.

Tóm tắt và ảo hóa dữ liệu lớn

Đối với tài nguyên và dịch vụ CNTT được ảo hóa, chúng được tách ra khỏi môi trường phân phối vật lý bên dưới.Thuật ngữ cho hành động tách biệt này được gọi là trừu tượng. Tóm tắt là khái niệm quan trọng trong dữ liệu lớn. MapReduce và Hadoop là các môi trường máy tính được phân tán, nơi mọi thứ đều được trừu tượng. Các chi tiết được trừu tượng ra để các nhà phát triển hoặc nhà phân tích không cần phải được quan tâm đến nơi các yếu tố dữ liệu được đặt.

Tóm tắt thu nhỏ sự phức tạp của một cái gì đó bằng cách ẩn các chi tiết và chỉ cung cấp thông tin có liên quan. Ví dụ, nếu bạn định lấy một ai đó mà bạn chưa bao giờ gặp trước, anh ấy có thể cho bạn biết địa điểm để gặp anh ta, và anh ta sẽ mặc gì. Anh ta không cần phải nói cho bạn nơi anh ta sinh ra, anh ta có bao nhiêu tiền trong ngân hàng, ngày sinh của anh ta, vân vân.

Đó là ý tưởng trừu tượng - đó là cung cấp một đặc điểm kỹ thuật cấp cao hơn là đi sâu vào nhiều chi tiết về cách hoạt động của một cái gì đó.

Thực hiện ảo hóa để làm việc với dữ liệu lớn

Ảo hóa giúp làm cho môi trường CNTT của bạn đủ thông minh để xử lý phân tích dữ liệu lớn. Bằng cách tối ưu hóa tất cả các thành phần của cơ sở hạ tầng của bạn, bao gồm phần cứng, phần mềm và bộ nhớ, bạn sẽ đạt được hiệu suất cần thiết để xử lý và quản lý khối lượng lớn dữ liệu có cấu trúc và không có cấu trúc. Với dữ liệu lớn, bạn cần phải truy cập, quản lý và phân tích dữ liệu có cấu trúc và không có cấu trúc trong một môi trường phân tán.

Dữ liệu lớn giả định sự phân bố. Trên thực tế, bất kỳ loại MapReduce nào sẽ hoạt động tốt hơn trong môi trường ảo hóa. Bạn cần khả năng để di chuyển khối lượng công việc xung quanh dựa trên yêu cầu về sức mạnh tính toán và lưu trữ.

Ảo hóa sẽ cho phép bạn giải quyết những vấn đề lớn hơn chưa được xác định. Bạn có thể không biết trước một cách nhanh chóng bạn sẽ cần phải quy mô.

Ảo hóa sẽ cho phép bạn hỗ trợ nhiều cửa hàng dữ liệu hoạt động lớn. Ví dụ, một cơ sở dữ liệu đồ thị có thể được tách thành một hình ảnh.

Lợi ích trực tiếp nhất từ ​​ảo hóa là đảm bảo động cơ MapReduce hoạt động tốt hơn. Ảo hóa sẽ dẫn đến quy mô và hiệu suất tốt hơn cho MapReduce. Mỗi một trong số các Map và Giảm nhiệm vụ cần phải được thực hiện độc lập. Nếu công cụ MapReduce được song song hóa và được cấu hình để chạy trong môi trường ảo, bạn có thể giảm chi phí quản lý và cho phép mở rộng và thu hẹp trong khối lượng công việc nhiệm vụ.

Bản thân MapReduce vốn đã song song và phân phối. Bằng cách đóng gói công cụ MapReduce trong một vùng chứa ảo, bạn có thể chạy những gì bạn cần bất cứ khi nào bạn cần. Với ảo hóa, bạn tăng khả năng sử dụng tài sản bạn đã thanh toán bằng cách biến chúng thành các nguồn tài nguyên thông thường.