Tài liệu Các cơ sở dữ liệu trong môi trường dữ liệu lớn - núm vú

Bạn tìm thấy hai loại cơ sở dữ liệu tài liệu cho các dự án dữ liệu lớn. Một thường được mô tả như một kho lưu trữ nội dung theo phong cách tài liệu đầy đủ. Khác là cơ sở dữ liệu để lưu trữ các thành phần tài liệu để lưu trữ vĩnh viễn như một thực thể tĩnh hoặc để lắp động năng động của các bộ phận của một tài liệu. Cấu trúc của tài liệu và các phần của chúng được cung cấp bởi Đoạn đối tượng JavaScript (JSON) và / hoặc Binary JSON (BSON).

Tại cốt lõi của nó, JSON là một định dạng trao đổi dữ liệu, dựa trên một tập hợp con của ngôn ngữ lập trình JavaScript. Mặc dù một phần của một ngôn ngữ lập trình, nó có tính chất văn bản và rất dễ đọc và viết. Nó cũng có lợi thế là dễ dàng cho các máy tính để xử lý. Hai cấu trúc cơ bản tồn tại trong JSON, và chúng được hỗ trợ bởi nhiều ngôn ngữ lập trình hiện đại, nếu không muốn nói là tất cả.

Cấu trúc cơ bản đầu tiên là tập hợp các cặp tên / giá trị và chúng được trình bày theo chương trình như các đối tượng, các bản ghi, các danh sách khóa, và như vậy. Cấu trúc cơ bản thứ hai là một danh sách được sắp xếp các giá trị, và chúng được trình bày theo chương trình như các mảng, danh sách hoặc các chuỗi. BSON là một serialization nhị phân của cấu trúc JSON được thiết kế để tăng hiệu suất và khả năng mở rộng.

MongoDB cho dữ liệu lớn

MongoDB là tên dự án của hệ thống cơ sở dữ liệu "hu (mongo) us". Nó được duy trì bởi một công ty được gọi là 10gen như là nguồn mở và sẵn sàng tự do dưới GNU AGPL v3. 0 giấy phép. Giấy phép thương mại với sự hỗ trợ đầy đủ có từ 10gen.

MongoDB bao gồm các cơ sở dữ liệu chứa "bộ sưu tập. "Bộ sưu tập gồm có" tài liệu ", và mỗi tài liệu bao gồm các trường. Giống như trong cơ sở dữ liệu quan hệ, bạn có thể lập chỉ mục một bộ sưu tập.

Làm như vậy làm tăng hiệu suất của tra cứu dữ liệu. Không giống như các cơ sở dữ liệu khác, tuy nhiên, MongoDB trả về một cái gì đó gọi là "con trỏ", nó đóng vai trò như một con trỏ tới dữ liệu. Đây là một khả năng rất hữu ích vì nó cung cấp tùy chọn đếm hoặc phân loại dữ liệu mà không cần trích xuất nó. Natively, MongoDB hỗ trợ BSON, việc triển khai nhị phân các tài liệu JSON.

MongoDB cũng là một hệ sinh thái bao gồm các yếu tố sau:

Các dịch vụ có tính sẵn sàng cao và nhân rộng để mở rộng trên các mạng cục bộ và khu vực rộng.

• Hệ thống tệp dựa trên lưới, cho phép lưu trữ các đối tượng lớn bằng cách chia chúng giữa nhiều tài liệu.

• MapReduce để hỗ trợ phân tích và tập hợp các bộ sưu tập / tài liệu khác nhau.

• Dịch vụ phân chia một cơ sở dữ liệu duy nhất trên một nhóm các máy chủ trong một hoặc nhiều trung tâm dữ liệu. Dịch vụ này được điều khiển bởi một phím phân đoạn. Chìa khóa được sử dụng để phân phối các tài liệu thông minh qua nhiều trường hợp.

• Một dịch vụ truy vấn hỗ trợ truy vấn ngẫu nhiên, truy vấn phân tán và tìm kiếm toàn văn.

• Quản lý nội dung có độ tin cậy cao

Mạng xã hội

• Lưu trữ

• Phân tích thời gian thực

• CouchDB cho dữ liệu lớn

• Một cơ sở dữ liệu phi quan hệ khác nữa là CouchDB. Giống như MongoDB, CouchDB là mã nguồn mở. Nó được duy trì bởi Apache Software Foundation và được cung cấp dưới Giấy phép Apache v2. 0. Khác với MongoDB, CouchDB được thiết kế để bắt chước web dưới mọi khía cạnh.

Chẳng hạn như CouchDB có khả năng thích ứng với sự sụt giảm của mạng và sẽ tiếp tục hoạt động tốt ở những khu vực mà sự kết nối mạng không rõ ràng. Nó cũng ở nhà trên điện thoại thông minh hoặc trong một trung tâm dữ liệu. Điều này tất cả đi kèm với một vài thương mại. Do sự bắt chước web cơ bản, CouchDB có độ trễ cao dẫn tới sự ưu tiên lưu trữ dữ liệu cục bộ.

CouchDB không phù hợp với các cài đặt nhỏ hơn. Bạn phải xác định liệu những sự đánh đổi này có thể bị bỏ qua khi bạn bắt đầu triển khai dữ liệu lớn.

Cơ sở dữ liệu CouchDB bao gồm các tài liệu bao gồm các trường và các tệp đính kèm cũng như "mô tả" của tài liệu dưới dạng siêu dữ liệu được hệ thống tự động duy trì. Công nghệ cơ bản có tất cả các tính năng của ACID. Lợi thế trong CouchDB qua quan hệ là dữ liệu được đóng gói và sẵn sàng cho thao tác hoặc lưu trữ hơn là phân tán qua các hàng và bảng.

CouchDB cũng là một hệ sinh thái có các khả năng sau:

Sự đầm chặt:

Cơ sở dữ liệu được nén để loại bỏ không gian lãng phí khi đạt đến một mức độ trống rỗng nhất định. Điều này giúp hiệu suất và hiệu quả cho sự bền bỉ.

• Xem mô hình: Cơ chế lọc, tổ chức và báo cáo dữ liệu sử dụng một tập các định nghĩa được lưu trữ dưới dạng các tài liệu trong cơ sở dữ liệu. Bạn có thể tìm thấy mối quan hệ một-nhiều của cơ sở dữ liệu với các chế độ xem, do đó bạn có thể tạo nhiều cách khác nhau để đại diện cho dữ liệu bạn đã "cắt lát và thái hạt. "

• Dịch vụ nhân rộng và phân phối: Lưu trữ tài liệu được thiết kế để cung cấp sự sao chép hai chiều. Các bản sao một phần có thể được duy trì để hỗ trợ phân phối dựa trên tiêu chí hoặc chuyển sang các thiết bị có kết nối hạn chế. Nhân bản bản sao là peer dựa, nhưng bạn có thể thực hiện Master / Slave, Master / Master, và các loại phương thức nhân rộng.

• Việc triển khai CouchDB hiệu quả bao gồm Quản lý nội dung khối lượng cao

Quy mô từ điện thoại thông minh đến trung tâm dữ liệu

• Ứng dụng có kết nối mạng hạn chế hoặc chậm