Mục lục:
- Với sự phát triển của công nghệ máy tính, bây giờ có thể quản lý lượng dữ liệu khổng lồ. Giá các hệ thống đã giảm, và kết quả là, các kỹ thuật mới cho máy tính phân tán là chủ đạo. Sự đột phá thực sự xảy ra khi các công ty như Yahoo! , Google và Facebook đã nhận ra rằng họ cần được giúp đỡ trong việc kiếm tiền từ những lượng dữ liệu khổng lồ mà họ tạo ra.
Video: Shyam Sankar: The rise of human-computer cooperation 2025
Kiến trúc dữ liệu lớn của bạn cũng cần phải thực hiện cùng với cơ sở hạ tầng hỗ trợ của tổ chức bạn. Ví dụ, bạn có thể quan tâm đến các mô hình đang chạy để xác định liệu có an toàn khi khoan dầu ở khu vực ngoài khơi với dữ liệu thời gian thực về nhiệt độ, độ mặn, resuspension trầm tích và một loạt các đặc tính sinh học, hóa học và vật lý khác cột nước.
Có thể mất vài ngày để chạy mô hình này bằng cách sử dụng cấu hình máy chủ truyền thống. Tuy nhiên, bằng cách sử dụng một mô hình tính toán phân tán, những gì mất nhiều ngày có thể mất phút.
Hiệu suất cũng có thể xác định loại cơ sở dữ liệu bạn sẽ sử dụng. Ví dụ, trong một số trường hợp, bạn có thể muốn hiểu hai yếu tố dữ liệu rất riêng biệt có liên quan như thế nào. Mối quan hệ giữa buzz trên mạng xã hội và sự tăng trưởng trong doanh thu là gì? Đây không phải là truy vấn thông thường mà bạn có thể hỏi về cơ sở dữ liệu có cấu trúc và quan hệ.
Một cơ sở dữ liệu đồ thị có thể là một sự lựa chọn tốt hơn vì nó được thiết kế đặc biệt để tách "nút" hoặc các thực thể khỏi "thuộc tính" của nó hoặc thông tin định nghĩa thực thể đó, và "cạnh" hoặc mối quan hệ giữa các nút và thuộc tính. Sử dụng đúng cơ sở dữ liệu cũng sẽ cải thiện hiệu suất. Thông thường cơ sở dữ liệu đồ thị sẽ được sử dụng trong các ứng dụng khoa học và kỹ thuật.
Tổ chức các dịch vụ và công cụ dữ liệu lớnNgay cả khi các công ty có thể nắm bắt dữ liệu, họ không có các công cụ để làm bất cứ điều gì về nó. Rất ít công cụ có thể hiểu được những lượng dữ liệu khổng lồ này. Các công cụ đã tồn tại rất phức tạp để sử dụng và không tạo ra kết quả trong một khoảng thời gian hợp lý.
Cuối cùng, những người thực sự muốn đi đến những nỗ lực rất lớn của việc phân tích dữ liệu này đã buộc phải làm việc với bức ảnh chụp nhanh.Điều này có tác dụng không mong muốn của việc thiếu các sự kiện quan trọng bởi vì chúng không có trong một bản chụp cụ thể.
MapReduce, Hadoop và Big Table cho dữ liệu lớn
Với sự phát triển của công nghệ máy tính, bây giờ có thể quản lý lượng dữ liệu khổng lồ. Giá các hệ thống đã giảm, và kết quả là, các kỹ thuật mới cho máy tính phân tán là chủ đạo. Sự đột phá thực sự xảy ra khi các công ty như Yahoo!, Google và Facebook đã nhận ra rằng họ cần được giúp đỡ trong việc kiếm tiền từ những lượng dữ liệu khổng lồ mà họ tạo ra.
Những công ty mới nổi này cần tìm ra các công nghệ mới cho phép họ lưu trữ, truy cập và phân tích số lượng lớn dữ liệu trong thời gian gần như thật để họ có thể kiếm tiền từ lợi ích của việc sở hữu nhiều dữ liệu này về những người tham gia trong mạng của họ.
Các giải pháp kết quả của họ đang chuyển đổi thị trường quản lý dữ liệu. Đặc biệt, sự đổi mới MapReduce, Hadoop và Big Table đã chứng tỏ là những tia lửa dẫn tới một thế hệ quản lý dữ liệu mới. Những công nghệ này giải quyết một trong những vấn đề cơ bản nhất - khả năng xử lý lượng dữ liệu khổng lồ một cách hiệu quả, tiết kiệm chi phí và kịp thời.
MapReduce
MapReduce được thiết kế bởi Google như một cách để thực hiện có hiệu quả một tập hợp các chức năng đối với một lượng lớn dữ liệu ở chế độ lô. Thành phần "bản đồ" phân phối các vấn đề lập trình hoặc các nhiệm vụ trên một số lượng lớn các hệ thống và xử lý các vị trí của các nhiệm vụ. Nó cũng cân bằng tải và quản lý sự phục hồi thất bại. Một chức năng gọi là "giảm" tổng hợp tất cả các yếu tố lại với nhau để cung cấp một kết quả.
Big Table
Big Table được Google phát triển thành một hệ thống lưu trữ phân phối nhằm quản lý dữ liệu có cấu trúc có khả năng mở rộng cao. Dữ liệu được tổ chức thành các bảng có các hàng và cột. Không giống như một mô hình cơ sở dữ liệu quan hệ truyền thống, Big Table là một bản đồ phân bố đa chiều, phân tán, dai dẳng. Nó được dự định để lưu trữ khối lượng lớn dữ liệu trên các máy chủ hàng hóa.
Hadoop
Hadoop là một khung phần mềm được quản lý bởi Apache có nguồn gốc từ MapReduce và Big Table. Hadoop cho phép các ứng dụng dựa trên MapReduce chạy trên các nhóm lớn các phần cứng hàng hóa. Dự án là nền tảng cho kiến trúc máy tính hỗ trợ Yahoo! kinh doanh. Hadoop được thiết kế để parallelize xử lý dữ liệu trên các nút máy tính để tăng tốc độ tính toán và ẩn độ trễ.
Hai thành phần chính của Hadoop tồn tại: một hệ thống tập tin phân tán rộng rãi có thể hỗ trợ petabyte dữ liệu và một công cụ MapReduce có khả năng mở rộng rất lớn tính kết quả theo lô.
