Sự xuất xứ và Thiết kế của Hadoop - núm vú

Vậy là Hadoop là gì? phần cứng máy tính hàng ngày - giá cả phải chăng và dễ sử dụng - và chạy các ứng dụng chống lại dữ liệu đó cụm là một nhóm các máy tính kết nối (gọi là nút có thể làm việc cùng nhau trên cùng một vấn đề

Sử dụng mạng lưới các nguồn lực tính toán hợp lý để đạt được hiểu biết về kinh doanh là giá trị then chốt của Hadoop.

Về tên đó, Hadoop, không tìm kiếm bất kỳ ý nghĩa quan trọng ở đó, nó chỉ đơn giản là cái tên mà con trai của Doug Cutting cho con voi nhồi (Doug Cutting, đương nhiên là đồng tác giả của Hadoop). Tên thật độc đáo và dễ nhớ - các đặc điểm đã làm cho nó trở thành sự lựa chọn tuyệt vời

Hadoop bao gồm hai thành phần chính: một khuôn khổ chế biến phân tán có tên là MapReduce (được hỗ trợ bởi một thành phần được gọi là YARN) và một hệ thống tệp phân phối được gọi là hệ thống tệp phân phối Hadoop hoặc HDFS.

Một ứng dụng đang chạy trên Hadoop được công việc phân chia giữa các nút (máy) trong cụm và HDFS lưu trữ dữ liệu sẽ được xử lý. Một cụm Hadoop có thể mở rộng hàng nghìn máy, nơi mà các dữ liệu HDFS lưu trữ và các công việc của MapReduce xử lý chúng gần với dữ liệu, làm cho chi phí I / O thấp. MapReduce rất linh hoạt, và cho phép phát triển một loạt các ứng dụng.

Như bạn có thể đã đoán, một cụm Hadoop là một dạng của cụm máy tính

,

một loại cụm được sử dụng chủ yếu cho các mục đích tính toán. Trong một cụm tính toán, nhiều máy tính ( tính các nút ) có thể chia sẻ khối lượng công việc tính toán và tận dụng băng thông tổng hợp rất lớn trên toàn bộ cụm. Các nhóm Hadoop thường gồm một vài nút chủ, kiểm soát hệ thống lưu trữ và chế biến trong Hadoop và nhiều nút nô lệ lưu trữ tất cả dữ liệu của cụm và cũng ở đó dữ liệu được xử lý.