Video: Bàn cà phê bê tông cốt sợi GFRC - SCONCRETE 2025
YARN, đối với những người vừa đến bên này, là viết tắt của Yet Another Resource Negotiator, một công cụ cho phép các khung xử lý dữ liệu khác chạy trên Hadoop. Vinh quang của YARN là nó trình bày Hadoop với một giải pháp tao nhã cho một số thách thức lâu đời.
YARN có nghĩa là cung cấp quy trình làm việc hiệu quả hơn và linh hoạt hơn cũng như là một cơ chế quản lý tài nguyên, cả hai sẽ cho phép Hadoop chạy nhiều hơn công việc của MapReduce.
Không có gì thay đổi ở đây với sự dịch chuyển từ MapReduce sang YARN - HDFS vẫn là lớp lưu trữ cho Hadoop.
-
Khái niệm chính yếu trong việc chuyển sang sợi từ Hadoop 1 là tách quản lý tài nguyên khỏi quá trình xử lý dữ liệu. Điều này cho phép YARN cung cấp tài nguyên cho bất kỳ khung xử lý nào được viết cho Hadoop, bao gồm MapReduce.
Khung chế biến: -
Bởi vì YARN là cơ sở quản lý tài nguyên chung, nó có thể phân bổ các tài nguyên cụm cho bất kỳ khung xử lý dữ liệu nào được viết cho Hadoop. Khung chế biến sau đó xử lý các vấn đề thời gian chạy ứng dụng.
-
Để duy trì khả năng tương thích cho tất cả các mã đã được phát triển cho Hadoop 1, MapReduce phục vụ như là khuôn khổ đầu tiên có sẵn để sử dụng trên YARN. Vào thời điểm viết bài này, dự án Apache Tez là một dự án vườn ươm trong quá trình phát triển như một khuôn khổ khác để thực hiện các ứng dụng Lợn và Hive. Tez có thể sẽ xuất hiện như một cấu hình chuẩn Hadoop. Giao diện lập trình ứng dụng (API):
Với sự hỗ trợ cho các khuôn khổ xử lý bổ sung, sẽ hỗ trợ các API bổ sung. Vào thời điểm của bài viết này, Hoya (để chạy HBase trên sợi dây), Apache Giraph (để xử lý đồ thị), Open MPI (cho tin nhắn đi qua các hệ thống song song), Apache Storm (cho chế biến luồng dữ liệu) đang trong quá trình phát triển.
