Video: (VTC14)_Phương pháp mới giảm đau cho bệnh nhân ung thư 2025
Giai đoạn giảm tốc xử lý chìa khóa và các danh sách riêng của họ về các giá trị sao cho những gì thường được trả về ứng dụng khách hàng là một tập các cặp khóa / giá trị. Đây là thổi bay cho đến nay: Một bộ dữ liệu lớn đã được chia thành các phần nhỏ hơn, được gọi là đầu vào chia tách, và từng cá thể của các tác vụ lập bản đồ đã xử lý mỗi một trong số chúng.
Trong một số trường hợp, giai đoạn xử lý đơn này là tất cả những gì cần thiết để tạo ra sản lượng ứng dụng mong muốn. Ví dụ: nếu bạn đang chạy một thao tác chuyển đổi cơ bản trên dữ liệu - chuyển đổi toàn bộ văn bản sang chữ hoa, hoặc giải nén các khung hình chính từ các tệp video - giai đoạn duy nhất là tất cả những gì bạn cần. (Nhân vật này được gọi là công việc chỉ có bản đồ >
Nhưng trong nhiều trường hợp khác, công việc chỉ được thực hiện một nửa khi các tác nhân lập bản đồ đã viết kết quả của họ. Nhiệm vụ còn lại là đun sôi tất cả các kết quả tạm thời thành một câu trả lời thống nhất duy nhất.
Tương tự với nhiệm vụ lập bản đồ, từng xử lý từng bản ghi một, mỗi bộ xử lý sẽ giảm thiểu từng khóa. Thông thường, bộ giảm tốc trả về một cặp khóa / giá trị cho mỗi khóa mà nó xử lý. Tuy nhiên, những cặp khóa / giá trị này có thể mở rộng hoặc nhỏ như bạn cần.
Khi nhiệm vụ giảm thiểu kết thúc, mỗi người trong số họ trả về một tập tin kết quả và lưu trữ nó trong HDFS (Hadoop Distributed File System). Như được hiển thị ở đây, hệ thống HDFS sau đó tự động sao chép lại các kết quả này.
Trường hợp Resource Manager (hoặc JobTracker nếu bạn đang sử dụng Hadoop 1) cố gắng hết sức để gán các tài nguyên cho các tác vụ lập bản đồ để đảm bảo rằng các đầu vào chia tách được xử lý cục bộ, không có chiến lược nào cho các tác vụ giảm tốc. Giả sử các tập kết quả nhiệm vụ mapper cần được truyền qua mạng để được xử lý bởi các tác vụ giảm tốc.
Đây là một sự thực hiện hợp lý bởi vì, với hàng trăm hoặc thậm chí hàng ngàn nhiệm vụ lập bản đồ, sẽ không có cách thiết thực nào đối với các tác nhân giảm thiểu có cùng mức độ ưu tiên cho địa phương.
