Làm thế nào để tối ưu hóa công việc MapReduce - những con dao

Bên cạnh tối ưu hóa mã ứng dụng thực tế với MapReduce cho các dự án dữ liệu lớn, bạn có thể sử dụng tối ưu hóa các kỹ thuật để nâng cao độ tin cậy và hiệu suất. Chúng được chia thành ba loại: phần cứng / topo mạng, đồng bộ hóa, và hệ thống tập tin.

Phần cứng dữ liệu lớn / topo mạng

Không phụ thuộc vào ứng dụng, phần cứng và mạng nhanh nhất có thể sẽ mang lại thời gian chạy nhanh nhất cho phần mềm của bạn. Một lợi thế khác biệt của MapReduce là khả năng chạy trên các nhóm không tốn kém của phần cứng hàng hóa và các mạng tiêu chuẩn. Nếu bạn không chú ý đến nơi các máy chủ của bạn được tổ chức thực tế, bạn sẽ không nhận được hiệu suất tốt nhất và mức độ chịu lỗi cao cần thiết để hỗ trợ các tác vụ dữ liệu lớn.

Phần cứng hàng hóa thường được lưu trữ trong kệ ở trung tâm dữ liệu. Sự gần gũi của phần cứng trong giá đỡ mang lại một lợi thế về hiệu suất như trái ngược với việc di chuyển dữ liệu và / hoặc mã từ giá thành giá đỡ. Trong quá trình triển khai, bạn có thể cấu hình công cụ MapReduce của mình để nhận thức và tận dụng khoảng cách này.

Giữ dữ liệu và mã với nhau là một trong những tối ưu hóa tốt nhất cho hiệu suất MapReduce. Về bản chất, các yếu tố xử lý phần cứng gần hơn với nhau, độ trễ ít hơn bạn sẽ phải giải quyết.

Vì nó không hiệu quả để giữ tất cả các kết quả của việc lập bản đồ trong nút, các cơ chế đồng bộ sao chép các kết quả ánh xạ đến các nút giảm ngay sau khi chúng đã hoàn thành để chế biến có thể bắt đầu ngay lập tức. Tất cả các giá trị từ cùng một phím được gửi đến cùng một bộ giảm tốc, một lần nữa đảm bảo hiệu suất cao hơn và hiệu quả tốt hơn.

Kết quả giảm được viết trực tiếp vào hệ thống tập tin, vì vậy nó phải được thiết kế và điều chỉnh để có kết quả tốt nhất.

Hệ thống tệp dữ liệu lớn

Việc triển khai MapReduce của bạn được hỗ trợ bởi hệ thống tệp phân tán. Sự khác biệt lớn giữa các hệ thống tập tin cục bộ và phân tán là dung lượng. Để xử lý một lượng lớn thông tin trong một thế giới dữ liệu lớn, các hệ thống tập tin cần phải được lan truyền trên nhiều máy hoặc các nút trong mạng.

Việc triển khai MapReduce dựa trên kiểu phân phối nô lệ-nô lệ, nơi mà nút chính lưu trữ tất cả các siêu dữ liệu, quyền truy cập, lập bản đồ và vị trí của các tệp và các khối, v.v … Nô lệ là các nút, nơi dữ liệu thực tế được lưu trữ. Tất cả các yêu cầu đi đến chủ và sau đó được xử lý bởi nút nô lệ thích hợp.Khi bạn quan sát thiết kế của hệ thống tập tin, bạn nên xem xét các điều sau:

Giữ ấm:

• Như bạn mong đợi, nút chính có thể bị làm việc quá sức bởi vì mọi thứ bắt đầu ở đó. Ngoài ra, nếu nút chính thất bại, toàn bộ hệ thống tệp tin sẽ không thể truy cập được cho đến khi chủ nhân được khôi phục. Tối ưu hóa rất quan trọng là tạo ra một nút chủ "ấm ấm", có thể nhảy vào dịch vụ nếu có vấn đề xảy ra với chủ nhân trực tuyến. càng lớn càng tốt:

• Kích thước tệp cũng là một sự cân nhắc quan trọng. Rất nhiều tệp nhỏ (ít hơn 100MB) nên tránh. Các hệ thống tập tin phân tán hỗ trợ các công cụ MapReduce hoạt động tốt nhất khi chúng được phổ biến với một số lượng lớn các tệp tin. Chế độ xem dài:

• Do khối lượng công việc được quản lý theo lô, băng thông mạng bền vững cao quan trọng hơn thời gian thực hiện nhanh của người lập bản đồ hoặc bộ phận giảm tốc. Cách tiếp cận tối ưu là cho mã để truyền nhiều dữ liệu khi nó đọc và một lần nữa khi đó là thời gian để ghi vào hệ thống tập tin. Giữ nó an toàn:

• Nhưng không quá quá. Thêm các lớp bảo mật trên hệ thống tập tin phân phối sẽ làm suy giảm hiệu suất của nó. Các quyền truy cập tệp tin có để bảo vệ chống lại những hậu quả không mong đợi, chứ không phải hành vi nguy hiểm. Cách tiếp cận tốt nhất là đảm bảo rằng chỉ những người dùng được ủy quyền mới có quyền truy cập vào môi trường trung tâm dữ liệu và để giữ cho hệ thống tệp tin được phân phối khỏi bên ngoài.