Máy Học với Mahout trong Hadoop - núm vú

Học máy đề cập đến một chi nhánh của các kỹ thuật trí tuệ nhân tạo cung cấp công cụ cho phép các máy tính cải thiện phân tích dựa trên các sự kiện trước đó. Những hệ thống máy tính này tận dụng dữ liệu lịch sử từ các nỗ lực trước đó để giải quyết một nhiệm vụ để cải thiện hiệu suất của các nỗ lực tương lai trong các nhiệm vụ tương tự.

Về kết quả dự kiến, học máy có thể nghe giống như thuật ngữ "khai phá dữ liệu" khác; tuy nhiên, trước đây tập trung vào dự đoán thông qua việc phân tích dữ liệu huấn luyện chuẩn bị , dữ liệu sau đó quan tâm đến việc khám phá kiến ​​thức từ dữ liệu chưa xử lý chưa được xử lý. Vì lý do này, học máy phụ thuộc rất nhiều vào kỹ thuật mô hình hóa thống kê và rút ra từ các lĩnh vực lý thuyết xác suất và nhận dạng mẫu. Mahout là một dự án nguồn mở từ Apache, cung cấp các thư viện Java cho các thuật toán học phân tán hoặc có thể mở rộng khác. Các thuật toán này bao gồm các tác vụ học tập cổ điển như phân loại, phân cụm, phân tích quy tắc kết hợp và các đề xuất. Mặc dù các thư viện Mahout được thiết kế để làm việc trong một ngữ cảnh Apache Hadoop, chúng cũng tương thích với bất kỳ hệ thống nào hỗ trợ khuôn khổ MapReduce. Ví dụ: Mahout cung cấp các thư viện Java cho các bộ sưu tập Java và các phép toán toán phổ biến (đại số tuyến tính và thống kê) có thể được sử dụng mà không có Hadoop.

Như bạn thấy, các thư viện Mahout được thực hiện trong Java MapReduce và chạy trên cụm của bạn như là các bộ sưu tập các công việc MapReduce trên một trong hai sợi (với MapReduce v2) hoặc MapReduce v1.

Mahout là một dự án đang phát triển với nhiều người đóng góp. Đến thời điểm của bài viết này, bộ sưu tập các thuật toán có sẵn trong các thư viện Mahout là không hoàn toàn; tuy nhiên, việc thu thập các thuật toán được thực hiện để sử dụng tiếp tục mở rộng theo thời gian.

Có ba loại thuật toán Mahout chính để hỗ trợ phân tích thống kê: cộng hợp lọc, nhóm và phân loại.

Lọc cộng tác

Mahout được thiết kế đặc biệt để phục vụ như một công cụ đề xuất, sử dụng thuật toán

hợp tác lọc. Mahout kết hợp sự giàu có của các thuật toán phân cụm và phân loại theo ý của nó để đưa ra các khuyến nghị chính xác hơn dựa trên dữ liệu đầu vào.

Các đề xuất này thường được áp dụng với sở thích của người dùng, có tính đến hành vi của người dùng. Bằng cách so sánh các lựa chọn trước đó của người dùng, có thể xác định những người hàng xóm gần nhất (những người có cùng lịch sử về quyết định) cho người dùng đó và dự đoán lựa chọn trong tương lai dựa trên hành vi của những người hàng xóm.

Xem công cụ "hương vị" như Netflix - một công cụ đề xuất các xếp hạng dựa trên các thói quen ghi lại và xem trước của người dùng. Trong ví dụ này, các mẫu hành vi cho người dùng được so sánh với lịch sử của người dùng và xu hướng của những người dùng có cùng sở thích thuộc cùng một cộng đồng Netflix để tạo ra một đề xuất cho nội dung chưa được người dùng xem. Clustering Không giống như phương pháp học tập được giám sát cho tính năng của công cụ đề xuất của Mahout, việc phân nhóm là một hình thức

cách học không giám sát

- nơi các nhãn cho các điểm dữ liệu không được biết đến trước và phải được suy ra từ dữ liệu không có đầu vào của con người (

giám sát

một phần). Nói chung, các đối tượng trong một cluster phải giống nhau; các đối tượng từ các cụm khác nhau nên không giống nhau. Các quyết định được thực hiện trước thời hạn về số lượng các cụm để tạo ra, các tiêu chí để đo "tương tự" và sự đại diện của các đối tượng sẽ ảnh hưởng đến việc ghi nhãn được tạo ra bởi các thuật toán phân cụm. Ví dụ: công cụ phân cụm được cung cấp một danh sách các bài viết tin tức có thể xác định các cụm bài viết trong bộ sưu tập đó để thảo luận các chủ đề tương tự. Giả sử một tập các bài viết về Canada, Pháp, Trung Quốc, lâm nghiệp, dầu và rượu vang đã được nhóm lại. Nếu số lượng cụm tối đa được đặt thành 2, thuật toán của bạn có thể tạo ra các danh mục như "vùng" và "ngành công nghiệp. "Việc điều chỉnh số lượng các cụm sẽ tạo ra các phân loại khác nhau; ví dụ, chọn cho 3 cụm có thể dẫn đến việc nhóm theo cặp của các loại ngành công nghiệp quốc gia. Các phân loại

Các thuật toán phân loại sử dụng tập dữ liệu huấn luyện có dán nhãn con người, nơi phân loại và phân loại tất cả các đầu vào trong tương lai được quản lý bởi các nhãn đã biết này. Những nhà phân loại này thực hiện cái được gọi là

học có giám sát

trong thế giới máy học tập.

Quy tắc phân loại - được xác định bởi dữ liệu huấn luyện, được các chuyên gia tên miền đặt trước trước thời gian - sau đó được áp dụng đối với dữ liệu thô, chưa xử lý để xác định rõ ràng nhãn hiệu thích hợp của chúng.

Các kỹ thuật này thường được sử dụng bởi các dịch vụ e-mail cố gắng phân loại e-mail rác trước khi chúng ta đi qua hộp thư đến của bạn. Cụ thể, đưa ra một e-mail chứa một tập các cụm từ được biết đến với nhau trong một lớp thư rác nhất định - được phân phối từ một địa chỉ thuộc botnet đã biết - thuật toán phân loại của bạn có thể xác định e-mail là độc hại một cách đáng tin cậy. Ngoài sự giàu có của thuật toán thống kê mà Mahout cung cấp nguồn gốc, một mô-đun hỗ trợ Các thuật toán xác định người dùng (UDA) cũng có sẵn. Người dùng có thể ghi đè lên các thuật toán hiện có hoặc thực hiện riêng của mình thông qua mô-đun UDA. Tùy biến mạnh mẽ này cho phép hiệu chỉnh hiệu suất các thuật toán Mahout tự nhiên và tính linh hoạt trong việc giải quyết những thách thức phân tích thống kê độc nhất.

Nếu Mahout có thể được xem như là một phần mở rộng phân tích thống kê cho Hadoop, nên UDA nên được xem như một sự mở rộng cho khả năng thống kê của Mahout.

Các ứng dụng phân tích thống kê truyền thống (như SAS, SPSS, và R) đi kèm với các công cụ mạnh mẽ để tạo các luồng công việc. Các ứng dụng này sử dụng các giao diện người dùng đồ họa trực quan cho phép hiển thị dữ liệu tốt hơn. Kịch bản Mahout theo một mô hình tương tự như các công cụ khác để tạo ra công việc phân tích thống kê.

Trong bước khám phá và xem dữ liệu cuối cùng, người dùng có thể xuất sang các định dạng có thể đọc được của con người (JSON, CSV) hoặc tận dụng các công cụ trực quan như Tableau Desktop. Kiến trúc của Mahout nằm trên đỉnh của nền tảng Hadoop. Hadoop giải phóng lập trình bằng cách tách riêng nhiệm vụ lập trình các công việc MapReduce từ sổ kế toán phức tạp cần thiết để quản lý song song giữa các hệ thống tệp phân tán. Cùng với tinh thần đó, Mahout cung cấp cho các lập trình viên các thuật toán thống kê phức tạp, sẵn sàng để triển khai với khung công tác Hadoop.