Tránh các bẫy mẫu và bẫy rò rỉ trong máy học - núm vú

Cách tiếp cận xác nhận để học máy là một sự kiểm tra của một biện pháp khắc phục có thể để xu hướng lấy mẫu trong. Xu hướng lấy mẫu trong mẫu có thể xảy ra với dữ liệu của bạn trước khi việc học máy được đưa vào hoạt động và nó gây ra sự khác biệt lớn về các ước tính sau. Ngoài ra, bạn cần phải nhận thức được các bẫy rò rỉ có thể xảy ra khi một số thông tin từ mẫu không vượt qua đối với dữ liệu trong mẫu. Vấn đề này có thể xuất hiện khi bạn chuẩn bị dữ liệu hoặc sau khi mô hình máy học của bạn đã sẵn sàng và hoạt động.

Phương pháp khắc phục được gọi là sự kết hợp của các dự đoán, hoạt động hoàn hảo khi mẫu huấn luyện của bạn không bị méo và phân phối khác với mẫu như khi tất cả các lớp học của bạn có mặt nhưng không đúng tỷ lệ (như một ví dụ). Trong những trường hợp như vậy, kết quả của bạn bị ảnh hưởng bởi một sự khác biệt nào đó của các ước tính mà bạn có thể ổn định bằng một số cách: bằng cách lấy mẫu lại, như trong khởi động; bằng cách lấy mẫu (lấy một mẫu của mẫu); hoặc bằng cách sử dụng các mẫu nhỏ hơn (làm tăng sự thiên vị).

Để hiểu cách thức hoạt động của ensembling hiệu quả, hãy hình dung hình ảnh con bò đực. Nếu mẫu của bạn ảnh hưởng đến dự đoán, một số dự đoán sẽ chính xác và những người khác sẽ sai theo cách ngẫu nhiên. Nếu bạn thay đổi mẫu, các dự đoán đúng sẽ tiếp tục đúng, nhưng những sai lầm sẽ bắt đầu là các biến thể giữa các giá trị khác nhau. Một số giá trị sẽ là dự đoán chính xác mà bạn đang tìm kiếm; những người khác sẽ chỉ dao động quanh một bên phải.

Bằng cách so sánh các kết quả, bạn có thể đoán rằng những gì lặp lại là câu trả lời đúng. Bạn cũng có thể lấy trung bình các câu trả lời và đoán rằng câu trả lời đúng phải nằm ở giữa các giá trị. Với trò chơi bull-eye, bạn có thể hình dung các bức ảnh của các trò chơi khác nhau: Nếu vấn đề là sai, cuối cùng bạn sẽ đoán rằng mục tiêu nằm ở khu vực bị ảnh hưởng nhiều nhất hoặc ít nhất là ở trung tâm của tất cả các bức ảnh.

Trong hầu hết các trường hợp, cách tiếp cận này chứng minh là chính xác và cải thiện quá trình học của bạn rất nhiều. Khi vấn đề của bạn là thiên vị và không sai, việc sử dụng ensembling thực sự không gây hại cho đến khi bạn lấy mẫu quá ít. Một nguyên tắc nhỏ cho việc lấy mẫu phụ là lấy một mẫu từ 70 đến 90 phần trăm so với dữ liệu ban đầu trong mẫu. Nếu bạn muốn thực hiện công việc lắp ráp, bạn nên làm như sau:

• Lặp đi lặp lại nhiều lần qua dữ liệu và mô hình của bạn (từ tối thiểu ba lần lặp đến hàng trăm lần).
• Mỗi lần bạn lặp, hãy lấy mẫu (hoặc người nào khác khởi động) dữ liệu trong mẫu của bạn.
• Sử dụng máy học tập cho mô hình trên dữ liệu được lấy mẫu lại và dự đoán các kết quả ngoài kết quả. Lưu lại những kết quả đó để sử dụng sau này.
• Vào cuối các lần lặp lại, đối với mỗi trường hợp ngoại lệ mà bạn muốn tiên đoán, hãy dự đoán tất cả và ước tính họ nếu bạn đang hồi phục. Lấy lớp thường xuyên nhất nếu bạn đang phân loại.

Bẫy rò rỉ có thể làm bạn ngạc nhiên vì chúng có thể chứng minh là một nguồn gốc không rõ và không bị phát hiện của các vấn đề với quy trình học máy của bạn. Vấn đề là snooping, hoặc nếu không quan sát dữ liệu ngoài mẫu và quá thích nó thường xuyên. Nói tóm lại, snooping là một kiểu overfitting - chứ không chỉ là dữ liệu huấn luyện mà cả dữ liệu thử nghiệm, khiến cho vấn đề overfitting trở nên khó phát hiện hơn cho đến khi bạn có được dữ liệu mới.

Thông thường, bạn nhận ra rằng vấn đề đang trộm khi bạn đã áp dụng thuật toán học máy cho doanh nghiệp của bạn hoặc cho một dịch vụ cho công chúng, làm cho vấn đề trở thành một vấn đề mà mọi người có thể nhìn thấy.

Bạn có thể tránh snooping theo hai cách. Thứ nhất, khi vận hành vào dữ liệu, hãy cẩn thận để đào tạo, xác nhận và kiểm tra dữ liệu một cách riêng rẽ. Ngoài ra, khi xử lý, không bao giờ lấy bất kỳ thông tin nào từ xác nhận hay thử nghiệm, ngay cả những ví dụ đơn giản nhất và vô tội. Tệ hơn nữa là áp dụng một phép biến đổi phức tạp bằng cách sử dụng tất cả các dữ liệu. Ví dụ, trong lĩnh vực tài chính, tính toán trung bình và độ lệch chuẩn (có thể nói cho bạn biết rất nhiều về điều kiện thị trường và rủi ro) từ tất cả các dữ liệu đào tạo và thử nghiệm có thể làm rò rỉ thông tin quý giá về mô hình của bạn. Khi rò rỉ xảy ra, thuật toán học máy thực hiện các dự đoán trên bộ kiểm tra chứ không phải là dữ liệu ngoài mẫu của thị trường, có nghĩa là chúng không làm việc gì cả, do đó gây mất tiền.

Kiểm tra hiệu suất của các ví dụ ngoài mẫu của bạn Trong thực tế, bạn có thể mang lại một số thông tin từ việc snooping của bạn về kết quả kiểm tra để giúp bạn xác định một số thông số tốt hơn các kết quả khác hoặc dẫn bạn chọn một thuật toán học máy thay vì một thuật toán khác. Đối với mỗi mô hình hoặc tham số, hãy áp dụng lựa chọn của bạn dựa trên kết quả chẩn đoán chéo hoặc từ mẫu xác nhận. Không bao giờ bỏ qua việc lấy quà từ dữ liệu ngoài mẫu của bạn hoặc bạn sẽ hối tiếc về sau.