Video: [HD] Livestream 1 - Trở thành Phi công...bắt đầu từ đâu? 2025
Trong một thế giới hoàn hảo, bạn có thể thực hiện một bài kiểm tra về dữ liệu mà thuật toán học máy của bạn chưa bao giờ học được từ trước. Tuy nhiên, chờ đợi dữ liệu mới không phải lúc nào cũng khả thi về mặt thời gian và chi phí.
Như một biện pháp khắc phục đơn giản đầu tiên, bạn có thể chia ngẫu nhiên dữ liệu của bạn thành tập huấn luyện và bộ kiểm tra. Sự phân chia thông thường là từ 25 đến 30 phần trăm cho thử nghiệm và 75 đến 70 phần trăm còn lại cho đào tạo. Bạn chia nhỏ dữ liệu của mình bao gồm phản ứng và các tính năng của bạn cùng lúc, giữ sự tương ứng giữa mỗi phản hồi và các tính năng của nó.
Phương pháp thứ hai xảy ra khi bạn cần điều chỉnh thuật toán học tập của bạn. Trong trường hợp này, dữ liệu chia tách thử nghiệm không phải là một thực hành tốt bởi vì nó gây ra một kiểu overfitting khác được gọi là snooping. Để khắc phục snooping, bạn cần một phân chia thứ ba, được gọi là bộ xác nhận hợp lệ. Phân chia được đề xuất là để các ví dụ của bạn được phân chia thành phần ba: 70 phần trăm cho đào tạo, 20 phần trăm cho xác nhận và 10 phần trăm cho thử nghiệm.
Bạn nên thực hiện phân chia ngẫu nhiên, tức là, bất kể thứ tự ban đầu của dữ liệu. Nếu không, kiểm tra của bạn sẽ không đáng tin cậy, vì đặt hàng có thể gây ra đánh giá quá mức (khi có một số đặt hàng có ý nghĩa) hoặc đánh giá thấp (khi phân phối khác quá nhiều). Như một giải pháp, bạn phải đảm bảo rằng sự phân bố tập kiểm tra không phải là rất khác nhau so với phân phối đào tạo, và thứ tự sắp đặt xảy ra trong dữ liệu chia nhỏ.
Ví dụ: kiểm tra xem số nhận dạng (nếu có) có liên tục trong bộ của bạn không. Đôi khi, ngay cả khi bạn thực sự tuân thủ việc lấy mẫu ngẫu nhiên, bạn không thể luôn luôn có được sự phân bố tương tự giữa các bộ, đặc biệt là khi số lượng ví dụ của bạn là nhỏ.
Khi số ví dụ của bạn n cao, chẳng hạn như n> 10, 000, bạn có thể khá tự tin tạo ra một bộ dữ liệu ngẫu nhiên chia tách. Khi bộ dữ liệu nhỏ hơn, so sánh các số liệu thống kê cơ bản như trung bình, chế độ, trung bình, và sai lệch giữa phản hồi và các tính năng trong tập huấn luyện và kiểm tra sẽ giúp bạn hiểu liệu bộ test có không phù hợp không. Khi bạn không chắc chắn rằng việc chia tách là đúng, chỉ cần tính lại một kết quả mới.
