Xác định các dữ liệu bị thiếu cho máy học - những con vú

Ngay cả khi bạn có đủ các ví dụ trong tay để đào tạo các thuật toán học máy đơn giản và phức tạp, họ phải trình bày các giá trị đầy đủ trong các tính năng, bất kỳ dữ liệu bị mất. Có một ví dụ không đầy đủ làm cho kết nối tất cả các tín hiệu trong và giữa các tính năng không thể. Thiếu các giá trị cũng gây khó khăn cho thuật toán học trong quá trình huấn luyện. Bạn phải làm điều gì đó về dữ liệu bị mất.

Thông thường, bạn có thể bỏ qua các giá trị còn thiếu hoặc sửa chữa chúng bằng cách đoán một giá trị thay thế có thể. Tuy nhiên, quá nhiều giá trị thiếu sẽ làm cho các dự đoán không chắc chắn hơn bởi vì thiếu thông tin có thể che giấu bất kỳ con số có thể; do đó, các giá trị thiếu trong các tính năng, càng có nhiều biến và không chính xác các dự đoán.

Bước đầu tiên, đếm số trường hợp bị thiếu trong mỗi biến. Khi một biến có quá nhiều trường hợp bị thiếu, bạn có thể cần phải bỏ nó khỏi tập dữ liệu huấn luyện và kiểm tra. Một nguyên tắc nhỏ là để thả một biến nếu hơn 90 phần trăm các trường hợp của nó bị thiếu.

Một số thuật toán học không biết làm thế nào để xử lý các giá trị thiếu và báo cáo lỗi trong cả hai giai đoạn đào tạo và thử nghiệm, trong khi các mô hình khác coi chúng như các giá trị bằng 0, làm cho một giá trị dự đoán hoặc xác suất thấp hơn nó giống như một phần của công thức không hoạt động bình thường). Do đó, bạn cần phải thay thế tất cả các giá trị còn thiếu trong ma trận dữ liệu với một số giá trị thích hợp cho việc học máy xảy ra đúng.

Có nhiều lý do để thiếu dữ liệu, nhưng điểm quan trọng là liệu dữ liệu có bị thiếu ngẫu nhiên hay theo thứ tự cụ thể không. Dữ liệu bị mất ngẫu nhiên là lý tưởng vì bạn có thể đoán giá trị của nó bằng cách sử dụng một thuật toán trung bình đơn giản, trung bình hoặc một máy khác, mà không có nhiều mối quan tâm. Một số trường hợp có một sự thiên vị mạnh mẽ đối với một số loại ví dụ.

Ví dụ, hãy nghĩ đến trường hợp nghiên cứu thu nhập của một dân số. Những người giàu có (có lý do về thuế) có khuynh hướng che giấu thu nhập thực của họ bằng cách báo cáo với bạn rằng họ không biết. Người nghèo, mặt khác, có thể nói rằng họ không muốn báo cáo thu nhập của họ vì sợ phán xét tiêu cực. Nếu bạn bỏ lỡ thông tin từ các tầng lớp nhất định của dân số, sửa chữa các dữ liệu bị mất có thể khó khăn và gây hiểu nhầm bởi vì bạn có thể nghĩ rằng các trường hợp như vậy giống như những người khác.

Thay vào đó, chúng khá khác biệt. Do đó, bạn không thể chỉ đơn giản sử dụng các giá trị trung bình để thay thế các giá trị bị thiếu - bạn phải sử dụng các phương pháp phức tạp và điều chỉnh chúng một cách cẩn thận.Hơn nữa, xác định các trường hợp không thiếu dữ liệu ngẫu nhiên là rất khó bởi vì nó đòi hỏi phải kiểm tra chặt chẽ hơn về các giá trị bị thiếu liên quan đến các biến khác trong tập dữ liệu như thế nào.

Khi dữ liệu bị mất một cách ngẫu nhiên, bạn có thể dễ dàng sửa chữa các giá trị rỗng bởi vì bạn nhận được gợi ý về giá trị thực của chúng từ các biến khác. Khi dữ liệu không bị thiếu một cách ngẫu nhiên, bạn không thể nhận được gợi ý tốt từ các thông tin có sẵn khác trừ khi bạn hiểu mối liên quan dữ liệu với trường hợp bị thiếu.

Vì vậy, nếu bạn phải tìm ra thu nhập bị thiếu trong dữ liệu của mình và nó bị mất vì người giàu có, bạn không thể thay thế giá trị còn thiếu bằng một mức trung bình đơn giản bởi vì bạn sẽ thay thế nó bằng thu nhập trung bình. Thay vào đó, bạn nên sử dụng trung bình thu nhập của những người giàu có để thay thế.

Khi dữ liệu không bị thiếu một cách ngẫu nhiên, thực tế là giá trị bị thiếu là thông tin bởi vì nó giúp theo dõi nhóm bị mất. Bạn có thể để lại công việc tìm kiếm lý do để nó thiếu thuật toán học máy của bạn bằng cách xây dựng một tính năng nhị phân mới báo cáo khi giá trị của một biến là mất tích. Do đó, thuật toán học máy tính sẽ tìm ra giá trị tốt nhất để sử dụng như một sự thay thế của chính nó.