Thiếu các giá trị trong dữ liệu của bạn - núm vú

Một trong những vấn đề dữ liệu thường xuyên và lộn xộn nhất để xử lý là thiếu dữ liệu. Tệp có thể không đầy đủ vì hồ sơ đã bị bỏ hoặc thiết bị lưu trữ đã đầy. Hoặc các trường dữ liệu nhất định có thể không chứa dữ liệu cho một số hồ sơ. Đầu tiên của những vấn đề này có thể được chẩn đoán bằng cách đơn giản xác minh số lượng hồ sơ cho các tập tin. Vấn đề thứ hai là khó khăn hơn để giải quyết.

Để đặt các thuật ngữ đơn giản, khi bạn tìm thấy một trường chứa các giá trị còn thiếu, bạn có hai lựa chọn:

• Bỏ qua nó.

• Gắn cái gì đó trong cánh đồng.

Bỏ qua vấn đề

Trong một số trường hợp, bạn chỉ cần tìm một trường duy nhất với một số lượng lớn các giá trị bị thiếu. Nếu vậy, điều dễ dàng nhất để làm là chỉ cần bỏ qua các lĩnh vực. Đừng đưa nó vào phân tích của bạn.

Một cách khác để bỏ qua vấn đề là bỏ qua hồ sơ. Đơn giản chỉ cần xóa các bản ghi có chứa các dữ liệu bị mất. Điều này có ý nghĩa nếu chỉ có một vài hồ sơ rogue. Nhưng nếu có nhiều trường dữ liệu có chứa số lượng đáng kể các giá trị bị thiếu, cách tiếp cận này có thể thu hẹp hồ sơ của bạn xuống mức không thể chấp nhận.

Một điều khác cần lưu ý trước khi xóa các bản ghi là bất kỳ dấu hiệu nào của một mẫu. Ví dụ: giả sử bạn đang phân tích tập dữ liệu liên quan đến số dư trên thẻ tín dụng trên toàn quốc. Bạn cũng có thể tìm thấy một bó toàn bộ hồ sơ cho thấy $ 0. 00 cân bằng (có lẽ khoảng một nửa số hồ sơ). Đây không phải là một dấu hiệu cho thấy thiếu dữ liệu. Tuy nhiên, nếu tất cả các hồ sơ từ, nói, California đang hiển thị là $ 0. 00 cân bằng, cho thấy một vấn đề tiềm năng thiếu các giá trị. Và nó không phải là một trong những điều đó sẽ được giải quyết hữu ích bằng cách xóa tất cả hồ sơ từ tiểu bang lớn nhất trong nước. Trong trường hợp này, có thể nó là một vấn đề về hệ thống và chỉ ra rằng phải tạo một tệp mới.

Điền vào dữ liệu bị thiếu

Điền vào số liệu thiếu để tạo ra một cuộc phỏng vấn có giáo dục về những gì có thể có trong lĩnh vực đó. Có những cách tốt và xấu để làm điều này. Một cách tiếp cận đơn giản (nhưng xấu) là thay thế các giá trị còn thiếu bằng trung bình các giá trị không bị mất. Trong các trường không phải là số, bạn có thể bị cám dỗ để điền vào các bản ghi bị thiếu với giá trị phổ biến nhất trong các bản ghi khác (chế độ).

Những cách tiếp cận này, không may, vẫn thường được sử dụng trong một số ứng dụng kinh doanh.Nhưng họ được các nhà thống kê coi là những ý tưởng tồi. Đối với một điều, toàn bộ việc phân tích thống kê là tìm ra dữ liệu phân biệt kết quả từ một kết quả khác. Bằng cách thay thế tất cả các bản ghi bị thiếu với cùng giá trị, bạn không phân biệt bất cứ điều gì.

Phương pháp tiếp cận cao hơn là cố gắng tìm ra một cách để dự đoán một cách có ý nghĩa giá trị nào nên được điền vào mỗi bản ghi là thiếu một giá trị. Điều này liên quan đến việc xem xét hồ sơ đầy đủ và cố gắng tìm ra manh mối về giá trị còn thiếu có thể là gì.

Giả sử bạn đang phân tích tệp dữ liệu nhân khẩu học để dự đoán người mua có thể mua một trong các sản phẩm của bạn. Trong tập tin đó bạn có, trong số các lĩnh vực khác, thông tin về tình trạng hôn nhân, số con và số lượng ô tô. Vì một số lý do, số ô ô tự động bị thiếu trong một phần ba số bản ghi.

Bằng cách phân tích hai lĩnh vực khác - tình trạng hôn nhân và số trẻ em - bạn có thể khám phá ra một số mẫu. Những người độc thân có xu hướng có một chiếc xe. Người đã lập gia đình không có con có xu hướng có hai chiếc xe. Những người kết hôn có nhiều con có thể có nhiều hơn ba chiếc xe. Bằng cách này, bạn có thể đoán ở các giá trị bị thiếu trong một cách mà thực sự phân biệt các bản ghi. Nhiều hơn về cách tiếp cận này đến.

Có một thuật ngữ chung trong thống kê và xử lý dữ liệu đề cập đến dữ liệu có vấn đề. Thuật ngữ

ồn ào được sử dụng để mô tả dữ liệu không đáng tin cậy, tham nhũng hoặc ít hơn là nguyên sơ. Thiếu dữ liệu chỉ là một ví dụ về điều này. Mô tả chi tiết các kỹ thuật để làm sạch các dữ liệu ồn ào nói chung là nằm ngoài phạm vi của cuốn sách này. Trên thực tế, đây là một lĩnh vực tích cực của nghiên cứu lý thuyết thống kê. Thực tế là tất cả các tiếng ồn không phải là dễ dàng để phát hiện vì thiếu các giá trị làm cho nó rắc rối để giải quyết.