Kết hợp dữ liệu cho các thuật toán từ các nguồn khác nhau - những con dao tinh

Tương tác với dữ liệu từ một nguồn duy nhất là một vấn đề; tương tác với dữ liệu từ nhiều nguồn là khá khác. Tuy nhiên, các bộ dữ liệu ngày nay thường có từ nhiều nguồn, vì vậy bạn cần phải hiểu các biến chứng sử dụng nhiều nguồn dữ liệu có thể gây ra. Khi làm việc với nhiều nguồn dữ liệu, bạn phải làm như sau:

• Xác định xem liệu cả hai bộ dữ liệu có chứa tất cả dữ liệu cần thiết. Hai nhà thiết kế không thể tạo ra các bộ dữ liệu chứa chính xác cùng một dữ liệu, trong cùng một định dạng, cùng loại và theo cùng một thứ tự. Do đó, bạn cần cân nhắc xem liệu bộ dữ liệu cung cấp dữ liệu bạn cần hay liệu bạn cần sửa lại dữ liệu theo một cách nào đó để đạt được kết quả mong muốn.
• Kiểm tra cả bộ dữ liệu cho các sự cố kiểu dữ liệu. Một tập dữ liệu có thể có ngày tháng đầu vào như chuỗi, và một số khác có thể có ngày nhập vào như các đối tượng ngày thực tế. Sự mâu thuẫn giữa các kiểu dữ liệu sẽ gây ra các vấn đề cho một thuật toán dự kiến ​​dữ liệu ở một dạng và nhận nó trong một loại khác.
• Đảm bảo rằng tất cả các bộ dữ liệu đặt cùng ý nghĩa vào các phần tử dữ liệu. Dữ liệu được tạo bởi một nguồn có thể có ý nghĩa khác với dữ liệu được tạo bởi một nguồn khác. Ví dụ, kích thước của một số nguyên có thể thay đổi theo các nguồn, do đó bạn có thể thấy một số nguyên 16-bit từ một nguồn và một số nguyên 32-bit từ một nguồn khác. Giá trị thấp hơn có cùng ý nghĩa, nhưng số nguyên 32-bit có thể chứa các giá trị lớn hơn, có thể gây ra các vấn đề với thuật toán. Ngày cũng có thể gây ra vấn đề vì chúng thường dựa vào việc lưu trữ rất nhiều mili giây kể từ một ngày nhất định (chẳng hạn như JavaScript, lưu trữ số mili giây kể từ ngày 01 tháng 1 năm 1970 UTC). Máy tính chỉ thấy các con số; con người thêm ý nghĩa vào những con số này để ứng dụng giải thích chúng bằng những cách cụ thể.
• Xác minh các thuộc tính dữ liệu. Các mục dữ liệu có thuộc tính cụ thể. Giải thích này có thể thay đổi khi sử dụng numpy . Trên thực tế, bạn thấy rằng các thuộc tính dữ liệu thay đổi giữa các môi trường và các nhà phát triển có thể thay đổi chúng nhiều hơn bằng cách tạo các loại dữ liệu tùy chỉnh. Để kết hợp dữ liệu từ nhiều nguồn khác nhau, bạn phải hiểu các thuộc tính này để đảm bảo rằng bạn giải thích đúng dữ liệu.

Bạn dành nhiều thời gian hơn để kiểm tra tính tương thích của dữ liệu từ mỗi nguồn mà bạn muốn sử dụng cho một tập dữ liệu, bạn càng ít gặp vấn đề khi làm việc với thuật toán. Các vấn đề không tương thích dữ liệu không phải lúc nào cũng xuất hiện như là lỗi hoàn toàn. Trong một số trường hợp, sự không tương thích có thể gây ra các vấn đề khác, chẳng hạn như các kết quả sai lệch tìm đúng nhưng cung cấp thông tin gây hiểu nhầm.

Kết hợp dữ liệu từ nhiều nguồn có thể không phải lúc nào cũng có nghĩa là tạo ra một tập hợp dữ liệu mới giống chính xác các bộ dữ liệu nguồn. Trong một số trường hợp, bạn tạo các tập hợp dữ liệu hoặc thực hiện các hình thức thao tác khác để tạo ra dữ liệu mới từ dữ liệu hiện có. Phân tích có tất cả các loại hình, và một số các hình thức kỳ lạ hơn có thể gây ra lỗi khủng khiếp khi sử dụng không chính xác. Ví dụ: một nguồn dữ liệu có thể cung cấp thông tin khách hàng nói chung và nguồn dữ liệu thứ hai có thể cung cấp các thói quen mua bán của khách hàng. Sự không khớp giữa hai nguồn có thể phù hợp với khách hàng với thông tin thói quen mua không chính xác và gây ra sự cố khi bạn cố tiếp thị sản phẩm mới cho khách hàng này. Như một ví dụ cực đoan, hãy xem xét điều gì sẽ xảy ra khi kết hợp thông tin bệnh nhân từ nhiều nguồn và tạo các mục nhập bệnh nhân kết hợp trong một nguồn dữ liệu mới với tất cả các loại mismatches. Một bệnh nhân không có tiền sử bệnh đặc biệt có thể kết thúc với hồ sơ ghi nhận chẩn đoán và chăm sóc bệnh.