Mục lục:
Video: SCP-2480 An Unfinished Ritual | Neutralized | City / Sarkic Cult SCP 2025
Trong giai đoạn thăm dò của phân tích tiên đoán, bạn sẽ có được kiến thức sâu sắc về dữ liệu của bạn - điều này sẽ giúp bạn chọn các biến có liên quan để phân tích. Sự hiểu biết này cũng sẽ giúp bạn đánh giá kết quả mô hình của bạn. Nhưng trước hết bạn phải xác định và làm sạch dữ liệu để phân tích.
Cách tạo dữ liệu có nguồn gốc
Thuộc tính có nguồn gốc là các hồ sơ hoàn toàn mới được xây dựng từ một hoặc nhiều thuộc tính hiện có. Một ví dụ có thể là việc tạo ra các bản ghi xác định những cuốn sách bán chạy nhất tại các hội chợ sách. Dữ liệu thô có thể không nắm bắt được các hồ sơ như vậy - nhưng với mục đích mô hình, các hồ sơ có nguồn gốc có thể rất quan trọng. Tỷ lệ giá mỗi năm và trung bình trượt 200 ngày là hai ví dụ về dữ liệu có nguồn gốc được sử dụng nhiều trong các ứng dụng tài chính.
Các thuộc tính có thể có được từ tính toán đơn giản như suy ra tuổi từ ngày sinh. Thuộc tính có nguồn gốc cũng có thể được tính bằng cách tóm tắt thông tin từ nhiều bản ghi.
Ví dụ: chuyển đổi bảng khách hàng và sách đã mua vào một bảng có thể cho phép bạn theo dõi số lượng sách được bán thông qua hệ thống chỉ dẫn, thông qua tiếp thị được nhắm mục tiêu và tại hội chợ sách - và xác định nhân khẩu học của khách hàng mua những cuốn sách đó.
Việc tạo ra các thuộc tính bổ sung này mang lại sức mạnh dự đoán bổ sung cho phân tích. Trên thực tế, nhiều thuộc tính như vậy được tạo ra để thăm dò khả năng tiên đoán tiềm năng của chúng. Một số mô hình dự đoán có thể sử dụng các thuộc tính có nguồn gốc hơn các thuộc tính trong trạng thái thô. Nếu một số thuộc tính có nguồn gốc chứng minh đặc biệt tiên đoán và quyền lực của họ đã được chứng minh là có liên quan, sau đó nó làm cho tinh thần để tự động hoá quá trình tạo ra chúng.
Các bản ghi có nguồn gốc là các bản ghi mới mang lại thông tin mới và cung cấp những cách mới để trình bày dữ liệu thô; chúng có thể có giá trị to lớn đối với mô hình tiên đoán.
Làm thế nào để giảm dimensionality dữ liệu của bạn
Dữ liệu được sử dụng trong các mô hình tiên đoán thường được gộp chung từ nhiều nguồn. Phân tích của bạn có thể rút ra từ dữ liệu phân tán qua nhiều định dạng dữ liệu, tệp và cơ sở dữ liệu, hoặc nhiều bảng trong cùng một cơ sở dữ liệu. Kết hợp các dữ liệu với nhau và kết hợp nó vào một định dạng tích hợp cho các nhà mô hình hóa dữ liệu để sử dụng là rất cần thiết.
Nếu dữ liệu của bạn chứa bất kỳ nội dung theo thứ bậc nào thì có thể cần dẹt . Một số dữ liệu có một số đặc điểm phân cấp như mối quan hệ giữa cha mẹ và con cái, hoặc hồ sơ được tạo thành từ các hồ sơ khác.Ví dụ, một sản phẩm như xe ô tô có thể có nhiều nhà sản xuất; làm phẳng dữ liệu, trong trường hợp này, có nghĩa là bao gồm mỗi nhà sản xuất như một tính năng bổ sung của bản ghi bạn đang phân tích.
Dữ liệu dẹt là điều cần thiết khi kết hợp từ nhiều bản ghi liên quan để hình thành một hình ảnh tốt hơn.
Ví dụ, việc phân tích các tác động bất lợi đối với một số loại thuốc do một số công ty thực hiện có thể yêu cầu dữ liệu được làm phẳng ở mức chất gây nghiện. Bằng cách đó, bạn sẽ xóa bỏ mối quan hệ một-đến-nhiều (trong trường hợp này là nhiều nhà sản xuất và nhiều chất cho một sản phẩm) có thể gây ra quá nhiều sự trùng lặp dữ liệu bằng cách lặp lại nhiều mục nhập chất gây lặp lại thông tin về sản phẩm và nhà sản xuất tại mỗi lần nhập.
Làm phẳng làm giảm dimensionality của dữ liệu, được thể hiện bằng số tính năng ghi lại hoặc quan sát.
Ví dụ: khách hàng có thể có các tính năng sau: tên, tuổi, địa chỉ, mặt hàng đã mua. Khi bạn bắt đầu phân tích, bạn có thể thấy mình đánh giá hồ sơ với nhiều tính năng, chỉ một số trong số đó là quan trọng để phân tích. Vì vậy, bạn nên loại bỏ tất cả nhưng rất ít tính năng có sức mạnh dự đoán nhất cho dự án cụ thể của bạn.
Giảm chiều kích của dữ liệu có thể đạt được bằng cách đặt tất cả dữ liệu vào một bảng duy nhất sử dụng nhiều cột để biểu diễn các thuộc tính quan tâm. Khi bắt đầu phân tích, tất nhiên, phân tích phải đánh giá một số lượng lớn các cột - nhưng con số đó có thể thu hẹp xuống khi quá trình phân tích tiến triển.
Quá trình này có thể được hỗ trợ bằng cách khôi phục lại trường - ví dụ bằng cách nhóm các dữ liệu trong các danh mục có các đặc tính tương tự.
Số liệu kết quả - số liệu sạch - thường được đưa vào cơ sở dữ liệu riêng biệt để các nhà phân tích sử dụng. Trong quá trình lập mô hình, dữ liệu này cần được dễ dàng truy cập, quản lý và cập nhật.
