Chuẩn bị dữ liệu của bạn cho Analytics tiên đoán - núm vú

Khi bạn xác định mục tiêu của mô hình, bước tiếp theo trong phân tích tiên đoán là xác định và chuẩn bị dữ liệu bạn sẽ sử dụng để xây dựng mô hình của mình. Các thông tin sau đây đề cập đến các hoạt động quan trọng nhất. Trình tự tổng quát của các bước như sau:

1. Xác định nguồn dữ liệu của bạn.

   Dữ liệu có thể ở các định dạng khác nhau hoặc cư trú ở các vị trí khác nhau.

2. Xác định cách bạn sẽ truy cập dữ liệu đó.

   Đôi khi, bạn cần lấy dữ liệu của bên thứ ba, hoặc dữ liệu thuộc sở hữu của một bộ phận khác trong tổ chức của bạn, vv

3. Xem xét các biến nào sẽ bao gồm trong phân tích của bạn.

   Một cách tiếp cận chuẩn là bắt đầu với một loạt các biến và loại bỏ những giá trị không có giá trị tiên đoán cho mô hình.

4. Xác định xem có nên sử dụng các biến xuất phát hay không.

   Trong nhiều trường hợp, một biến có nguồn gốc (chẳng hạn như tỷ lệ giá / thu nhập được sử dụng để phân tích giá cổ phiếu) sẽ có tác động trực tiếp lớn hơn đến mô hình hơn là biến thô.

5. Khám phá chất lượng dữ liệu của bạn, tìm hiểu về cả trạng thái và hạn chế.

   Độ chính xác của các dự đoán của mô hình liên quan trực tiếp đến các biến bạn chọn và chất lượng dữ liệu của bạn. Bạn sẽ muốn trả lời một số câu hỏi cụ thể về dữ liệu tại thời điểm này:

   • Dữ liệu có đầy đủ không?
   • Liệu nó có ngoại lệ?
   • Liệu dữ liệu cần được làm sạch?
   • Bạn có cần phải điền vào các giá trị còn thiếu, giữ chúng như hiện tại, hoặc loại bỏ chúng hoàn toàn không?

Hiểu dữ liệu của bạn và các thuộc tính của nó có thể giúp bạn chọn thuật toán sẽ hữu ích nhất trong việc xây dựng mô hình của bạn. Ví dụ:

• Thuật toán hồi quy có thể được sử dụng để phân tích dữ liệu chuỗi thời gian.
• Các thuật toán phân loại có thể được sử dụng để phân tích dữ liệu rời rạc.
• Thuật toán hiệp hội có thể được sử dụng cho dữ liệu có các thuộc tính tương quan.

Các thuật toán cá nhân và kỹ thuật tiên đoán có những điểm yếu và điểm mạnh khác nhau. Quan trọng nhất, tính chính xác của mô hình dựa vào cả số lượng và chất lượng số liệu. Dữ liệu của bạn phải có đủ số hồ sơ để cung cấp kết quả có ý nghĩa thống kê.

Thu thập các dữ liệu có liên quan (tốt hơn nhiều hồ sơ trong một thời gian dài), tiền xử lý và trích xuất các tính năng có nhiều giá trị tiên đoán nhất sẽ là nơi mà bạn dành phần lớn thời gian của mình. Nhưng bạn vẫn phải chọn thuật toán một cách khôn ngoan, một thuật toán nên phù hợp với vấn đề kinh doanh.

Chuẩn bị dữ liệu cụ thể cho dự án bạn đang làm việc và thuật toán bạn chọn sử dụng.Tùy thuộc vào yêu cầu của dự án, bạn sẽ chuẩn bị dữ liệu của mình cho phù hợp và đưa nó vào thuật toán khi bạn xây dựng mô hình của mình để đáp ứng nhu cầu kinh doanh.

Tập dữ liệu được sử dụng để đào tạo và thử nghiệm mô hình phải chứa thông tin kinh doanh có liên quan để trả lời vấn đề bạn đang cố gắng giải quyết. Nếu mục tiêu của bạn là (ví dụ) để xác định xem khách hàng nào có thể churn, thì bộ dữ liệu bạn chọn phải chứa thông tin về những khách hàng đã từng khuấy trong quá khứ cùng với những khách hàng không có.

Một số mô hình được tạo ra để khai thác dữ liệu và hiểu được các mối quan hệ cơ bản của nó - ví dụ như các mô hình được xây dựng bằng các thuật toán phân cụm - không cần kết quả cuối cùng.

Underfitting

Underfitting là khi mô hình của bạn không thể phát hiện bất kỳ mối quan hệ nào trong dữ liệu của bạn. Đây thường là dấu hiệu cho thấy các biến chủ yếu - những người có sức mạnh dự đoán - không được đưa vào phân tích của bạn.

Nếu các biến được sử dụng trong mô hình của bạn không có khả năng tiên đoán cao, hãy thử thêm các biến mới về tên miền và chạy lại mô hình của bạn. Mục đích cuối cùng là để cải thiện hiệu suất của mô hình trên dữ liệu huấn luyện.

Vấn đề khác cần quan tâm là mùa vụ (khi bạn có mô hình theo mùa, nếu bạn không phân tích nhiều mùa bạn có thể gặp rắc rối). Ví dụ: phân tích chứng khoán chỉ bao gồm dữ liệu từ con bò thị trường (nơi mà giá cổ phiếu tăng lên) không gây ra các cuộc khủng hoảng hoặc bong bóng có thể mang lại những hiệu chỉnh lớn đối với hiệu suất tổng thể của cổ phiếu. Không đưa vào dữ liệu kéo dài cả thị trường chịu sức mua của con đực và (khi giá cổ phiếu sụt giảm) giữ mô hình từ việc lựa chọn danh mục đầu tư tốt nhất.

Overfitting

Overfitting là khi mô hình của bạn bao gồm dữ liệu không có khả năng tiên đoán nhưng nó chỉ cụ thể cho bộ dữ liệu mà bạn đang phân tích. Các biến thể ngẫu nhiên Độ ồn - trong tập dữ liệu - có thể tìm đường vào mô hình để chạy mô hình trên một tập dữ liệu khác nhau tạo ra sự sụt giảm lớn trong hiệu suất và độ chính xác dự đoán của mô hình.