Mục lục:
Video: Noreena Hertz: How to use experts -- and when not to 2025
Khi bạn xác định mục tiêu của mô hình để phân tích tiên đoán, bước tiếp theo là xác định và chuẩn bị dữ liệu bạn sẽ sử dụng để xây dựng mô hình của bạn. Trình tự tổng quát của các bước như sau:
-
Xác định nguồn dữ liệu của bạn.
Dữ liệu có thể ở các định dạng khác nhau hoặc cư trú ở các vị trí khác nhau.
-
Xác định cách bạn sẽ truy cập dữ liệu đó.
Đôi khi, bạn cần có được dữ liệu bên thứ ba, hoặc dữ liệu thuộc sở hữu của một bộ phận khác trong tổ chức của bạn, vv
-
Xem xét các biến nào sẽ bao gồm trong phân tích của bạn.
Một cách tiếp cận chuẩn là bắt đầu với một loạt các biến và loại bỏ những giá trị không có giá trị tiên đoán cho mô hình.
-
Xác định có sử dụng các biến xuất phát hay không.
Trong nhiều trường hợp, một biến có nguồn gốc (chẳng hạn như tỷ lệ giá / thu nhập được sử dụng để phân tích giá cổ phiếu) sẽ có tác động trực tiếp lớn hơn đến mô hình hơn là biến thô.
-
Khám phá chất lượng dữ liệu của bạn, tìm hiểu về cả trạng thái và hạn chế.
Độ chính xác của các dự đoán của mô hình liên quan trực tiếp đến các biến bạn chọn và chất lượng dữ liệu của bạn. Bạn sẽ muốn trả lời một số câu hỏi cụ thể về dữ liệu tại thời điểm này:
-
Dữ liệu có đầy đủ không?
-
Liệu nó có ngoại lệ?
-
Liệu dữ liệu cần được làm sạch?
-
Bạn có cần phải điền vào các giá trị còn thiếu, giữ chúng như hiện tại, hoặc loại bỏ chúng hoàn toàn không?
-
Hiểu dữ liệu của bạn và các thuộc tính của nó có thể giúp bạn chọn thuật toán sẽ hữu ích nhất trong việc xây dựng mô hình của bạn. Ví dụ:
-
Thuật toán hồi quy có thể được sử dụng để phân tích dữ liệu chuỗi thời gian.
-
Các thuật toán phân loại có thể được sử dụng để phân tích dữ liệu rời rạc.
-
Thuật toán hiệp hội có thể được sử dụng cho dữ liệu có các thuộc tính tương quan.
Tập dữ liệu được sử dụng để đào tạo và thử nghiệm mô hình phải chứa thông tin kinh doanh có liên quan để trả lời vấn đề bạn đang cố gắng giải quyết. Nếu mục tiêu của bạn là (ví dụ) để xác định xem khách hàng nào có thể churn, thì bộ dữ liệu bạn chọn phải chứa thông tin về những khách hàng đã từng khuấy trong quá khứ cùng với những khách hàng không có.
Một số mô hình được tạo ra để khai thác dữ liệu và hiểu được các mối quan hệ cơ bản của nó - ví dụ như các mô hình được xây dựng bằng các thuật toán phân cụm - không cần kết quả cuối cùng.
Có hai vấn đề nảy sinh khi xử lý dữ liệu khi bạn đang xây dựng mô hình của mình: thiếu hợp lý và quá tải.
Underfitting
Underfitting là khi mô hình của bạn không thể phát hiện bất kỳ mối quan hệ nào trong dữ liệu của bạn.Đây thường là dấu hiệu cho thấy các biến chủ yếu - những người có sức mạnh dự đoán - không được đưa vào phân tích của bạn. Ví dụ, một phân tích chứng khoán chỉ bao gồm dữ liệu từ thị trường tăng trưởng (khi giá cổ phiếu tăng lên) không gây ra các cuộc khủng hoảng hoặc bong bóng có thể mang lại những hiệu chỉnh lớn đối với hiệu suất tổng thể của cổ phiếu.
Việc không bao gồm dữ liệu kéo dài cả thị trường chịu sức mua của bò cái và (khi giá cổ phiếu giảm) giữ mô hình từ việc lựa chọn danh mục đầu tư tốt nhất.
Overfitting
Overfitting là khi mô hình của bạn bao gồm dữ liệu không có khả năng tiên đoán nhưng nó chỉ cụ thể cho bộ dữ liệu mà bạn đang phân tích. Độ ồn - các biến thể ngẫu nhiên trong tập dữ liệu - có thể tìm đường vào mô hình, để chạy mô hình trên một tập dữ liệu khác nhau tạo ra sự sụt giảm chính trong hiệu suất tiên đoán của mô hình và độ chính xác. Thanh bên cạnh cung cấp một ví dụ.
Nếu mô hình của bạn thực hiện tốt trên một tập dữ liệu cụ thể và chỉ kém hơn khi bạn kiểm tra nó trên một tập dữ liệu khác, nghi ngờ quá mức.
