Cách sử dụng dữ liệu làm mịn trong phân tích tiên đoán - những núm vú

Dữ liệu làm mượt trong phân tích tiên đoán là về cơ bản, cố gắng tìm "tín hiệu" trong "tiếng ồn" loại bỏ các điểm dữ liệu được coi là "ồn ào". Ý tưởng là làm sắc nét các mẫu trong dữ liệu và làm nổi bật các xu hướng dữ liệu được trỏ đến.

Ý nghĩa đằng sau việc làm sạch dữ liệu là dữ liệu bao gồm hai phần: một phần (bao gồm Điểm dữ liệu cốt lõi ) biểu thị toàn bộ các xu hướng hoặc các xu hướng thực và một phần khác bao gồm các sai lệch tiếng ồn ) - một số điểm dao động do sự biến động của dữ liệu. Xử lý dữ liệu tìm cách loại bỏ phần thứ hai đó.

Làm thế nào để giảm tiếng ồn

Xử lý dữ liệu hoạt động dựa trên một số giả định:

Sự dao động dữ liệu đó là sự gây tiếng ồn nhất.
Đó là phần ồn ào của dữ liệu có thời lượng ngắn.
Sự dao động của dữ liệu, bất kể nó có thể thay đổi như thế nào, sẽ không ảnh hưởng đến các xu hướng cơ bản được đại diện bởi các điểm dữ liệu cốt lõi.

Tiếng ồn trong dữ liệu có xu hướng ngẫu nhiên; sự biến động của nó không ảnh hưởng đến xu hướng tổng thể được rút ra từ việc kiểm tra phần còn lại của dữ liệu. Vì vậy việc giảm hoặc loại bỏ các điểm dữ liệu ồn ào có thể làm rõ các xu hướng và mô hình thực tế trong hiệu ứng dữ liệu, cải thiện tỷ lệ "tín hiệu-tiếng ồn" của dữ liệu. "

Nếu bạn đã xác định được tiếng ồn chính xác và sau đó giảm nó, việc làm sạch dữ liệu có thể giúp bạn dự đoán điểm dữ liệu quan sát tiếp theo bằng cách làm theo các xu hướng chính mà bạn đã phát hiện trong dữ liệu.

Xử lý dữ liệu liên quan đến phần lớn các điểm dữ liệu, các vị trí của chúng trong một đồ thị, và những gì các mô hình kết quả dự đoán về xu hướng chung của giá cổ phiếu, cho dù hướng chung của nó là lên, xuống, hay nghiêng.

Một dự báo dựa trên một xu hướng chung được rút ra từ dữ liệu được làm mịn cho rằng bất cứ hướng nào dữ liệu đã theo dõi như vậy sẽ tiếp tục trong tương lai theo cách phù hợp với xu hướng này. Ví dụ, trong thị trường chứng khoán, hiệu suất trong quá khứ không có dấu hiệu rõ ràng về hiệu suất trong tương lai, nhưng chắc chắn nó có thể là hướng dẫn chung cho sự chuyển động của giá cổ phiếu trong tương lai.

Phương pháp, ưu điểm và nhược điểm của dữ liệu làm mịn

Xử lý dữ liệu không được nhầm lẫn với

phù hợp với mô hình, là một phần của phân tích dữ liệu bao gồm hai bước: mô hình đại diện cho dữ liệu.

Đảm bảo rằng mô hình phù hợp với dữ liệu một cách hiệu quả.
Xóa dữ liệu tập trung vào việc thiết lập một hướng cơ bản cho các điểm dữ liệu cốt lõi bằng cách (1) bỏ qua bất kỳ điểm dữ liệu ồn ào nào và (2) vẽ một đường cong mượt mà hơn thông qua các điểm dữ liệu bỏ qua các điểm dữ liệu và nhấn mạnh các mẫu chính - xu hướng - dữ liệu, cho dù sự xuất hiện của họ chậm chạp. Theo đó, trong một chuỗi số thời gian, làm mịn dữ liệu phục vụ như một hình thức lọc.

Xử lý dữ liệu có thể sử dụng bất kỳ phương pháp nào sau đây:

Đi bộ ngẫu nhiên

dựa trên ý tưởng rằng kết quả tiếp theo, hoặc điểm dữ liệu trong tương lai, là một sai lệch ngẫu nhiên từ điểm dữ liệu cuối cùng được biết hoặc hiện tại. Đường di chuyển trung bình
là trung bình đang chạy của khoảng thời gian liên tục, khoảng cách đều nhau. Một ví dụ sẽ tính trung bình động 200 ngày của giá cổ phiếu. Mịn mịn
gán trọng số nhiều hơn, hoặc quan trọng hơn, cho các điểm dữ liệu gần đây hơn so với các điểm dữ liệu cũ hơn. Đơn giản:
- Phương pháp này nên được sử dụng khi dữ liệu chuỗi thời gian không có xu hướng và không có mùa. Tuyến tính:
- Phương pháp này nên được sử dụng khi dữ liệu chuỗi thời gian có một đường xu hướng. Theo mùa:
- Phương pháp này nên được sử dụng khi dữ liệu về chuỗi thời gian không có xu hướng nhưng theo mùa. Những phương pháp làm mượt này có điểm gì chung là họ thực hiện một số loại quy trình trung bình trên một số điểm dữ liệu. Việc tính trung bình các điểm dữ liệu liền kề là cách thiết yếu để không có xu hướng hoặc các mẫu.

Lợi ích của việc làm sạch dữ liệu là

Thật dễ thực hiện.

Nó giúp xác định xu hướng.
Nó giúp hiển thị các mẫu trong dữ liệu.
Nó loại bỏ các điểm dữ liệu mà bạn đã quyết định không quan tâm.
Nó giúp dự đoán hướng chung của các điểm dữ liệu quan sát tiếp theo.
Nó tạo ra đồ thị mịn đẹp.
Nhưng mọi thứ đều có một nhược điểm. Nhược điểm của việc làm sạch dữ liệu là

Nó có thể loại bỏ các điểm dữ liệu hợp lệ là kết quả của các sự kiện cực đoan.

Có thể dẫn đến dự đoán không chính xác nếu dữ liệu thử nghiệm chỉ theo mùa và không đại diện đầy đủ cho thực tế tạo ra các điểm dữ liệu.
Nó có thể thay đổi hoặc nghiêng dữ liệu, đặc biệt là các đỉnh, dẫn đến một bức tranh méo mó về những gì đang diễn ra.
Nó có thể dễ bị tổn thương do sự gián đoạn đáng kể từ bên ngoài bên trong dữ liệu.
Có thể dẫn đến độ lệch lớn so với dữ liệu ban đầu.
Nếu làm sạch dữ liệu không chỉ là cung cấp dữ liệu mà chỉ là một sự đổi mới, nó có thể rút ra một sai lầm cơ bản bằng những cách sau:

Nó có thể đưa ra các lỗi thông qua sự méo mó xử lý dữ liệu được làm mịn như thể nó giống với bản gốc dữ liệu.

Nó có thể nghiêng giải thích bằng cách bỏ qua - và ẩn - các rủi ro được nhúng trong dữ liệu.
Nó có thể dẫn đến mất chi tiết trong dữ liệu của bạn - đó là một cách mà một đường cong được làm mịn có thể sai lệch rất lớn so với dữ liệu ban đầu.
Mức độ làm trầm trọng dữ liệu nghiêm trọng có thể ảnh hưởng đến dữ liệu của bạn phụ thuộc vào tính chất của dữ liệu đang có trong tay và kỹ thuật làm mịn được thực hiện trên dữ liệu đó.Ví dụ: nếu dữ liệu ban đầu có nhiều đỉnh trong đó, thì việc làm sạch dữ liệu sẽ dẫn đến sự dịch chuyển lớn các đỉnh đó lên các biểu đồ được làm mịn - rất có thể là biến dạng.

Dưới đây là một số điểm thận trọng cần ghi nhớ khi bạn tiếp cận dữ liệu làm mịn:

Bạn nên so sánh các biểu đồ được làm mịn với các đồ thị không bị ảnh hưởng âm mưu dữ liệu ban đầu.

Điểm dữ liệu bị xóa trong quá trình làm sạch dữ liệu có thể không gây tiếng ồn; chúng có thể là các điểm dữ liệu hợp lệ, thực sự là kết quả của các sự kiện hiếm gặp nhưng thực tế.
Xử lý dữ liệu có thể hữu ích trong kiểm duyệt, nhưng việc lạm dụng nó có thể dẫn tới việc trình bày sai dữ liệu của bạn.
Bằng cách áp dụng phán quyết chuyên môn và chuyên môn về kiến thức kinh doanh của bạn, bạn có thể sử dụng dữ liệu làm mịn một cách hiệu quả. Loại bỏ tiếng ồn từ dữ liệu của bạn - không ảnh hưởng tiêu cực đến tính chính xác và hữu ích của dữ liệu ban đầu - ít nhất cũng là một nghệ thuật như một khoa học.