اگر ساختار بازار در چند سال تغییر کرده باشد، چگونه باید وزن دادههای قدیمی را در ارزیابی یک سیستم فعلی تعیین کرد؟
من داده قدیمی رو کامل حذف نمیکنم. بیشتر برای این استفاده میکنم که بفهمم سیستم در گذشته چه دورههایی خراب شده و آیا هنوز همان مشکل وجود دارد یا نه.
برای من داده دو سه سال اخیر وزن بیشتری دارد. مخصوصاً روی M5 چون رفتار اسپرد، نقدشوندگی و حتی نوسان بعضی جفتها تغییر کرده.ولی اگر فقط داده جدید رو تست کنیم ممکنه دقیقاً گرفتار Overfitting بشیم. سیستم رو روی یک دوره کوتاه عالی میکنیم و فکر میکنیم Robust هست.
منظورت اینه داده قدیمی رو برای Validation نگه داریم؟بله، یا حداقل یک بخشش رو برای اینکه ببینیم سیستم با یک دوره متفاوت چه رفتاری داشته. لازم نیست وزن همه سالها برابر باشه.
من هم مشکل اصلیام همین بود. وقتی کل تاریخ رو مساوی میگرفتم نتیجه با تست دو سال اخیر خیلی فرق میکرد.به نظرم این اختلاف خودش اطلاعات مهمیه. اگر سیستم فقط در یک بازه خاص جواب میده، باید دلیلش رو پیدا کرد، نه اینکه فقط بازه بهتر رو انتخاب کنیم.