اولین چیزی که من انجام میدم Out-of-Sample Test هست. اگر پارامترهای بهینه فقط روی همان دادهای که باهاشون تنظیم شدن جواب بدن، احتمال Overfit بالاست.
من علاوه بر اون، اطراف پارامتر بهینه رو هم تست میکنم. مثلاً اگر EMA روی 21 عالیه ولی 20 و 22 افت شدیدی دارن، کمی مشکوکه.
من علاوه بر اون، اطراف پارامتر بهینه رو هم تست میکنم. مثلاً اگر EMA روی 21 عالیه ولی 20 و 22 افت شدیدی دارن، کمی مشکوکه.
این تست خیلی خوبه. بهش میشه گفت Robustness. پارامتر خوب معمولاً یک محدوده قابل قبول داره، نه فقط یک نقطه طلایی.
من علاوه بر اون، اطراف پارامتر بهینه رو هم تست میکنم. مثلاً اگر EMA روی 21 عالیه ولی 20 و 22 افت شدیدی دارن، کمی مشکوکه.
دقیقاً. من حتی ترجیح میدم پارامتر ۲۰ تا ۲۵ تقریباً رفتار مشابهی داشته باشه تا اینکه دقیقاً ۲۱ بهترین عدد باشه.
دقیقاً. من حتی ترجیح میدم پارامتر ۲۰ تا ۲۵ تقریباً رفتار مشابهی داشته باشه تا اینکه دقیقاً ۲۱ بهترین عدد باشه.
اگر پارامتر ۲۱ بهترین باشه ولی ۲۰ و ۲۲ هم فقط کمی ضعیفتر باشند، قابل قبولتره؟
اگر پارامتر ۲۱ بهترین باشه ولی ۲۰ و ۲۲ هم فقط کمی ضعیفتر باشند، قابل قبولتره؟
خیلی بیشتر. چیزی که خطرناکه افت شدید در فاصله خیلی کم از پارامتر بهینه است.
خیلی بیشتر. چیزی که خطرناکه افت شدید در فاصله خیلی کم از پارامتر بهینه است.
البته به شرطی که روی داده خارج از Sample هم همین رفتار دیده بشه.