التقييم والاختبار الرجعي
رسم تنبؤ واحد لا يكفي للحكم على جودة النموذج، فقد يكون دقيقًا بالمصادفة. بعد إكمال هذا القسم، ستكون قادرًا على تشغيل التنبؤات بالدفعات على كامل فترة الاختبار، وحساب RankIC، وتشغيل الاختبار الرجعي الرسمي مرة واحدة؛ وستفهم أيضًا معنى "RankIC 0.057" و"سنوي +65%" في الورقة البحثية.
افهم RankIC أولًا: خمّن الترتيب، لا السعر
لنفترض أنك تختار كل يوم اثنين من بين 5 أسهم. لا تحتاج إلى معرفة مقدار ارتفاع كل سهم، بل فقط إلى معرفة من أقوى من من.
يوم الاثنين، يرتّب النموذج العوائد المتوقعة لـ 5 أسهم؛ ويوم الجمعة، ننظر إلى ترتيب العوائد الفعلية. كلما تشابه الترتيبان أكثر، كان النموذج أكثر فائدة. RankIC هو معامل الارتباط بين هذين الترتيبين (ارتباط Spearman الرتبي):
- 1: الترتيبان متطابقان تمامًا
- 0: مثل التخمين العشوائي
- −1: عكس تمامًا
يُحسب مرة واحدة لكل نقطة ارتكاز، ثم يُؤخذ المتوسط.
البيانات المالية شديدة الضوضاء، والخبرة المستشهد بها في الورقة البحثية هي: نادرًا ما يتجاوز IC لعوائد الأسهم 0.1. لذا فإن 0.05 يُعد بالفعل إشارة قابلة للاستخدام، وليس "صحيحًا بنسبة 5% فقط".
نتائج الورقة البحثية
في فترة الاختبار من 2026-01-01 إلى 2026-04-10 (نقاط التفتيش الرسمية دُرّبت حتى نهاية عام 2023، والتحقق حتى نهاية عام 2025، فلم تَرَ هذه الفترة)، متوسط سبع درجات من الدقة الزمنية:
| المهمة | KiT | Kronos-base-FT | Chronos-Bolt extended | TimesFM 2.5 |
|---|---|---|---|---|
| RankIC للتنبؤ بالعوائد | 0.0571 | 0.0521 | 0.0461 | 0.0181 |
| RankIC للتنبؤ بالتقلب | 0.6600 | 0.4974 | 0.4234 | 0.4565 |
التقلب أسهل بكثير في التنبؤ من العوائد: اتجاه الصعود والهبوط صعب التخمين، لكن "هل سيتقلب هذا السهم بعنف قريبًا" له أنماط يمكن اتباعها. يقدم KiT في المرة الواحدة 16 مسارًا، والتقلب هو درجة تشتت المسارات نفسها، وهذه بالضبط فائدة توليد مسارات متعددة.
للدرجات السبع الكاملة من الحبيبية والمزيد من النماذج المقارنة، راجع صفحة KiT على GitHub.
شغّلها بنفسك: تنبؤ بالدفعات ← حساب المقاييس
python eval/infer_for_eval.py
python eval/cal_metrics.pyالأولى تتنبأ بـ 100 سهمًا، و7 درجات من الحبيبية، وكل نقطة ارتكاز في فترة الاختبار. يجب أن ترى ملفات نتائج التنبؤ تظهر تباعًا في results/infer_for_eval/raw/؛ إذا توقفت في المنتصف وأعدت التشغيل، فسيتم تخطي ما حُفظ بالفعل. والثانية تحسب المقاييس:
| المهمة | القيم المتوقعة | القيم الحقيقية |
|---|---|---|
| return | متوسط العائد اللوغاريتمي التراكمي لكل من 16 مسارًا | العائد اللوغاريتمي التراكمي الحقيقي |
| vol | متوسط الانحراف المعياري للعوائد اللوغاريتمية لكل شمعة عبر كل من 16 مسارًا | الانحراف المعياري الحقيقي للعوائد اللوغاريتمية لكل شمعة |
| price | متوسط العائد التراكمي نسبةً إلى إغلاق نقطة الارتكاز لكل من 16 مسارًا | القيم الحقيقية |
التشغيل الكامل يستغرق وقتًا طويلًا، خاصة الإطار الزمني لمدة 1 دقيقة. جرّب على نطاق صغير أولًا:
python eval/infer_for_eval.py --scales 1d,1h --max-inst 20
python eval/cal_metrics.py --scales 1d,1h--max-inst 20 يأخذ أول 20 سهمًا فقط، و--max-anchors N يأخذ أول N من نقاط الارتكاز لكل درجة دقة فقط. إذا كان لديك عدة بطاقات رسومية، يمكنك تشغيل عدة عمليات منفصلة بـ --shard 0/2 و--shard 1/2.
تُؤخذ نقطة الارتكاز افتراضيًا واحدةً كل "نافذة تنبؤ واحدة"، دون تداخل بين النوافذ (--anchor-stride auto).
الاختبار الرجعي: تحويل الترتيب إلى محفظة
بعد انتهاء التنبؤ الدفعي:
python eval/backtest.py
python eval/backtest.py --top 20 --slip 5 --scales 5m,15m,1hالقواعد (من README الرسمي):
- 1?
- 2?
- 3?
- 4?
اضغط عليها واحدة تلو الأخرى حسب الترتيب.
كما تمت محاكاة عدة قيود في سوق الأسهم الصينية A:
- لا يمكن الشراء عند حد الارتفاع: يتم تخطي الأسهم التي تكون عند حد الارتفاع بالفعل في وقت نقطة الارتكاز (ضمن 0.5% من سعر حد الارتفاع) أو التي مضى على إدراجها أقل من 5 يومًا؛ لا يمكن البيع عند حد الانخفاض: الأسهم التي تكون عند حد الانخفاض في آخر شمعة من النافذة تُرحَّل إلى النافذة التالية. يُطبَّق حد الارتفاع والانخفاض بنسبة 10%، وبنسبة 20% للأسهم التي تبدأ بـ 300/301/688، أما نسبة 5% لأسهم ST فلم تُحاكَ.
- T+1: الشراء عند الإغلاق والبيع في النافذة التالية فقط، وهو ما يتحقق تلقائيًا.
- التكاليف: عمولة 2.5 نقطة أساس لكل جانب، ورسوم تحويل 0.1 نقطة أساس، وضريبة طوابع على البيع 5 نقطة أساس، بالإضافة إلى الانزلاق السعري (افتراضيًا 10 نقطة أساس لكل جانب). لا يُؤخذ في الاعتبار اللوت الواحد بـ 100 سهم ولا تكلفة الأثر السوقي.
- مقارنة مع المعايير: المتوسط المتساوي الأوزان ووسيط 100 سهمًا في نفس الفترة، بالإضافة إلى مؤشر CSI 500 (يُنزَّل مرة واحدة باستخدام akshare ويُخزَّن في
data/csi500_daily.csv، وإذا فشل التنزيل لا يُرسم).
النتائج في results/backtest_results/.
أجرى القسم 4.3 من الورقة اختبارًا رجعيًا طويلًا فقط على سوق الأسهم الصينية A لمدة عام (2025.05–2026.04)، مع تثبيت عدد المراكز وتكرار إعادة التوازن بعد اختيارهما على مجموعة التحقق، والتكاليف بشراء 12.5 وبيع 22.5 نقطة أساس: صافي عائد سنوي 5 دقائق +65.2% (شارب 1.70)، و2 ساعة +64.4% (شارب 2.46)، متفوقًا على المتوسط المتساوي الأوزان لنفس مجموعة الأسهم وعلى مؤشر CSI 300 وCSI 500.
::: تحذير: الاختبار الرجعي لا يعني القدرة على تحقيق الربح الاختبار الرجعي هو "تداول افتراضي" على البيانات التاريخية: لا يأخذ في الاعتبار اللوت الواحد بـ 100 سهم ولا أثر الأوامر الكبيرة، والمعلمات اختيرت أيضًا على أساس تاريخي. وهو يُظهر أن ترتيب النموذج يحمل معلومات، ولا يُظهر أن الشراء وفقه سيحقق نفس الأرباح. محتوى هذا الدرس مخصص للتعلم والبحث فقط ولا يشكل نصيحة استثمارية. :::
اختبر معرفتكنموذج ذو RankIC للعوائد يساوي 0.05، ماذا يعني ذلك؟
تحقق مما يلي
- أستطيع شرح RankIC بمثال "تخمين الترتيب"
- أعرف لماذا RankIC للتقلب أعلى بكثير منه للعائد
- أجريت تقييمًا مرة واحدة على نطاق صغير باستخدام
--max-inst
القسم التالي: استخدم بياناتك الخاصة.