التصنيف بمثال عملي
عشرة عملاء وسؤال واحد — من على وشك الإلغاء؟ نملأ مصفوفة الدقة يدويًا، ونقرأ منها أربع درجات، ونرى متى تكذب عليك الدقة العادية بالضبط.
السؤال: توقّع صنفًا
التصنيف هو ما تستخدمه عندما تكون الإجابة تصنيفًا لا رقمًا: مغادرة أو بقاء، قبول أو رفض، أ/ب/ج. سؤالنا: أي المشتركين سيلغي اشتراكه الشهر القادم؟
البيانات: عشرة عملاء اختبار
نموذج دُرّب على مشتركين سابقين يواجه الآن عشرة عملاء لم يرهم من قبل. نعرف عن كل منهم ما حدث فعلًا (الحقيقة) وما قاله النموذج:
| # | أشهر الاشتراك | تذاكر الدعم | غادر فعلًا؟ | قال النموذج | النتيجة |
|---|---|---|---|---|---|
| 1 | 2 | 5 | نعم | نعم | TP |
| 2 | 3 | 4 | نعم | نعم | TP |
| 3 | 1 | 6 | نعم | نعم | TP |
| 4 | 8 | 1 | نعم | لا | FN |
| 5 | 4 | 3 | لا | نعم | FP |
| 6 | 24 | 0 | لا | لا | TN |
| 7 | 18 | 1 | لا | لا | TN |
| 8 | 36 | 0 | لا | لا | TN |
| 9 | 12 | 2 | لا | لا | TN |
| 10 | 30 | 1 | لا | لا | TN |
يسمّي العمود الأخير كل نتيجة: TP = إيجابي صحيح (مغادر التُقط)، FP = إيجابي خاطئ (إنذار خاطئ)، FN = سلبي خاطئ (مغادر فات النموذج)، TN = سلبي صحيح (تُرك وشأنه عن حق). العميل 4 هو المؤلم — مشترك قديم لم يتوقع النموذج مغادرته. والعميل 5 هو الإنذار الخاطئ.
مصفوفة الدقة، خلية خلية
اجمع النتائج الأربع في جدول 2×2 فتحصل على مصفوفة الدقة — أكثر عرض مكثّف بالمعلومات لأي مصنِّف:
| النموذج: «سيغادر» | النموذج: «سيبقى» | |
|---|---|---|
| غادروا فعلًا (4) | TP = 3التُقط | FN = 1فات النموذج |
| بقوا فعلًا (6) | FP = 1إنذار خاطئ | TN = 5تُرك وشأنه |
أربع درجات من جدول واحد
(TP + TN) ÷ الكل = (3 + 5) ÷ 10 = 0.80
8 من 10 أحكام كانت صحيحة. بديهية — لكن واصل القراءة قبل أن تثق بها.
TP ÷ (TP + FP) = 3 ÷ 4 = 0.75
من بين 4 عملاء أشار إليهم النموذج، غادر 3 فعلًا. الإحكام العالي = إنذارات خاطئة أقل — وهو ما تريده عندما يُطلق كل إنذار عرض استبقاء مكلفًا.
TP ÷ (TP + FN) = 3 ÷ 4 = 0.75
من بين 4 غادروا فعلًا، التقط النموذج 3. الاستدعاء العالي = حالات فائتة أقل — وهو ما تريده عندما يكون تفويت حالة واحدة مكلفًا.
2 × (0.75 × 0.75) ÷ (0.75 + 0.75) = 0.75
رقم واحد يوازن بين الإحكام والاستدعاء. إذا انهار أحدهما انهار F1 معه — وهذا هو المقصود تمامًا.
عندما تكذب الدقة: فخ عدم التوازن
تخيّل الآن 100 عميل لا يغادر منهم سوى 5 — حالة من عدم توازن الأصناف. نموذج كسول يقول دائمًا «سيبقى» يصيب في 95 من 100: دقة 95%، تبدو ممتازة. لكن استدعاءه للمغادرين هو 0 ÷ 5 = 0. لم يلتقط أحدًا. الشيء الوحيد الذي بنيت النموذج من أجله لا يستطيع فعله.
لهذا وُجدت الدقة المتوازنة: فهي تحسب متوسط استدعاء كل صنف، بحيث يُحتسب الصنف النادر بقدر الشائع — فيسجّل النموذج الكسول 0.5، وينكشف كرمية عملة. كما يدرّب بيانِي بأوزان أصناف متوازنة على البيانات غير المتوازنة حتى لا يُهمل الصنف النادر من الأساس.
فكرة أخيرة: درجات، لا تصنيفات فحسب
خلف الكواليس لا يقول النموذج نعم/لا فحسب — بل ينتج احتمالًا («مرجّح أن يغادر بنسبة 72%») يُقطع عند عتبة. يحكم ROC AUC على تلك الاحتمالات الخام مباشرة: احتمال أن يُرتَّب مغادر عشوائي فوق باقٍ عشوائي. يخبرك بجودة ترتيب النموذج قبل اختيار أي عتبة.
يصف هذا الدرس مسار بيانِي الحقيقي بصيغة مبسّطة. يُحدَّث يدويًا عند تغيّر المسار، لذا قد تتأخر الصياغة أحيانًا عن الكود.