كيف يحوّل بيانِي جدول بيانات إلى نموذج

يتعامل بيانِي مع ثلاثة أنواع من المسائل، ويوجّه بياناتك بناءً على العمود الذي تختاره للتنبّؤ ونوعه:

• الانحدار — التنبّؤ بقيمة رقمية، مثل السعر أو الطلب.
• التصنيف — التنبّؤ بفئة، مثل التسرّب (نعم/لا).
• التنبّؤ — توقّع القيم المستقبلية لشيء يُقاس عبر الزمن.

يُعامَل التنبّؤ بوصفه نوعًا مستقلًّا من المسائل، لا انحدارًا مزوَّدًا بعمود تاريخ. تبقى الصفوف مرتّبة زمنيًا ولا تُخلَط أبدًا، ويتنبّأ النموذج إلى الأمام اعتمادًا على القيم السابقة — لأنّ توقيت حدوث الشيء في السلسلة الزمنية جزءٌ من الإشارة. أما الانحدار والتصنيف فيُعاملان كل صف بوصفه مستقلًّا.

قبل تدريب أي نموذج، تمرّ مجموعة البيانات عبر نحو ثلاثين فحصًا تلقائيًا. الفكرة بسيطة: النموذج الذي يحقّق نتيجة عالية بنسخ الإجابة أسوأ من نموذج يُقرّ بأنّ البيانات ليست جاهزة. تقع كل مشكلة في واحدة من ثلاث فئات.

تفصيلان جديران بالذكر: يُكتشَف العمود الشبيه بالمعرّف بكونه فريدًا في كل صف ومتزايدًا باطّراد، وتُميَّز الأرقام العربية-الهندية وتُحوَّل عند قراءة بيانِي للأرقام والتواريخ.

ثمّة قاعدة واحدة تحكم خطوة الإعداد كلّها: كل تحويل يُتعلَّم من بيانات التدريب وحدها، ثم يُطبَّق على البيانات المحجوزة والمستقبلية. هذا يُبقي النتيجة نزيهة، لأنّ النموذج لا يختلس النظر أبدًا إلى البيانات التي سيُقيَّم عليها.

• تُحذَف الصفوف التي يكون هدفها مفقودًا قبل التقسيم؛ وتُملأ الفجوات المتبقّية (بالقيمة الوسطى للأرقام، وبالقيمة الأكثر شيوعًا للفئات).
• تُنظَّف أنواع الأعمدة — يُعَدّ العمود رقميًا حين تُقرَأ سبعون بالمئة على الأقل من قيمه كأرقام (مع إزالة رموز العملات والنصوص الدخيلة، وتحويل الأرقام العربية-الهندية)؛ وإلا عُومِل بوصفه فئة.
• تُرمَّز الفئات: ترميز أحادي (one-hot) لما يصل إلى عشر قيم مميّزة، وترميز بالتكرار لما زاد على ذلك. وفي التصنيف، يُرمَّز الهدف ترميزًا فئويًا (label encoding).
• حين يزيد عدد السمات على عشر، تختار خطوة تكيّفية أكثرها فائدة — وتعتمد الطريقة على عدد السمات والصفوف لديك — وتُلائَم على بيانات التدريب وحدها.
• يستخدم الانحدار والتصنيف تقسيمًا بنسبة 80/20 بِبذرة ثابتة لتكون النتائج قابلة للتكرار؛ أما التنبّؤ فيحجز أحدث الصفوف، مرتّبةً زمنيًا.

لكل مهمة، تُدرَّب سبع عائلات من النماذج بالتوازي بدلاً من مطالبتك باختيار واحدة — وتضيف مجموعات البيانات الكبيرة، التي تتدرب على معالج رسوميات، عائلة ثامنة: شبكة عصبية:

يُقيَّم كل نموذج بالتحقّق المتقاطع — خماسي الطيّات مكرَّرًا للانحدار والتصنيف، فتكون الدرجة متوسطًا عبر طيّات كثيرة لا طيّةً واحدة محظوظة. ويستخدم التنبّؤ اختبارًا رجعيًا يحترم الترتيب الزمني، ثم يُعيد ملاءمة النموذج المختار على كامل التاريخ. وفي التنبّؤ، تُغلَّف كل عائلة نماذج بمتنبّئ تكراري يتنبّأ خطوةً بخطوة مستعينًا بتنبّؤاته الأخيرة.

تعتمد المقاييس على المهمة: يُبلِّغ الانحدار عن R² وRMSE وMAE؛ ويُبلِّغ التصنيف عن الدقة والضبط والاستدعاء وF1 ومصفوفة الالتباس؛ ويُبلِّغ التنبّؤ عن MAE وRMSE وMAPE. وتُعالَج الفئات غير المتوازنة بأوزان فئات متوازنة بدلًا من إهدار البيانات.

يحصل كل نموذج على درجة مركّبة واحدة بين 0 و1 (كلما زادت كان أفضل) تمزج مقاييس المهمة في رقم واحد قابل للمقارنة — بحيث يُكافَأ النموذج المتوازن على النموذج القوي في مقياس واحد والضعيف فيما عداه.

النماذج التي تُنهي ضمن هامش ضيّق من المتصدّر — أي في حُكم التعادل — تخضع لبحثٍ عن المعاملات الفائقة محكومٍ بميزانية. ويُحدَّد حجم البحث بمقدار الوقت المتبقّي قبل الموعد النهائي للمهمة، ويُتخطّى بسلاسة إن لم يكن هناك وقت، أو لا توجد إعدادات للضبط، أو وقع خطأ. ثم يُعاد تقييم الفائز المضبوط بالطريقة نفسها التي تُقيَّم بها البقية.

أخيرًا، تُعاد حوسبة مقاييس النموذج الفائز على مجموعة اختبار محجوزة، وعلى المقياس الأصلي لبياناتك — فتكون الأرقام التي تقرؤها بوحداتك، لا بوحدات مقيَّسة.

هذا قابل للتدقيق لا مجرّد ادّعاء: تُسجَّل كل تجربة — أي خوارزمية، وهل ضُبِطت، وإعداداتها، ودرجات تحقّقها المتقاطع، ودرجتها المركّبة وتوقيتها — وهذا السجلّ هو ما يملأ تبويبَي «اختيار النموذج» و«المعاملات الفائقة» في بطاقة النموذج.

يحفظ بيانِي مسار المعالجة كاملًا، لا النموذج وحده. فإلى جانب النموذج المختار (أو المتنبّئ ومؤشّره الزمني في حالة التنبّؤ) يُخزّن كل خطوة مُلائَمة: المقيِّس، والمرمِّزات، ومرمِّز الهدف، ومُنتقي السمات وقائمة السمات المختارة، وخطوة متعدّد الحدود، ومُكمِّل القيم الناقصة — إضافةً إلى سجلّ التحقّق التدريبي الذي تستند إليه الرسوم في بطاقة النموذج.

ولِمَ الاحتفاظ بكل ذلك؟ لأنّ بياناتك الجديدة، وقت التنبّؤ، لا بدّ أن تمرّ عبر الخطوات نفسها بالترتيب نفسه الذي مرّت به أثناء التدريب. والنموذج وحده لن يعرف كيف قُيِّست البيانات أو رُمِّزت، فتنحرف النتائج.

أما المخطّط والبيانات الوصفية — أسماء الأعمدة، والهدف، ونوع المهمة، والمقاييس، والخوارزمية المختارة — فتُحفَظ بإصدارات. وإعادة التدريب على الاسم نفسه تُنشئ إصدارًا جديدًا مع بقاء السابق متاحًا.

حين يكتب بيانِي شرحًا بلغة مبسّطة لمجموعة بياناتك، لا يُرسِل إلى خدمة الذكاء الاصطناعي سوى إحصاءات مُلخَّصة وأسماء الأعمدة وأكثر تسميات الفئات شيوعًا — لا صفوفك الخام أبدًا. وتبقى السجلّات الأصلية في مكانها.

يجري التدريب والتنبّؤ على بنية بيانِي التحتية الخاصة، بمعزل عن نموذج الشرح. اطّلِع على صفحة الخصوصية.

• تطبيق الويب — Flask، يُقدَّم خلف خادم ويب إنتاجي ووكيل عكسي، مع قوالب Jinja وأنماط Tailwind. وتتولّى Firebase Auth تسجيل الدخول، مع حماية من تزوير الطلبات (CSRF) وتحديدٍ لمعدّل الطلبات.
• التدريب — يجري خارج المسار على طابور مهام غير متزامن (مدعوم بـ Redis) مع مجموعة منفصلة من عمليات العُمّال، حتى يبقى تطبيق الويب مستجيبًا أثناء تدريب النماذج.
• تعلُّم الآلة — pandas وNumPy وscikit-learn وXGBoost وCatBoost وskforecast وjoblib.
• التخزين — مسارات المعالجة المدرَّبة في تخزين كائني، والبيانات الوصفية في قاعدة بيانات SQL مُدارة، وطابور المهام والتقدّم اللحظي في Redis.
• الاستضافة — شبكة سحابية خاصة متعدّدة الطبقات على AWS، مقرّها الاتحاد الأوروبي.

• بيانِي في مرحلة تجريبية — يُرجى عدم رفع بيانات حسّاسة أو شخصية.
• يعمل مع بيانات CSV الجدولية فقط — لا الصور ولا النصوص الحرّة ولا الصوت.
• لن يختلق بيانِي إشارةً غير موجودة في بياناتك. فالعملية النظيفة الصادقة قد تخلص مع ذلك إلى أنّ أعمدتك لا تتنبّأ بالهدف — وهذه إجابة حقيقية، لا إخفاق.
• يكتشف النموذج الأنماط والارتباطات، لا الأسباب. والتنبّؤ القوي ليس دليلًا على أنّ شيئًا يُسبّب آخر.
• جودة التنبّؤات رهنٌ بجودة البيانات التي وراءها. فالجودة والدقة تعتمدان على مدى تمثيل مجموعة بياناتك ونظافتها.
• يحتاج التنبّؤ إلى مئة مشاهدة على الأقل، ويدعم آفاقًا تصل إلى أربع وعشرين خطوة.
• تميل الإعدادات الافتراضية إلى خطّ أساس سريع وصادق بدلًا من ضبط مُستفيض.

لديك سؤال لم تُجِب عنه هذه الصفحة؟ اقرأ الأسئلة الشائعة أو تواصل معنا.