نماذج القرار في RAG الوكيلي: تسع نقاط تحقق.

ما الذي تضيفه طبقة القرار؟

افصل الكتابة عن إصدار الحكم. قد يبحث مساعد يجيب عن سياسة المصروفات في المستندات، ويقارن الإصدارات، ويكتب مسودة رد، ويقترح إنشاء تذكرة. يحتاج كل انتقال إلى قاعدة. ولا تثبت طلاقة الإجابة النهائية سلامة الاختيارات السابقة.

Jev أحد التطبيقات الممكنة. تستقبل واجهة القرار من TypeSafe حالة مقدمة وأسئلة مسمّاة، وتعيد نتائج ذات أنواع محددة. قد يعيد سؤال نعم أو لا احتمالاً مقدراً للإجابة بنعم. وهذا ليس إثباتاً للحقيقة ولا تفسيراً مكتوباً؛ احتفظ بالأدلة التي يحتاج إليها المراجع. [1][3]

تحتاج معايرة الاحتمالات إلى تقييم أيضاً. تصف المعايرة مدى تطابق الاحتمالات مع النتائج المرصودة عبر مجموعات من التنبؤات. ولا تضمن صحة إجابة بعينها. اختبر الموثوقية على المستندات واللغات وفئات المخاطر التي تستخدمها فعلياً. [5]

اجمع الأسئلة المستقلة. يمكن إرسال الفحوص التي تتشارك الحالة نفسها في طلب واحد. ولا يستخدم أي منها إجابة الآخر داخل الطلب ذاته. في البنية أدناه، تفرز الشيفرة المقاطع أولاً، ثم يتلقى فحص لاحق المجموعة التي احتُفظ بها فعلياً. [2]

1–2. اختر المسار وافحص الحدود.

وجّه المهمة إلى مسار معتمد. تختلف مسارات الاستعلام البسيط والطلب الغامض والمراجعة المتخصصة. قيّم التوجيه بحسب المهمة وعواقب الخطأ؛ فالنموذج الأكبر أو الأعلى تكلفة ليس صحيحاً تلقائياً. [4]

افحص المدخلات والمخرجات. يمكن لفحوص منفصلة رصد مدخلات حساسة أو مخرجات غير مدعومة. قد يفيد تقدير احتمال حقن التعليمات، لكنه لا يمنح صلاحية الوصول ولا يغني عن العزل وتقليل الامتيازات والموافقة. [10][11]

افتح مخطط SVG الكامل (يفتح في علامة تبويب جديدة)

اقرأ المخطط كنص

1. طلب عمل

   دليل من المصدر. سؤال وسياق مسموح ونطاق مستخدم معروف.

2. 1 · 2 · فحوص دلالية مستقلة

   تقدير النموذج. ما المهمة والمخاطر؟ وهل يلزم استيضاح؟

3. تطبيق السياسة المعتمدة

   سياسة برمجية. طبّق النطاق والجهات المعتمدة وحدود التكلفة.

4. المتابعة أو طلب المراجعة

   سياسة برمجية. اختر معالجة مسموحة أو استوضح أو ارفض المهمة.

الروابط والمسارات البديلة

• طلب عمل → فحوص دلالية مستقلة
• فحوص دلالية مستقلة → تطبيق السياسة المعتمدة
• تطبيق السياسة المعتمدة → المتابعة أو طلب المراجعة

فرز الأدلة (4)، ثم التحقق من كفايتها (3).

استرجع قائمة واسعة ذات حجم محدود. يجمع البحث الهجين نتائج الكلمات المفتاحية والمتجهات؛ ويمكن لدمج الترتيب توحيد قائمتيها. قد تهم المعرّفات الدقيقة والصياغات البديلة معاً. ويبقى الاسترجاع هو الحد الأعلى: لا تستعيد إعادة الترتيب مقطعاً غائباً عن المرشحين. [6][8]

اطرح أسئلة دقيقة عن كل مرشح. هل يقدم المقطع دليلاً مفيداً، أم تعارضاً، أم مجرد ارتباط بالموضوع؟ أبقِ معرّفات المصادر والتعارضات ظاهرة. تطبّق شيفرة التطبيق سياسة الفرز والترتيب التي جرى تقييمها؛ فالتشابه واحتمال الإجابة بنعم كميتان مختلفتان. [7]

افحص المجموعة المتبقية. بعد أن تحتفظ الشيفرة بالمقاطع، اسأل هل تدعم المجموعة كل جزء مطلوب من الإجابة. لا يثبت فحص القائمة الأصلية كفاية مجموعة فرعية مختلفة. يؤدي نقص الأدلة إلى إعادة محاولة محدودة أو طلب توضيح أو إجابة صريحة بعدم كفاية المعلومات. [2]

افتح مخطط SVG الكامل (يفتح في علامة تبويب جديدة)

اقرأ المخطط كنص

1. قائمة من بحث هجين

   دليل من المصدر. ادمج ترتيب الكلمات والمتجهات واحفظ ضوابط المصادر.

2. 4 · تقييم كل مرشح

   تقدير النموذج. قدّر الصلة والأدلة والعبارات المتعارضة.

3. الترشيح برمجياً

   سياسة برمجية. استخدم حدوداً بنسخ مسجلة لتكوين المجموعة المختارة فعلياً.

4. 3 · فحص هذه المجموعة لاحقاً

   تقدير النموذج. هل تغطي الأدلة المختارة جميع الأجزاء المطلوبة؟

5. مسودة بالمقاطع المختارة

   مسودة النموذج. إن كفت الأدلة، أعدّ مسودة مرتبطة بمصادرها.

6. استرجاع أو استيضاح أو امتناع

   سياسة برمجية. إن نقص الدليل، حاول ضمن حدود أو أعد الحالة للمراجعة.

الروابط والمسارات البديلة

• قائمة من بحث هجين → تقييم كل مرشح
• تقييم كل مرشح → الترشيح برمجياً
• الترشيح برمجياً → فحص هذه المجموعة لاحقاً
• فحص هذه المجموعة لاحقاً → مسودة بالمقاطع المختارة (نعم)
• فحص هذه المجموعة لاحقاً → استرجاع أو استيضاح أو امتناع (لا)
• استرجاع أو استيضاح أو امتناع → قائمة من بحث هجين

تقديرات توضيحية لاحتمال وجود دليل مفيد. C1: 0.92; C2: 0.74; C3: 0.18. تقديرات غير مقاسة. عند الحد التوضيحي 0.80، احتفظ بـ C1 واستبعد C2 وC3. حدّد السياسة بتقييم بياناتك.

5–6. تحقّق من الدعم قبل تحويل المسودة إلى إجراء.

يجب أن يدعم الاستشهاد الادعاء. لا يكفي العثور على رابط مصدر. تحقّق آلياً من مطابقة الاقتباسات، ثم قيّم هل يدعم المقطع المستشهد به العبارة أم يناقضها أم لا يتناولها. تحتاج الخلافات والسياقات الناقصة إلى مراجعة. [9]

الصلاحية قرار منفصل. قد يبدو الإجراء المقترح منطقياً من حيث المعنى لكنه غير مصرح به. يتحقق التطبيق من الهوية والوصول والمعاملات والموافقة المطلوبة قبل التنفيذ. لا تخوّل درجة نموذج إيجابية إجراء دفعة أو إرسال بريد أو تعديل سجل. [11]

افتح مخطط SVG الكامل (يفتح في علامة تبويب جديدة)

اقرأ المخطط كنص

1. ادعاء أو إجراء مقترح

   مسودة النموذج. احفظ الادعاء ومعرّف المصدر ومعاملات الأداة المقترحة.

2. 5 · هل يدعمه المصدر؟

   تقدير النموذج. للدعم والتعارض وغياب الدليل مسارات مختلفة.

3. 6 · فرض صلاحية الإجراء

   سياسة برمجية. افحص المصادر والصلاحيات والمعاملات والحدود.

4. موافقة أو سؤال أو رفض

   مراجعة بشرية. تسبق الموافقة المطلوبة الإجراء؛ ثم تُفحص نتيجته.

الروابط والمسارات البديلة

• ادعاء أو إجراء مقترح → هل يدعمه المصدر؟
• هل يدعمه المصدر؟ → فرض صلاحية الإجراء
• فرض صلاحية الإجراء → موافقة أو سؤال أو رفض

7–8. اجعل الحلقة محدودة والسياق قابلاً للمساءلة.

يحتاج الاكتمال إلى معايير قبول. قد يظن المساعد أنه انتهى مع غياب جزء مطلوب. قارن النتائج بمعايير صريحة. تُوقف الحدود الصارمة لعدد التكرارات والزمن والتكلفة العمل، مهما قدّر النموذج أن الاستمرار مطلوب. [13]

اختر السياق دون محو الالتزامات. قد تقلل إزالة المواد غير ذات الصلة أو القديمة من التشويش. حافظ على السياسات المطلوبة ومعلومات المصادر والتعارضات غير المحسومة وحالة المهمة اللازمة. اختيار السياق ليس إذناً بحذف سجلات التدقيق أو تغيير سياسة الاحتفاظ بصمت. [12]

افتح مخطط SVG الكامل (يفتح في علامة تبويب جديدة)

اقرأ المخطط كنص

1. 7 · المقارنة بمعايير القبول

   تقدير النموذج. هل تحقق النتيجة المهمة المحددة المطلوبة؟

2. فرض الميزانية الصارمة

   سياسة برمجية. لا تمدّد الدرجة عدد المحاولات أو الزمن أو التكلفة.

3. 8 · حفظ السياق الضروري

   سياسة برمجية. احفظ السياسة ومعرّفات المصادر وأزل التكرار القديم.

4. خطوة تالية محدودة

   دليل من المصدر. استرجع أو راجع فقط حين تسمح السياسة بذلك.

5. إنهاء أو إبلاغ بالنقص

   مراجعة بشرية. أعد المهمة المكتملة وأحل نفاد الميزانية للمراجعة.

الروابط والمسارات البديلة

• المقارنة بمعايير القبول → فرض الميزانية الصارمة
• فرض الميزانية الصارمة → حفظ السياق الضروري (محاولة)
• حفظ السياق الضروري → خطوة تالية محدودة
• خطوة تالية محدودة → المقارنة بمعايير القبول
• فرض الميزانية الصارمة → إنهاء أو إبلاغ بالنقص (توقف)

9. راقب مسارات تنفيذ أكثر، وواصل اختبار أداة التقييم.

التغطية والدقة تجيبان عن سؤالين مختلفين. قد يوسّع فحص كل مسار تنفيذ مسجل نطاق المراقبة. لكنه لا يثبت صحة كل حكم أو تغطية كل إخفاق. احتفظ بأمثلة موسومة بشرياً، وافحص الاختلافات، وأبلغ عن التقييمات المتعذرة أو الفاشلة. [14]

اجعل التغييرات قابلة للمقارنة. سجّل إصدارات النموذج وصياغة الأسئلة ومجموعة المصادر وسياسة العتبات. قِس الموافقات الخاطئة والأدلة الفائتة والامتناع وجهد المراجعة والتكلفة والزمن الكليين مقارنة بسير العمل الحالي. اختبر على حالات مستقلة قبل تعديل سياسة الإنتاج.

التتبع دليل على ما نُفّذ. يمكن لـ Opik تسجيل استدعاءات TypeSafe ونتائج التقييم. يوضح مستودع patchy631/jev-as-judge الخارجي أسلوباً تعليمياً؛ وهو عمل مؤلفه وليس نشراً نفذته GTC. والتجربة المسجلة ليست شهادة جودة. [15][19]

افتح مخطط SVG الكامل (يفتح في علامة تبويب جديدة)

اقرأ المخطط كنص

1. مسار مصرح ومقلل البيانات

   دليل من المصدر. احتفظ فقط بالأدلة التي يُسمح للتقييم باستخدامها.

2. 9 · تطبيق معيار بنسخة مسجلة

   تقدير النموذج. قدّر الدعم وتغطية الطلب وصدق وصف الإجراءات.

3. مقارنة بتصنيفات بشرية

   مراجعة بشرية. راجع الأخطاء والحالات الصعبة وتغيّر توزيع البيانات.

4. متابعة الجودة والعبء

   تقييم المسار. قِس الجودة والتكلفة والزمن قبل توسيع التغطية.

الروابط والمسارات البديلة

• مسار مصرح ومقلل البيانات → تطبيق معيار بنسخة مسجلة
• تطبيق معيار بنسخة مسجلة → مقارنة بتصنيفات بشرية
• مقارنة بتصنيفات بشرية → متابعة الجودة والعبء

ثلاثة مسارات أعمال تستحق الاختبار.

ابدأ بقرار له مسؤول واضح. هذه أفكار لتجارب توضيحية، وليست مشروعات عملاء مكتملة أو وفورات مقاسة. تحتاج كل منها إلى مصادر مصرح بها، ومسؤول للعملية، ونقطة واضحة يجب أن يتوقف عندها النظام.

حوّل البنية إلى تجربة ذات نطاق محدود.

اتفق على القرار قبل اختيار النموذج. اختر مهمة متكررة والأخطاء ذات الأثر. ينبغي أن تكشف التجربة هل تحسّن طبقة القرار سير العمل بما يبرر تشغيلها، مع احتساب تكلفة المراجعة والإخفاقات.

حدّد حدود انتقال البيانات. يرسل تكامل Jev المستضاف الحالة المختارة إلى مزود خدمة. اتفق على البيانات المسموح بها والاستضافة والوصول والاحتفاظ والشروط التعاقدية قبل ربط السجلات. لا تفعّل هذه المقالة ذلك التكامل. [16]

• مهمة واحدة، ومسؤول مسمّى، ومتطلبات معتمدة للإنجليزية والعربية.
• مجموعة أمثلة تمثيلية موسومة، تشمل الأدلة الناقصة والمتعارضة والعدائية.
• خط أساس واختبارات مستقلة ومعايير قبول للأخطاء ذات العواقب.
• إصدارات مسجلة للأسئلة والنماذج والسياسة، ومسارات صريحة للمراجعة وعدم الإجابة.
• تصميم للوصول وحدود تشغيل ومسؤول مراقبة وخطة تراجع.