LenserFight: منصة محلية أولاً لتقييم وكلاء الذكاء الاصطناعي والمطالبات
LenserFight، بواسطة Conectlens، هي منصة مفتوحة لتصميم وتقييم وكلاء الذكاء الاصطناعي، والمطالبات القابلة لإعادة الاستخدام، وعمليات تقييم الأداء. تعمل كمعمل للذكاء الاصطناعي يسمح للفرق بإنشاء "عدسات" ذات إصدارات، وتشغيل سير العمل على شكل رسم بياني دوري موجه، وتنظيم أحداث تقييم تمزج بين تسجيل النقاط وفقًا لمعايير معينة والحكم البشري. تتضمن الأداة خادم بروتوكول سياق النموذج (MCP)، وخيارات تنفيذ النموذج المحلي، وساحة عامة للسجلات المشتركة. المستخدمون المستهدفون هم مطورو الذكاء الاصطناعي، ومهندسو المطالبات، والباحثون الذين يركزون على التقييم القابل للتكرار والتقييم الخاص.
ما المهام التي تتيح لك المنصة تحديدها وإعادة إنتاجها؟
تعامل المنصة مع المهمة كـ "عدسة" رسمية، وهي مواصفة مُصدرة تجمع بين موجه، ومعيار تقييم، ومخطط اختياري للمخرجات المنظمة. العدسات تعمل كحالات اختبار قابلة لإعادة الاستخدام حتى تتمكن الفرق من تنفيذ تعليمات متطابقة عبر النماذج والحفاظ على الإصدارات من أجل التدقيق. يدعم هذا التصميم المواد التقييمية المنظمة بدلاً من الموجهات العشوائية، مما يساعد عند مقارنة النتائج عبر تشغيل النماذج أو تكرار التجارب.
كيف يتم إنتاج درجات التقييم ومقارنتها؟
تستخدم أحداث التقييم نموذج تسجيل مزدوج، حيث يتم دمج تسجيل المعيار الآلي مع تصويتات بشرية مدفوعة من المجتمع لإنتاج لوحات قيادة عامة وتصنيفات على نمط ELO. تهدف هذه التركيبة إلى تحقيق التوازن بين مقاييس المعيار الموضوعية والأحكام البشرية النوعية. تعتمد الموثوقية على تصميم المعيار وعينة الناخبين البشريين، لذا فإن المقارنات قابلة للتكرار فقط بقدر ما تكون العدسات وسجلات التنفيذ المسجلة التي ترافق كل تشغيل.
ما المدخلات وبيئات التنفيذ المدعومة؟
يكشف خادم MCP عن أكثر من ثلاثين أداة للتكامل مع عملاء بروتوكول سياق النموذج، وتدعم المنصة تنسيق النموذج المحلي من خلال Ollama وvLLM وllama.cpp. تتكامل العملاء المستندة إلى الويب عبر OAuth 2.1 PKCE. تتيح هذه الخيارات للفرق تنفيذ تجارب متصلة بالسحابة وغير متصلة، مما يمكّن من مقارنة الأداء بين المساعدين المحليين والبعيدين من خلال نقطة نهاية واحدة لـ MCP.
كيف تتناسب المنصة مع سير العمل الذي يراعي الخصوصية؟
يتبنى المشروع موقفًا محليًا أولاً، مما يمكّن من تشغيل النماذج غير المتصلة لأغراض القياس وخصوصية البيانات، بينما يقدم أيضًا ساحة مجتمعية عامة للسجلات المشتركة والمشي عبر العمليات. قاعدة الشيفرة مفتوحة المصدر على GitHub والمشروع في مرحلة تجريبية، لذا ينبغي على المؤسسات التخطيط للتطوير النشط، وإدارة المجتمع للمعارك، ومرحلة إعداد تقنية قبل الاعتماد عليها للتقييمات الرسمية.
المنصة تناسب الفرق الماهرة تقنيًا التي تسعى إلى مقارنات نموذجية قابلة للتكرار ومسيطر عليها محليًا
المنصة خيار عملي لمطوري الذكاء الاصطناعي والباحثين الذين يقبلون عبء التهيئة للحصول على مواد اختبار ذات إصدار وتحكم في التنفيذ المحلي. تعني حالتها التجريبية و نموذج التقييم المدفوع من المجتمع أن النتائج تتطلب تصميمًا دقيقًا للمعايير وإدارة موثوقة. بالنسبة للفرق التي تعطي الأولوية للتقييم القابل للتكرار وتشغيل النماذج محليًا، توفر المنصة إطار تقييم واضح؛ بالنسبة للمستخدمين غير التقنيين، قد تحدد تعقيدات الإعداد من الفائدة الفورية.
