مهندس برمجيات خلفية أول للذكاء الاصطناعي – تقييم الوكلاء وجودتهم

الوصف

عن الدور

تشغّل شركة سلة أنظمة إنتاجية متعددة الوكلاء تنفذ أعمالًا فعلية لقاعدة كبيرة من المستخدمين. ومع توسع هذه الأنظمة، يتمثل التحدي الأكبر في بناء الثقة بأدائها؛ إذ تحتاج الشركة إلى معرفة مدى جودة أداء الوكلاء، واكتشاف التراجعات قبل إطلاقها، والحفاظ على مستوى ثابت من الجودة مع كل إصدار. ويتولى هذا الدور مسؤولية تحقيق ذلك.

سيعمل شاغل الوظيفة على بناء أنظمة التقييم التي تدعم الوكلاء، بما في ذلك أدوات التحكيم، وأطر الاختبار، والمحاكيات التي توضح ما إذا كان الوكيل يعمل كما ينبغي وتحدد مواضع إخفاقه. ويتمثل الهدف في تمكين الشركة من إطلاق الوكلاء بوتيرة أسرع اعتمادًا على نتائج تقييم موثوقة.

يركز الدور على التقييم، لكنه لا يقتصر عليه؛ ففهم أنماط إخفاق الوكلاء سيتيح أيضًا فرصًا للمساهمة في تطويرهم، من خلال بنائهم وتحسينهم بالتوازي مع الأنظمة التي تقيّمهم.

المسؤوليات

• تولي مسؤولية منظومة التقييم، وتصميم وبناء أنظمة التقييم القائمة على نماذج اللغة الكبيرة بوصفها حكامًا، ومعايرتها مقابل التصنيفات البشرية، وجعل جودة الوكلاء قابلة للقياس على مستوى كل وكيل وكل نمط من أنماط الإخفاق.
• تحويل بوابة الإطلاق إلى آلية فعلية؛ عبر بناء أطر تقييم لكل طلب دمج، وربط اكتشاف التراجعات بالتكامل المستمر، بحيث يجري فرض الجودة تلقائيًا بدلًا من الاعتماد على المراجعات اليدوية.
• بناء محاكيات للمستخدمين لإنشاء تغطية اختبار وحالات خصمية قبل مواجهتها من المستخدمين الفعليين.
• تحويل إشارات الإنتاج إلى تحسينات، من خلال إدخال حالات الإخفاق الفعلية ضمن مجموعات التقييم حتى تتطور المنظومة باستمرار.
• التعاون مع فريق المنتج لتحويل مفهوم الأداء الجيد إلى معايير محددة وقابلة للقياس.
• التطور نحو تطوير الوكلاء، والمساهمة في بنائهم وتعزيز متانتهم، بدءًا من المكونات التي يمتلك شاغل الوظيفة أعمق معرفة بها نتيجة تقييمها.

المتطلبات

• امتلاك أساسيات قوية في هندسة البرمجيات، وخبرة إنتاجية في Python أو TypeScript أو لغات مشابهة، إلى جانب تصميم واجهات برمجية وأنظمة نظيفة، والاختبار، والتكامل والتسليم المستمران. يتعين على المتقدم كتابة شيفرة يمكن للآخرين البناء عليها، لأن البنية التحتية للتقييم تمثل هندسة برمجيات فعلية.
• خبرة عملية في نماذج اللغة الكبيرة والوكلاء؛ مثل بناء الوكلاء، والاسترجاع المعزز بالتوليد (RAG)، واستدعاء الأدوات أو الوظائف، وأطر التنسيق مثل LangGraph وLangChain أو ما يعادلها، مع فهم كيفية عمل هذه الأنظمة وطرق إخفاقها.
• امتلاك منهجية تركز على القياس، والقدرة على التفكير في المقاييس والمعايرة والتجارب، والرغبة في قياس مدى نجاح الحل بدلًا من الاكتفاء بإطلاقه.
• خبرة في بيئات الإنتاج، بما يشمل تشغيل أنظمة نماذج اللغة الكبيرة والتعامل مع الموثوقية وزمن الاستجابة والتكلفة وقابلية الرصد.
• خبرة لا تقل عن خمس سنوات في هندسة البرمجيات، مع خبرة عملية حديثة في نماذج اللغة الكبيرة أو الوكلاء.

المزايا الإضافية

• خبرة مباشرة في تقييم أنظمة نماذج اللغة الكبيرة أو الوكلاء، بما في ذلك التقييم غير المتصل أو المتصل، والتقييم القائم على نماذج اللغة الكبيرة بوصفها حكامًا، والاختبار المنهجي للتراجعات.
• خبرة في أدوات قابلية الرصد مثل Arize وLangSmith أو ما يماثلها.
• خبرة في اللغة العربية أو معالجة اللغة الطبيعية.
• خبرة في التجارة الإلكترونية أو المنتجات الموجهة للتجار.

نوع مكان العمل: عن بُعد