एजेंट
किसी AI एजेंट को अपने ऑपरेशन में शामिल करने से पहले उसका मूल्यांकन कैसे करें
Julián Medina द्वारा · सोर्सिंगअप के निदेशक और कॉमर्सअप के निर्माता
इसे चलाने से पहले प्रतिनिधि कार्यों और परिभाषित स्वीकृति मानदंडों के साथ इसका परीक्षण करें। मैंने अधूरी जानकारी, विफल होने वाले उपकरण और ऐसी स्थितियाँ शामिल कीं जिनमें किसी व्यक्ति से परामर्श की आवश्यकता होती है।
मामलों का एक सेट एक साथ रखें
मैंने सामान्य उदाहरण, ज्ञात अपवाद और दायरे से बाहर के अनुरोध एकत्र किए। प्रत्येक मामले के लिए, मैंने लिखा कि कौन सा परिणाम स्वीकार्य होगा और कौन सी कार्रवाई नहीं होनी चाहिए। यह पिछले परीक्षण द्वारा छोड़े गए प्रभाव पर निर्भर किए बिना परिवर्तनों की तुलना करने की अनुमति देता है। उपयोग किए गए डेटा और सेटिंग्स को भी रखें।
मैंने शेष कार्य को मापा
सही ढंग से पूर्ण किए गए कार्यों, त्रुटियों, हस्तक्षेपों और सुधारों की गणना करें। एक एजेंट बहुत सारे कार्य पूरा कर सकता है और बहुत अधिक समीक्षा प्रयास के साथ टीम को छोड़ सकता है। क्वेरी वर्गीकरण के एक उदाहरण में, श्रेणी को सही करना और यह पहचानना दोनों महत्वपूर्ण है कि एक अस्पष्ट संदेश में संशोधन की आवश्यकता है।
सिस्टम बदलने पर मैं दोबारा प्रयास करूंगा
एक नया मॉडल, निर्देश या एकीकरण व्यवहार को बदल सकता है। मैंने प्रासंगिक मामलों को दोहराया और संचालन में पाई गई विफलताओं को जोड़ा। इस प्रकार मूल्यांकन सीखने को संरक्षित करने का एक तरीका बन जाता है। लक्ष्य यह जानना है कि आप कहाँ काम कर सकते हैं और आपको कहाँ समर्थन की आवश्यकता है, न कि यह दिखाना कि आप कभी असफल नहीं होते।
इसे व्यवहार में लाना है
- मैंने प्रति मामले में अपेक्षित परिणाम परिभाषित किए।
- मैंने टूल त्रुटियाँ और अनुपलब्ध डेटा शामिल किया।
- हस्तक्षेप रिकॉर्ड करें और पुनः कार्य करें।
- मैंने प्रासंगिक परिवर्तनों के बाद मूल्यांकन दोहराया।
यह लुक कहां से आता है?
Julián Medina द्वारा गाइड। प्रस्तावित परिदृश्य उदाहरणात्मक हैं; वे मापे गए ग्राहक परिणामों का प्रतिनिधित्व नहीं करते हैं। सोर्सिंगअप पर मेरा काम.