برای ارزیابی مدل زبانی، نمونه‌هایی از کار واقعی تیم را با معیار قبولی مشخص آزمایش کنید. یک دستیار پشتیبانی، استخراج‌کنندهٔ فیلدهای فاکتور و ابزار خلاصه‌سازی هرکدام خطای متفاوتی دارند. پیش از مقایسه، بنویسید چه نوع خطایی باعث می‌شود پاسخ به کاربر نمایش داده نشود.
مجموعهٔ آزمون را با کار واقعی بسازید
نمونه‌های رایج، مرزی، مبهم و مواردی را که پاسخ صحیحشان در دسترس نیست انتخاب کنید. برای استخراج داده، نتیجهٔ مورد انتظار را با فیلدهای جدا بنویسید. برای پاسخ آزاد، یک راهنمای امتیازدهی تهیه کنید که توضیح دهد پاسخ درست باید چه نکاتی داشته باشد و چه ادعاهایی باعث رد می‌شوند. دادهٔ حساس را طبق سیاست سازمان حذف یا جایگزین کنید.
| معیار | نمونهٔ تعریف عملی |
|---|---|
| دقت | شماره مدل و نتیجه با منبع تأییدشده یکسان است |
| ارجاع | لینک باز می‌شود و متن مورد استناد را نشان می‌دهد |
| هزینه | مجموع هزینه درخواست و تلاشهای مجدد برای هر پاسخ قابل استفاده |
| زمان | زمان پاسخ در صدک ۹۵ و موارد عبور از مهلت |
| خطای حساس | افشای داده یا تصمیم نادرست که نیاز به توقف دارد |
مقایسه را با شرایط یکسان اجرا کنید
نسخه مدل، پیام راهنما، ابزارها، تنظیمات و نمونه‌های ورودی را ثبت کنید. برای کارهایی با پاسخ متغیر، چند بار اجرا کنید و توزیع نتایج را ببینید. اگر مدل یا پیام را با دیدن نمونه‌های آزمون تغییر داده‌اید، مجموعهٔ دیگری برای تأیید نهایی نگه دارید. گزارش را به‌صورت نرخ قبولی و چند نمونهٔ شکست ارائه کنید تا تصمیم فقط به یک میانگین وابسته نباشد.
نتیجه را به تصمیم انتشار تبدیل کنید
فرض کنید هر دو مدل پاسخ‌های ساده را درست می‌دهند، ولی یکی در درخواست‌های مبهم بیشتر ادعای بی‌منبع دارد. برای این گروه، هدایت به بررسی انسانی یا درخواست اطلاعات تکمیلی می‌تواند شرط انتشار باشد. بعد از انتشار محدود، کیفیت نمونه‌ای از پاسخ‌ها، زمان و هزینه را دوباره اندازه بگیرید. راهنمای ساخت دستیار RAG · چارچوب مدیریت ریسک هوش مصنوعی NIST