در RAG، سامانه ابتدا بخشهای مرتبط اسناد را بازیابی می‌کند و مدل زبانی با همان متن‌ها پاسخ میدهد. برای دستیار سازمانی، ارزش اصلی این روش آن است که کاربر بتواند پاسخ را تا سند و بخش مربوط دنبال کند. کیفیت بازیابی، سطح دسترسی و تازگی سند روی نتیجه به‌اندازهٔ انتخاب مدل اثر دارند.
از یک مجموعهٔ کوچک و مشخص شروع کنید
برای نمونه، دفترچه‌های نصب و پرسش‌های پشتیبانی را انتخاب کنید. نسخه، تاریخ، عنوان، شمارهٔ صفحه و گروه مجاز هر سند را کنار متن ذخیره کنید. جدول و تصویر اسکن‌شده را بررسی کنید تا محتوای مهم هنگام استخراج از بین نرود. سند جدید و سند منسوخ را در یک وضعیت قرار ندهید. هنگام بازیابی، نسخهٔ معتبر را برای همان محصول و بازار اولویت دهید.
مسیر یک سؤال واقعی را دنبال کنید
اگر کاربر بپرسد «کدام آداپتور برای مدل A مناسب است؟»، نام مدل را از پرسش جدا کنید و نتایج را به اسناد همان خانواده محدود کنید. بخش حاوی جدول سازگاری را همراه عنوان و نسخه به مدل بدهید. خروجی باید شمارهٔ قطعه را با ارجاع نشان دهد. اگر سند دو نسخهٔ متفاوت دارد، شرایط هر نسخه را بیاورد. وقتی پاسخ در اسناد پیدا نمی‌شود، سامانه باید همین وضعیت را روشن کند تا کاربر مسیر بررسی انسانی را بداند.
دسترسی و دستورهای داخل سند
مجوز باید قبل از ورود متن به ورودی مدل اعمال شود. نقش کاربر، سازمان و مجوز سند را در سرویس بازیابی بررسی کنید. متن سند را داده در نظر بگیرید و دستورهای احتمالی داخل آن را به مدل یا ابزار اجرا منتقل نکنید. برای مثال، عبارتی که در متن یک فایل از دستیار می‌خواهد سند خصوصی دیگری را ارسال کند نباید رفتار سامانه را تغییر دهد.
بازیابی و پاسخ را جداگانه ارزیابی کنید
یک مجموعه شامل پرسش‌های قابل پاسخ، پرسش‌های بدون منبع و سؤال‌هایی با نام مدل مشابه بسازید. برای هر سؤال ابتدا بررسی کنید آیا بخش درست بازیابی شده است. سپس ببینید پاسخ به همان بخش تکیه دارد و ارجاعش قابل باز شدن است. در کنار دقت، زمان پاسخ و هزینهٔ هر درخواست را اندازه بگیرید. راهنمای ارزیابی مدل زبانی · راهنمای NIST برای ریسک هوش مصنوعی مولد