دستیار اسناد پاسخ را مستند کرده است؛ آیا می‌توان به آن اعتماد کرد؟

مدیر از دستیار اسناد می‌پرسد آخرین مهلت انجام یک فرایند چیست. پاسخ با یک پیوند ارائه می‌شود و ظاهری قابل اتکا دارد. اما ممکن است پیوند به نسخه قدیمی دستورالعمل اشاره کند، متن منبع یک استثنا داشته باشد یا کاربر اصولاً مجاز به دیدن سند نباشد. شکل مستند پاسخ، این احتمال‌ها را از بین نمی‌برد.

در روش بازیابی‌افزوده یا RAG، سامانه بخش‌هایی از منابع را پیدا می‌کند و برای ساخت پاسخ در اختیار مدل می‌گذارد. این روش می‌تواند پاسخ را به دانش سازمان متصل کند؛ اما کیفیت آن به کل زنجیره وابسته است، نه فقط توان مدل زبانی.

سه سؤال مستقل

اول باید پرسید آیا سند مناسب بازیابی شده است. دوم، آیا ادعای پاسخ واقعاً از همان سند پشتیبانی می‌شود. سوم، آیا استفاده و نمایش آن برای این کاربر مجاز است. پاسخ مثبت به یکی از این سؤال‌ها، دو پاسخ دیگر را تضمین نمی‌کند.

پیشنهاد خرد این است که ارزیابی نیز همین تفکیک را حفظ کند. برچسب کلی «پاسخ درست» ممکن است معلوم نکند ضعف از جست‌وجو بوده، از خواندن منبع یا از کنترل دسترسی.

سند بیشتر همیشه به معنای استفاده بهتر نیست

پژوهش Lost in the Middle در TACL سال ۲۰۲۴، در آزمایش‌های مشخص نشان داد جای اطلاعات مرتبط در متن ورودی می‌تواند بر عملکرد مدل‌های بررسی‌شده اثر بگذارد و اطلاعات میانی گاهی بدتر استفاده شوند. این یافته را نباید بدون آزمون به همه مدل‌های امروز تعمیم داد؛ اما یادآور می‌شود ظرفیت پذیرش متن طولانی با استفاده قابل اتکا از همه آن برابر نیست.

برای سازمان، نتیجه عملی این است که افزودن اسناد بیشتر را با آزمون همراه کند. کیفیت قطعه‌بندی، نسخه سند، تاریخ اعتبار و نسبت محتوای مرتبط با اطلاعات اضافی اهمیت دارند. یک مخزن بزرگ با نسخه‌های ناسازگار ممکن است پاسخ‌گویی را پیچیده‌تر کند.

استناد باید به ادعا وصل باشد

در مثال فرضی یک دستورالعمل مرخصی، سند می‌گوید یک امتیاز فقط برای گروه مشخصی برقرار است. پاسخ دستیار همان امتیاز را برای همه کارکنان بیان می‌کند و به سند درست هم پیوند می‌دهد. در این حالت منبع پیدا شده، اما دامنه ادعا تغییر کرده است.

در آزمون پذیرش، از ارزیاب بخواهید جمله اصلی پاسخ را با قطعه دقیق منبع مقایسه کند. وجود یک پیوند کافی نیست. سامانه بهتر است در نبود شواهد کافی، محدودیت را بیان کند یا به فرد مسئول ارجاع دهد. نمایه هوش مصنوعی مولد NIST نیز ریسک تولید محتوای نادرست با ظاهر معتبر را در مدیریت ریسک مطرح می‌کند؛ این راهنما تضمین صحت یک محصول مشخص نیست.

دسترسی را قبل از نمایش کنترل کنیم

اگر کاربر تنها به اسناد واحد خود دسترسی دارد، بازیابی هم باید این محدودیت را رعایت کند. پنهان‌کردن پیوند سند پس از تولید پاسخ کافی نیست، چون اطلاعات ممکن است در متن جواب آمده باشد. راهنمای استقرار امن NCSC بر کنترل دسترسی مناسب به داده، مدل و رابط‌ها تأکید دارد.

در نمونه آزمون، سؤال یکسان را با دو حساب دارای مجوز متفاوت اجرا کنید. همچنین سند لغوشده، سند دارای اطلاعات شخصی و سؤال خارج از دامنه را بررسی کنید. این پیشنهادها جای آزمون امنیت کامل را نمی‌گیرند، اما خطاهای مهمی را قابل مشاهده می‌کنند.

اعتماد باید قابل بازبینی بماند

با تغییر اسناد، مدل یا شیوه جست‌وجو، نتیجه آزمون قبلی ممکن است کافی نباشد. مجموعه‌ای از سؤال‌های مرجع را نگه دارید و پس از تغییرات مهم دوباره اجرا کنید. گزارش باید موارد ناتوانی و پاسخ‌ندادن را نیز نشان دهد.

دستیار اسناد زمانی برای تصمیم‌گیری مفیدتر است که بتوان پاسخ آن را تا شواهد دنبال کرد و محدودیتش را شناخت. برای کارهای حساس، سرعت پیدا کردن جواب ارزشمند است؛ اما قابلیت بررسی و اصلاح، بخشی از همان ارزش است.

درباره این مطلب

این مطلب با کمک ابزارهای هوش مصنوعی تهیه شده و تحلیل‌ها و پیشنهادهای آن متعلق به تحریریه خرد است. منابع اصلی در پیوندهای زیر آمده‌اند؛ مثال‌های فرضی، گزارش رویداد واقعی نیستند.

منابع اصلی

Liu و همکاران؛ Lost in the Middle، نشریه TACL، ۲۰۲۴

NIST؛ نمایه هوش مصنوعی مولد در چارچوب مدیریت ریسک، ۲۰۲۴

NCSC؛ راهنمای استقرار امن سامانه هوش مصنوعی