پاسخ توضیح‌پذیر، لزوماً تصمیم درست نمی‌سازد

سامانه می‌گوید یک گزینه را پیشنهاد می‌کند و برای آن چند دلیل منظم می‌نویسد. خواننده احساس می‌کند با تصمیمی روشن روبه‌روست؛ اما ممکن است متن توضیح، فقط توجیهی پذیرفتنی باشد و فرایند واقعی تولید نتیجه را نشان ندهد. حتی توضیح دقیق فرایند هم به‌تنهایی ثابت نمی‌کند تصمیم با هدف سازمان سازگار است.

توضیح‌پذیری برای بررسی و پاسخ‌گویی ارزش دارد، به شرط آنکه با کیفیت تصمیم اشتباه گرفته نشود. باید بتوان درباره توضیح سؤال کرد و آن را با داده و رفتار سامانه سنجید.

چهار تمایز در یک گزارش مرجع

گزارش نهایی NIST در سال ۲۰۲۱ چهار اصل را مطرح می‌کند: وجود توضیح یا شواهد، معناداربودن برای مخاطب، درست‌بودن توضیح نسبت به فرایند و رعایت حدود دانش سامانه. در این چارچوب، داشتن توضیح با درست‌بودن آن یکسان نیست و مخاطبان مختلف نیز نیازهای توضیحی یکسانی ندارند. این اصول نقشه مفهومی‌اند، نه گواهی کیفیت برای هر خروجی هوش مصنوعی.

پیشنهاد تحریریه این است که پیش از مطالبه «توضیح بیشتر»، هدف توضیح مشخص شود. آیا مدیر می‌خواهد تصمیم را تغییر دهد، کارشناس می‌خواهد خطا را پیدا کند یا فرد متأثر می‌خواهد بفهمد کدام اطلاعات باید اصلاح شود؟ پاسخ مناسب برای این سه هدف ممکن است متفاوت باشد.

روان‌بودن، معیار درستی نیست

مدل زبانی برای ساخت متن منسجم توانمند است. بنابراین کیفیت نثر را باید از کیفیت شواهد جدا سنجید. در نمایه هوش مصنوعی مولد NIST، تولید محتوای نادرست با ظاهر اطمینان‌بخش از جمله ریسک‌های قابل مدیریت است. درخواست توضیح از همان سامانه، بدون شواهد دیگر، این ریسک را به‌طور خودکار برطرف نمی‌کند.

در مثال فرضی، دستیار می‌گوید «این تأمین‌کننده به دلیل هزینه کمتر مناسب‌تر است». اگر هزینه پشتیبانی یا انتقال داده در ورودی نبوده، توضیح ممکن است منظم باشد اما تصمیم بر مقایسه ناقص تکیه دارد. افزودن چند بند بیشتر به متن، کمبود داده را جبران نمی‌کند.

تصمیم چه هدفی را دنبال می‌کند؟

تصمیم‌گیری معمولاً به سنجش میان چند هدف نیاز دارد: هزینه، کیفیت، سرعت، انصاف یا امکان جبران. مدل ممکن است یک معیار را خوب پیش‌بینی کند؛ مدیر هنوز باید تعیین کند آن معیار چه وزنی در انتخاب دارد. این وزن‌دهی، خود یک انتخاب سازمانی یا عمومی است.

به همین دلیل، پاسخ سامانه بهتر است فرض‌ها و اطلاعات استفاده‌نشده را روشن کند. اگر تصمیم با تغییر یک فرض کوچک عوض می‌شود، حساسیت نتیجه باید دیده شود. نمایش یک پیشنهاد قطعی، این وابستگی را از چشم خواننده پنهان می‌کند.

توضیحی که به اقدام کمک می‌کند

برای فرد متأثر، توضیح باید روشن کند چه چیزی قابل اصلاح یا پیگیری است. برای ارزیاب، باید امکان مقایسه با شواهد و نمونه‌های مشابه وجود داشته باشد. برای مدیر، باید معلوم شود کدام عدم قطعیت هنوز حل نشده و چه اطلاعاتی می‌تواند نتیجه را تغییر دهد.

در الگوی پیشنهادی خرد، کنار پیشنهاد اصلی چهار قلم ثبت می‌شود: شواهد استفاده‌شده، فرض‌های مؤثر، گزینه‌های کنارگذاشته‌شده و شرط بازبینی. این الگو یک پیشنهاد تحریریه برای نظم‌دادن به تصمیم است و استاندارد رسمی یا روش تضمین‌کننده صحت محسوب نمی‌شود.

پاسخ ندادن هم می‌تواند رفتار درست باشد

اگر اطلاعات کافی نیست یا کاربرد بیرون از دامنه آزمون است، سامانه باید بتواند محدودیت را بیان کند. عبارت «نامطمئن هستم» زمانی مفید است که به اقدام بعدی وصل شود: درخواست سند، ارجاع به کارشناس یا توقف تصمیم. نمره اطمینان نیز فقط وقتی ارزش دارد که معنای آن و روش اعتبارسنجی‌اش مشخص باشد.

توضیح خوب باید امکان مخالفت مستدل را بیشتر کند. اگر خواننده فقط تحت تأثیر نثر قرار بگیرد و نتواند ادعا را بررسی کند، متن از نظر ارتباطی موفق بوده اما هنوز نقش خود را در پاسخ‌گویی و بهبود تصمیم نشان نداده است.

درباره این مطلب

این مطلب با کمک ابزارهای هوش مصنوعی تهیه شده و تحلیل‌ها و پیشنهادهای آن متعلق به تحریریه خرد است. منابع اصلی در پیوندهای زیر آمده‌اند؛ مثال‌های فرضی، گزارش رویداد واقعی نیستند.

منابع اصلی

NIST؛ چهار اصل هوش مصنوعی توضیح‌پذیر، گزارش نهایی ۲۰۲۱

NIST؛ نمایه هوش مصنوعی مولد، ۲۰۲۴