بازگشت به وبلاگ

بازیابی بیشتر، پاسخ بهتر؟ درس‌های یک استقرار واقعی RAG Fusion

پژوهشی از مدرانو، ورما و چابرا نشان می‌دهد در یک سامانهٔ RAG شبیه محیط تولید، تکنیک RAG Fusion هرچند recall را بالا می‌برد، اما پس از re-ranking و برش زمینه بخش بزرگی از سود از بین می‌رود و دقت حتی اندکی افت می‌کند.

RAG (تولید تقویت‌شده با بازیابی) به الگوی استاندارد دستیارهای سازمانی تبدیل شده است: سامانه ابتدا از پایگاه دانش سازمان اسناد مرتبط را پیدا می‌کند و سپس مدل زبانی بر پایهٔ همان اسناد پاسخ می‌دهد. یکی از ایده‌های محبوب برای بهبود بخش بازیابی، RAG Fusion است: از یک پرسش چند بازنویسی ساخته می‌شود، برای هرکدام جست‌وجو انجام می‌شود و نتایج ادغام می‌گردد تا احتمال یافتن سند درست (recall) بالا برود.

مقالهٔ «Scaling Retrieval Augmented Generation with RAG Fusion: Lessons from an Industry Deployment» از لوئیجی مدرانو، آروش ورما و موکول چابرا این ایده را نه در شرایط آزمایشگاهی، بلکه در یک خط‌لولهٔ RAG شبیه محیط تولید و روی پایگاه دانش یک سازمان آزموده است — با محدودیت‌های واقعی: عمق ثابت بازیابی، بودجهٔ محدود re-ranking و سقف تأخیر.

یافتهٔ اصلی این است که RAG Fusion واقعاً recall خام را بالا می‌برد، اما این سود پس از مرحلهٔ re-ranking و برش (truncation) عمدتاً خنثی می‌شود. در نتیجه در سنجش انتهابه‌انتها، نسخه‌های مبتنی بر Fusion از خط‌مبنای ساده با یک پرسش هم ضعیف‌تر بودند: معیار Hit@10 در چند پیکربندی از ۰٫۵۱ به ۰٫۴۸ کاهش یافت و در عین حال تأخیر اضافه شد.

چرا؟ توضیح دقیق را باید در خود مقاله دید، اما یک تفسیر منطقی این است: مدل زبانی در نهایت فقط چند قطعهٔ محدود را در پنجرهٔ زمینه می‌بیند. اگر re-ranker و سقف زمینه همان چند قطعهٔ برتر را انتخاب کنند، کاندیدهای اضافه‌ای که Fusion پیدا کرده یا هرگز وارد زمینه نمی‌شوند یا نویز بیشتری به مرحلهٔ رتبه‌بندی تحمیل می‌کنند. بهبود در یک مرحلهٔ میانی لزوماً به بهبود پاسخ نهایی تبدیل نمی‌شود.

نتیجه‌گیری نویسندگان این است که تکنیک‌های Fusion متمرکز بر recall، وقتی محدودیت‌های واقعی re-ranking و بودجهٔ زمینه اعمال شود، بازده کاهنده دارند؛ و باید کیفیت بازیابی، کارایی سامانه و اثر پایین‌دستی را با هم ارزیابی کرد، نه بهبود بازیابی را به‌تنهایی.

درس عملی برای تیم‌هایی که دستیار مبتنی بر اسناد می‌سازند: (۱) هر تکنیک را روی داده و پرسش‌های واقعی خودتان و با معیار انتهابه‌انتها بسنجید، نه فقط recall؛ (۲) پیش از سراغ تکنیک‌های پیچیده، پایه را محکم کنید — تکه‌بندی درست اسناد، متادیتا، جست‌وجوی ترکیبی و یک re-ranker مناسب؛ (۳) تأخیر و هزینه را جزو معیار بگیرید؛ (۴) مجموعهٔ ارزیابی ثابتی از پرسش‌های واقعی کاربران بسازید تا هر تغییر قابل‌مقایسه باشد.

یک احتیاط لازم: این نتایج از یک استقرار و یک پایگاه دانش‌اند و لزوماً برای هر سازمانی صادق نیستند. ارزش مقاله بیش از هر چیز در یادآوری این اصل است که در RAG هم مثل هر سامانهٔ دیگری، «ارزیابی» باید پیش از «بهینه‌سازی» بیاید.