ایجاد سیستم‌های هوش مصنوعی که بتوانند مکالماتی شبیه به انسان داشته باشند، یکی از بزرگترین چالش‌ها و اهداف در حوزه پردازش زبان طبیعی (NLP) است. این سیستم‌ها، که به عنوان مدل‌های تولید مکالمه یا چت‌بات‌ها شناخته می‌شوند، در حال دگرگون کردن نحوه تعامل ما با فناوری هستند. با این حال، یکی از موانع اصلی در مسیر توسعه این مدل‌ها، نحوه آموزش آن‌هاست. به طور سنتی، اکثر مدل‌های زبانی با استفاده از یک تابع زیان به نام تابع زیان متقاطع (Cross-Entropy Loss) آموزش می‌بینند. این تابع زیان در بسیاری از وظایف NLP عملکرد فوق‌العاده‌ای دارد، اما برای تولید مکالمه با محدودیت‌های جدی روبروست.

مشکل اصلی این است که مکالمه یک فرایند خلاقانه و باز است. برای یک جمله یا سوال مشخص (زمینه)، پاسخ‌های معتبر و صحیح متعددی می‌تواند وجود داشته باشد که از نظر معنایی و ساختاری متفاوت هستند. تابع زیان متقاطع این واقعیت را نادیده می‌گیرد و فرض می‌کند که تنها یک پاسخ “صحیح” وجود دارد (همان پاسخی که در مجموعه داده آموزشی موجود است). این رویکرد سخت‌گیرانه، مدل را به سمت تولید پاسخ‌های تکراری، خسته‌کننده و گاهی نامرتبط سوق می‌دهد و خلاقیت آن را سرکوب می‌کند. مقاله CORAL با ارائه یک تابع زیان جدید و نوآورانه، این مشکل اساسی را هدف قرار داده و راهکاری ارائه می‌دهد که به مدل‌ها اجازه می‌دهد تا گستره وسیع‌تری از پاسخ‌های باکیفیت و مرتبط با زمینه را یاد بگیرند.

این مقاله حاصل همکاری تیمی از پژوهشگران برجسته به نام‌های بیشال سانترا (Bishal Santra)، راوی غادیا (Ravi Ghadia)، مانیش گوپتا (Manish Gupta) و پاوان گویال (Pawan Goyal) است. این محققان، که با شرکت مایکروسافت (Microsoft) و موسسه فناوری هند کاراگپور (IIT Kharagpur) در ارتباط هستند، در زمینه یادگیری ماشین و پردازش زبان طبیعی تخصص دارند.

این تحقیق در بستر تلاش‌های گسترده‌تر جامعه علمی برای بهبود کیفیت مدل‌های مکالمه‌ای صورت گرفته است. پژوهشگران در سال‌های اخیر به دنبال فراتر رفتن از روش‌های سنتی مبتنی بر تقلید صرف از داده‌های آموزشی بوده‌اند و تلاش می‌کنند مدل‌هایی بسازند که درک عمیق‌تری از پویایی‌های مکالمه انسانی داشته باشند. مقاله CORAL یک گام مهم در این مسیر به شمار می‌رود، زیرا مستقیماً به قلب مسئله، یعنی تابع هدف آموزش، می‌پردازد.

مقاله CORAL یک تابع زیان جدید برای آموزش مدل‌های تولید مکالمه معرفی می‌کند که بر محدودیت‌های تابع زیان متقاطع (CE) غلبه می‌کند. نویسندگان استدلال می‌کنند که CE دو نقص عمده دارد: اولاً، فرض می‌کند که تنها یک پاسخ صحیح برای هر زمینه وجود دارد، که این امر در مکالمات واقعی صادق نیست. ثانیاً، در محاسبه زیان، زمینه مکالمه را در نظر نمی‌گیرد و صرفاً پاسخ تولید شده را با پاسخ مرجع مقایسه می‌کند. این باعث می‌شود کیفیت‌هایی مانند ارتباط (relevance) و جذابیت (engagingness) پاسخ، که به شدت به زمینه وابسته هستند، به درستی ارزیابی نشوند.

برای حل این مشکلات، CORAL وظیفه تولید مکالمه را از منظر یادگیری تقویتی (Reinforcement Learning – RL) مدل‌سازی می‌کند. در این چارچوب، مدل یک “عامل” است که با تولید پاسخ “عملی” را انجام می‌دهد. سپس یک “تابع پاداش” این پاسخ را بر اساس کیفیت آن در زمینه داده شده، ارزیابی می‌کند. نکته کلیدی CORAL در طراحی این تابع پاداش است: این تابع، ترجیحات انسانی را با ارزیابی “بازیابی‌پذیری پاسخ زمینه‌ای” تخمین می‌زند. به عبارت دیگر، پاداش زمانی بالا خواهد بود که با دیدن پاسخ تولید شده، بتوان به راحتی زمینه اصلی مکالمه را حدس زد. این معیار، ارتباط قوی و منطقی بین زمینه و پاسخ را تضمین می‌کند. علاوه بر این، برای مقابله با چالش‌های یادگیری تقویتی مانند پیچیدگی نمونه‌برداری بالا و فضای عمل بزرگ، نویسندگان یک الگوریتم آموزش ترکیبی (mix-policy) را پیشنهاد می‌کنند. نتایج آزمایش‌های گسترده بر روی مجموعه داده‌های استاندارد نشان می‌دهد که مدل‌های آموزش‌دیده با CORAL به طور قابل توجهی از مدل‌های پایه پیشرفته در اندازه‌های مختلف، عملکرد بهتری دارند.

روش‌شناسی ارائه شده در این مقاله بر سه ستون اصلی استوار است: نقد محدودیت‌های موجود، ارائه یک چارچوب جدید مبتنی بر یادگیری تقویتی، و طراحی یک الگوریتم آموزشی پایدار.

• محدودیت‌های تابع زیان متقاطع (CE):
  فرض کنید زمینه مکالمه این باشد: «آخر هفته چه برنامه‌ای داری؟». پاسخ‌های معتبر متعددی می‌توان برای آن تصور کرد: «قصد دارم به کوه بروم.»، «می‌خواهم در خانه بمانم و فیلم ببینم.»، یا «هنوز برنامه‌ای ندارم، شما چطور؟». اگر مجموعه داده آموزشی فقط شامل پاسخ اول باشد، تابع زیان CE هر پاسخ معتبر دیگری را به عنوان یک خطا در نظر گرفته و مدل را برای تولید آن جریمه می‌کند. این امر باعث می‌شود مدل‌ها به سمت پاسخ‌های عمومی و “بی‌خطر” سوق داده شوند و از ارائه پاسخ‌های خلاقانه و متنوع خودداری کنند.
• چارچوب یادگیری تقویتی و تابع پاداش CORAL:
  CORAL این مسئله را با تغییر دیدگاه حل می‌کند. به جای مقایسه کلمه به کلمه با یک پاسخ مرجع، کیفیت پاسخ تولید شده را با یک تابع پاداش هوشمند می‌سنجد. این تابع پاداش بر اساس ایده بازیابی‌پذیری (Retrievability) ساخته شده است. این ایده می‌پرسد: «چقدر محتمل است که اگر پاسخ R را داشته باشیم، بتوانیم زمینه اصلی C را از میان گزینه‌های مختلف بازیابی کنیم؟». اگر این احتمال بالا باشد، یعنی پاسخ R به شدت به زمینه C مرتبط است و پاداش بالایی دریافت می‌کند. این رویکرد به مدل اجازه می‌دهد تا هر پاسخ مرتبطی را تولید کند، حتی اگر دقیقاً مشابه پاسخ موجود در داده‌های آموزشی نباشد.
• الگوریتم آموزش ترکیبی (Mix-Policy):
  آموزش مدل‌های زبان بزرگ با استفاده از یادگیری تقویتی خالص می‌تواند بسیار ناپایدار و کند باشد. فضای عمل (یعنی تمام کلمات ممکن در واژگان) بسیار بزرگ است و جستجو در این فضا برای یافتن پاسخ‌های با پاداش بالا دشوار است. برای حل این مشکل، CORAL از یک سیاست ترکیبی استفاده می‌کند. در این روش، آموزش مدل ترکیبی از دو هدف است: 
  1. به حداکثر رساندن پاداش تعریف شده توسط CORAL (هدف RL).
  2. به حداقل رساندن زیان متقاطع استاندارد (هدف یادگیری نظارت شده).

  این رویکرد ترکیبی، پایداری یادگیری نظارت شده را با انعطاف‌پذیری و آگاهی از زمینه در یادگیری تقویتی ادغام می‌کند و به نتایج بهتری منجر می‌شود.

نویسندگان برای ارزیابی کارایی CORAL، آزمایش‌های جامعی را بر روی مجموعه داده‌های شناخته شده مکالمه مانند DailyDialog و Persona-Chat انجام دادند. آن‌ها مدل‌های آموزش‌دیده با CORAL را با چندین مدل پایه قدرتمند که با روش‌های سنتی (مانند CE) آموزش دیده‌اند، مقایسه کردند. نتایج به دست آمده بسیار چشمگیر بود:

• بهبود در معیارهای خودکار: مدل‌های CORAL در معیارهای ارزیابی خودکار مانند BLEU، ROUGE و به خصوص Distinct-n (که تنوع واژگان را می‌سنجد) عملکرد بهتری از خود نشان دادند. این نشان می‌دهد که پاسخ‌های تولید شده نه تنها از نظر ساختاری به پاسخ‌های انسانی نزدیک‌تر بودند، بلکه متنوع‌تر و کمتر تکراری بودند.
• افزایش ارتباط و جذابیت: ارزیابی‌های انسانی، که اغلب معیار طلایی برای سنجش کیفیت مکالمه محسوب می‌شود، تأیید کرد که پاسخ‌های تولید شده توسط مدل‌های CORAL به طور قابل توجهی مرتبط‌تر، منسجم‌تر و جذاب‌تر از پاسخ‌های مدل‌های پایه بودند. این مدل‌ها توانستند از پاسخ‌های کلیشه‌ای مانند «نمی‌دانم» یا «جالب است» پرهیز کنند.
• عملکرد پایدار در اندازه‌های مختلف: یکی از یافته‌های مهم این بود که مزایای CORAL در مدل‌هایی با اندازه‌ها و معماری‌های مختلف (از مدل‌های کوچک‌تر تا مدل‌های بزرگ) مشاهده شد. این موضوع نشان می‌دهد که CORAL یک بهبود بنیادین در فرایند آموزش است و به یک معماری خاص محدود نمی‌شود.

نوآوری ارائه شده در CORAL پیامدهای عملی و علمی گسترده‌ای دارد. در حوزه کاربردی، این رویکرد می‌تواند به طور مستقیم کیفیت نسل بعدی سیستم‌های مکالمه‌ای را بهبود بخشد:

• دستیارهای مجازی هوشمندتر: دستیارهایی مانند سیری، الکسا و دستیار گوگل می‌توانند مکالمات طبیعی‌تر و پویاتری داشته باشند و بهتر به نیازهای کاربران پاسخ دهند.
• چت‌بات‌های خدمات مشتری کارآمدتر: چت‌بات‌هایی که در وب‌سایت‌ها برای پشتیبانی از مشتریان استفاده می‌شوند، می‌توانند پاسخ‌های دقیق‌تر و مفیدتری ارائه دهند و رضایت مشتری را افزایش دهند.
• هوش مصنوعی همراه و سرگرم‌کننده: سیستم‌های هوش مصنوعی که برای اهداف سرگرمی یا به عنوان همراه عاطفی طراحی شده‌اند، می‌توانند تعاملات جذاب‌تر و همدلانه‌تری ایجاد کنند.

از منظر علمی، دستاورد اصلی CORAL ارائه یک پارادایم جدید برای آموزش است. این مقاله نشان می‌دهد که با طراحی دقیق توابع زیان و پاداش که بهتر با قضاوت انسانی هماهنگ هستند، می‌توان از محدودیت‌های یادگیری نظارت شده صرف فراتر رفت. CORAL راه را برای تحقیق بیشتر در زمینه توابع پاداش مبتنی بر معنا و زمینه برای آموزش مدل‌های زبانی هموار می‌کند.

مقاله CORAL با شناسایی دقیق یکی از اساسی‌ترین ضعف‌ها در آموزش مدل‌های تولید مکالمه—یعنی محدودیت تابع زیان متقاطع—یک راه حل هوشمندانه و مؤثر ارائه می‌دهد. با بهره‌گیری از چارچوب یادگیری تقویتی و تعریف یک تابع پاداش مبتنی بر “بازیابی‌پذیری زمینه”، CORAL به مدل‌ها این امکان را می‌دهد که مکالماتی را یاد بگیرند که نه تنها از نظر گرامری صحیح هستند، بلکه از نظر معنایی نیز عمیقاً با زمینه مرتبط، متنوع و جذاب‌اند.

این پژوهش یک گام مهم به سوی ساخت ماشین‌هایی است که می‌توانند به شیوه‌ای طبیعی‌تر و معنادارتر با انسان‌ها ارتباط برقرار کنند. با حرکت از تقلید صرف به سمت درک پویایی‌های مکالمه، کارهایی مانند CORAL آینده هوش مصنوعی محاوره‌ای را شکل می‌دهند و ما را به هدف نهایی یعنی ایجاد یک هوش مصنوعی واقعاً هم‌صحبت، نزدیک‌تر می‌کنند.