روشی جدید که باعث می شود مدل های هوش مصنوعی دانش مضر را که آموخته اند فراموش کنند. امیدوارم که از نشت اطلاعات جلوگیری شود – ساعت کامپیوتر

مقایسه میزان پاسخ صحیح قبل از فراموش کردن دانش (LLM اصلی) و میزان پاسخ صحیح پس از فراموش کردن دانش با استفاده از روش های مختلف. این بار ، روش “RMU تطبیقی” در سمت راست هر نمودار است. (الف) تغییر در سؤالات در مورد دانش عمومی پایین تر است ، و (ب) تغییر در سؤالات مربوط به دانش مضر و تغییر در سؤالات مربوط به دانش مضر پایین تر است.

یک گروه تحقیقاتی در دانشکده علوم و فناوری فارغ التحصیل Hokuriku ، RMU تطبیقی ​​را اعلام کرده است ، روشی جدید که دانش مضر را که توسط مدلهای زبان در مقیاس بزرگ (LLM) آموخته شده است ، پاک می کند.

از آنجا که LLM در طیف گسترده ای از زمینه ها مورد استفاده قرار می گیرد ، اگر داده های آموخته شده حاوی اطلاعات حساس یا دانش مضر باشد ، ممکن است ناخواسته خروجی باشد. برای پرداختن به این موضوع ، توجه به تکنیک هایی که فقط دانش خاص را به صورت انتخابی فراموش می کنند ، مورد توجه قرار می گیرد.

در میان اینها ، یک تکنیک امیدوارکننده به نام “نمایندگی نادرست برای آراستگی” (RMU) که ​​نمایندگی داخلی LLM مربوط به دانش را که فراموش می شود تصادفی می کند ، و این باعث می شود که از این مدل استفاده کند. با این حال ، اصل نظری عملکرد به اندازه کافی درک نشده بود ، و برای به حداکثر رساندن اثر ، لازم بود با استفاده از منابع محاسباتی بزرگ متناسب با LLM و دانش که می خواهیم فراموش کنیم ، بهینه سازی شود که این یک تنگنا شد.

گروه تحقیقاتی RMU را به تفصیل داده های نظری و واقعی تجزیه و تحلیل کرده است ، و نسخه بهبود یافته RMU تطبیقی ​​را ابداع کرده است. ما با موفقیت پارامترهای کنترل را که تاکنون با استفاده از جمع آوری تنظیم شده اند ، خودکار کرده ایم و هزینه های بهینه سازی را با موفقیت کاهش داده ایم.

این همچنین تأثیر حفظ عملکرد فراموشی قابل مقایسه با RMU را نشان می دهد ، اما اختلال در توانایی درک زبان کلی LLM ، و کاهش قابل توجه نرخ پاسخ صحیح برای سؤالات مربوط به اطلاعات مضر است. علاوه بر این ، همچنین به عملکرد دفاعی بالا در برابر “حملات ترمیم دانش” دست یافته است ، که سعی در استخراج دانش مضر از LLM پس از فراموشی دارند.

با این نتیجه انتظار می رود که هر خدمتی که از LLM استفاده کند ، مانند چت بابات و سیستم های پاسخ خودکار ، می تواند خطر نشت اطلاعات شخصی و محرمانه را کاهش دهد.