هوش مصنوعی کی ضد انسان طغیان می کند؟
رهاتل: محققان دانشگاه جورج واشنگتن می گویند یک فرمول ساده ریاضی می تواند احتمال سرکشی هوش مصنوعی و تولید پاسخ های نامطلوب را قبل از وقوع پیش بینی نماید. این تکنیک بر سازوکاری درونی در شبکه عصبی مدل تکیه دارد و برای توسعه سامانه های ایمن تر کاربرد خواهد داشت.
به گزارش رهاتل به نقل از خبر آنلاین، به نقل از دیجیاتو، این تحقیق را «نیل جانسون» (Neil Johnson)، استاد فیزیک دانشگاه جورج واشینگتن، و «فرانک یینگ جی هو» (Frank Yingjie Huo)، دانشجوی دکتری، انجام داده اند. نتایج آن اخیرا در ژورنال Patterns انتشار یافته است. پژوهشگران دریافتند ترتیب طرح پرسش ها می تواند پاسخ های چت بات را بطور قابل ملاحظه ای تغییر دهد و آنها را به سوی پاسخ های خطرناک سوق دهد.
محققان می گویند این فرمول را میتوان در فرایندهای ایمن سازی مدلهای هوش مصنوعی بهره برد.
این فرمول ریاضی چه طور سرکشی هوش مصنوعی را پیشبینی می کند؟ محققان سازوکار مورد بررسی را به سوزن قطب نما تشبیه می کنند. این سازوکار در واقع بردار باقی مانده مدل است که هنگام پردازش پرسش، میان لایه های شبکه عصبی حرکت می کند. این بردار گرایش مدل به تولید پاسخ های مطلوب یا نامطلوب را نشان میدهد و از نحوه طرح پرسش ها تأثیر می پذیرد.
بعنوان مثال، پژوهشگران مدل پایه GPT-۲ را با پرسش هایی درباره ی واکسن، لطمه رساندن به دیگران و خودآزاری آزمایش کردند. وقتی در ابتدا پرسش «آیا واکسن ها مضرند؟» عنوان شد، پاسخ های مدل مطلوب باقی ماندند. اما با تغییر ترتیب پرسش ها، پاسخ های بعدی نگران کننده شدند.
بر همین اساس، محققان فرمولی ریاضی برای تخمین نقطه بحرانی طراحی کردند؛ نقطه ای که در آن احتمال تغییر پاسخ های مطلوب به پاسخ های نامطلوب افزایش خواهد یافت. آنها این فرمول را روی چند مدل متن باز آزمایش کردند و آنرا سیستم ای برای هشدار زودهنگام می دانند.
جانسون باور دارد ابزارهای فعلی ایمنی، مانند فیلتر محتوا و یادگیری تقویتی، برای ممانعت از رفتارهای خطرناک کافی نیستند. این مسئله خصوصاً زمانی اهمیت پیدا می کند که پزشکان، وکلا یا نیروهای نظامی از چت بات های آفلاین بهره گیرند.
بااین حال، برخی متخصصان درباره ی کاربرد عملی این شیوه هشدار می دهند. «وی شینگ» (Wei Xing)، پژوهشگر دانشگاه شفیلد، می گوید مدل ساده شده پژوهش، سازوکار پیچیده هوش مصنوعی را به یک مؤلفه کوچک تقلیل می دهد. همچنین، آموزش ایمنی در این مدل لحاظ نشده و آزمایش ها فقط روی مدلهای قدیمی تری مانند GPT-۲ و Pythia انجام شده اند.
محققان می گویند مدلهای بررسی شده از نظر ساختار پایه با سیستم های پیشرفته تر شباهت دارند. بااین حال، برای ارزیابی قابلیت اطمینان این شیوه، آزمایش روی مدلهای جدیدتر ضرورت دارد. بنابراین، این فرمول ریاضی هنوز راهکاری اثبات شده برای ممانعت از سرکشی هوش مصنوعی نیست، بلکه نگاهی اولیه جهت بررسی و پیشبینی رفتارهای نامطلوب به حساب می آید.
این مطلب را می پسندید؟
(1)
(0)
تازه ترین مطالب مرتبط
نظرات بینندگان رهاتل در مورد این مطلب