با الهام از هفت خوان رستم؛
ساخت پلت فرم ایرانی تست اقدامات مخرب سایبری به AI
رهاتل: یک تیم استارتاپی جوان موفق به ساخت پلتفرمی برای تمرین امنیت سایبری و تست نفوذ به مدلهای زبانی بزرگ (LLM) شدند.
به گزارش رهاتل به نقل از مهر، هم زمان با رشد فراگیر فناوری هوش مصنوعی در کشور و نفوذ آن به زیرساخت های حیاتی، بحث امنیت و تاب آوری مدلهای زبانی به چالشی راهبردی برای سازمان ها تبدیل گشته است. در همین جهت، جمعی از دانش آموزان نخبه و سمپادی کشور با طراحی پلت فرم «هفت خوان»، راهکاری بومی و مبتنی بر بازی سازی برای ارزیابی و تقویت امنیت مدلهای زبانی بزرگ (LLM) عرضه کرده اند که تلاش دارد با پر کردن شکاف های موجود، فضایی امن و تعاملی را برای تست نفوذ و آموزش تخصصی فراهم آورد.
«هفت خوان»؛ معماری نوین برای کالبدشکافی امنیت هوش مصنوعی
طاها الهی بخش دانش پژوه المپیاد هوش مصنوعی و عضو تیم استارتاپی «هفت خوان» در گفت و گو با گزارشگر ما درباره ی ماهیت این پلت فرم توضیح داد و اظهار داشت: تیم ما متشکل از دانش آموزان پایه یازدهم رشته نرم افزار در دبیرستان علامه حلی است که پروژه ای را در عرصه امنیت مدلهای زبانی تعریف کرده اند. پلت فرم آموزشی «هفت خوان»، بستری امن برای تمرین امنیت سایبری و تست نفوذ به مدلهای زبانی بزرگ است که کاربران را در قالب یک مسیر داستانی هفت مرحله ای، با ایده گرفتن از هفت خوان رستم، با چالش های امنیتی این حوزه آشنا می کند.
وی اضافه کرد: برعکس نمونه های جهانی که عمدتا فاقد روایت پردازی فرهنگی هستند، ما در این پلت فرم با ادغام داستان سرایی الهام گرفته از شاهنامه و ساز و کار های پیشرفته بازی سازی، یادگیری امنیت هوش مصنوعی را از فرآیندی تئوریک و خشک به یک ماجراجویی تعاملی و ماندگار مبدل کرده ایم.
شبیه سازی یک کلاس ضعف حقیقی در LLM ها
این عضو تیم استارتاپی مسیر هفت خوان در این پلت فرم را شرح داد و اظهار داشت: خوان اول تزریق دستور، خوان دوم نقض محدودیت ها، خوان سوم هالوسینشن، خوان چهارم سواستفاده از قابلیت های ایجتیکال، خوان پنجم سواستفاده از مدلهای چندرسانه ای، خوان ششم تولید محتوای مخرب و خوان هفتم افشای اطلاعات حساس است و در هر محرله شبیه سازی یک کلاس ضعف حقیقی در LLM ها صورت می گیرد. در هر یک از هفت خوان کاربر با شکستن قفل هر مرحله، ضمن کسب مهارت، به غنی سازی پایگاه داده حملات کمک می نماید.
پدافند سایبری در عصر مدلهای زبانی؛ گذار از نظریه به سناریوهای عملیاتی
الهی بخش در تشریح لزوم ایجاد این پلت فرم گفت: طی سالیان اخیر، تمرکز اصلی در ایران معطوف به توسعه سرویسهای هوش مصنوعی بوده است؛ اما حالا مبحث امنیت این سرویس ها و پیشگیری از تبدیل شدن آنها به ریسک برای سازمان ها، خصوصاً در عرصه محتوای تولیدی، اهمیت یافته است. خیلی از مدلهای تازه تیون شده (Fine-tuned) در ایران، بدون گذراندن آزمون های امنیتی کافی و بدون وجود «گاردریل های» مناسب، در معرض خطرات جدی هستند؛ خطراتی که می تواند از افشای اطلاعات حساس بانکی تا تولید محتوای مخرب را در بر بگیرد.
به گفته وی، مشکل اصلی در این عرصه، کمبود داده های معتبر و بومی برای تنظیم مدلهای حفاظتی است. پلت فرم «هفت خوان» تلاش می کند از یک سو جامعه ای از آزمون گران امنیتی را در محیطی شبیه سازی شده گردهم آورد و از طرف دیگر، بستری برای سازمان ها فراهم آورد تا مدلهای خودرا تحت ارزیابی های دقیق امنیتی قرار دهند.
زیست بوم تست نفوذ؛ راهکاری برای پیشرفت تاب آوری هوشمند
این عضو تیم استارتاپی با اشاره به گروههای هدف این محصول اظهار داشت: این پلت فرم برای دو گروه اصلی طراحی شده است؛ نخست، جوانان ۱۸ تا ۲۴ سال شامل دانشجویان و دوست داران به حوزه امنیت سایبری که به دنبال یادگیری عملی و مهارت محور هستند. گروه دوم هم سازمان ها و تیم های فنی، شامل شرکت های دانش بنیان و نهادهای دولتی هستند که با چالش کمبود داده های پویا و بومی برای تست امنیت مدلهای خود مواجه اند.
الهی بخش درباره ی قابلیت های فنی و خصوصیت های کلیدی این محصول اضافه کرد: «هفت خوان» بطور ویژه به نیازهای خاص در ایران توجه دارد و سناریوهایی مانند حملات به مدلهای ایجنتیکال بانکی، سوءاستفاده از مدلهای تولید تصویر، تشخیص شایعه پراکنی و مواجهه با «هالوسینیشن» (توهم مدل) در پاسخ های حساس را شبیه سازی می کند.
ویژگی های کلیدی پلت فرم هفت خوان
وی خصوصیت های کلیدی پلت فرم هفت خوان را حفظ حریم خصوصی و طراحی محیطی ایمن برای تمامی کاربران و سازمان ها، تکمیل پایگاه داده حملات و شیوه های نفوذ بومی، شبیه سازی ۷ مرحله مبتنی بر ضعف های حقیقی در مدلهای زبانی، گیمیفیکیشن (آموزش تعاملی با استفاده از سیستم لیدربورد و چالش های گروهی) و محیطی امن برای تست حملات ایجنتیکال، بانکی و تولید محتوا برشمرد و اظهار داشت: اکنون این پلت فرم در مرحله آزمایشی قرار دارد و برنامه ریزی های موردنیاز برای توسعه همکاریهای سازمانی و انعقاد قراردادهای کسب وکار در حال انجام می باشد.
منبع: رهاتل
این مطلب را می پسندید؟
(1)
(0)
تازه ترین مطالب مرتبط
نظرات بینندگان رهاتل در مورد این مطلب