Prompt Injection Jailbreak Attacks Data Leakage Secure Tool Calling Secret Management AI Authentication AI Authorization RAG Security Agent Security AI Compliance
34 posts
با ادغام فزاینده مدل‌های زبانی بزرگ (LLMs) در گردش کار توسعه‌دهندگان، یک بردار حمله جدید پدید آمده است: سوءاستفاده از محفظه‌های ایزوله اجرای کد. اگرچه مدل‌های زبانی بزرگ با محدودیت‌های ایمنی سخت‌گیرانه‌ای طراحی شده‌اند تا از تولید کد مخرب جلوگیری کنند، این محافظت‌ها می‌توانند دور زده شوند...
تولید تقویت‌شده با بازیابی (RAG) به عنوان استاندارد پیش‌فرض برای ساخت برنامه‌های مدل زبانی بزرگ (LLM) در سطح سازمانی ظهور کرده است. با جداسازی دانش ثابت مدل از یک پایگاه داده پویا و قابل بازیابی، RAG به سازمان‌ها اجازه می‌دهد تا از داده‌های اختصاصی بدون نیاز به آموزش مجدد...
با حرکت سیستم‌های تولید تقویت‌شده با بازیابی (RAG) از نمونه‌های آزمایشی به برنامه‌های عملیاتی، آسیب‌پذیری‌های امنیتی به یک گلوگاه حیاتی تبدیل شده‌اند. در میان این موارد، تزریق پرامپت غیرمستقیم (IPI) تهدیدی منحصر‌به‌فرد ایجاد می‌کند. برخلاف حملات مستقیم که در آن‌ها کاربر به صورت مخرب...
پذیرش سریع مدل‌های زبانی بزرگ (LLMs) در محیط‌های عملیاتی، قابلیت‌های شگفت‌انگیزی را آزاد کرده است، اما آسیب‌پذیری حیاتی جدیدی را نیز آشکار ساخته است: سهولت دستکاری این مدل‌ها. تست نفوذ سنتی دیگر برای کاربردهای هوش مصنوعی کافی نیست...
با ادغام سریع مدل‌های زبانی بزرگ (LLMs) در گردش کارهای سازمانی، منظر امنیت هوش مصنوعی نیز به سرعت تغییر کرده است. در حالی که بسیاری از توسعه‌دهندگان بر قابلیت‌های عملکردی این مدل‌ها تمرکز دارند، یک آسیب‌پذیری حیاتی همچنان توسط کسانی که متخصص امنیت AI نیستند نادیده گرفته می‌شود...
با تکامل مدل‌های زبانی بزرگ (LLMs) به سیستم‌های چندوجهی که قادر به پردازش متن و تصویر هستند، سطح حمله برای ورودی‌های مخرب به شدت گسترش یافته است. در حالی که تزریق پرامپت سنتی بر دستکاری دستورات متنی تمرکز دارد، دسته جدیدی از آسیب‌پذیری‌ها به نام جیل‌بریک‌های بصری...
با حرکت هوش مصنوعی از نمونه‌های آزمایشی به سیستم‌های تولیدی حیاتی، منظره مقرراتی از دستورالعمل‌های مشاوره‌ای به قوانین اجرایی تغییر کرده است. برای توسعه‌دهندگان و مهندسان یادگیری ماشین، چالش دیگر تنها ساخت مدل‌های دقیق نیست، بلکه ساخت مدل‌های انطباق‌پذیر است...