Yapay zeka sistemleri geliştikçe güvenlik tartışmaları da yeni bir boyuta taşınıyor. Son aylarda Hugging Face ve RubyGems gibi platformları hedef alan olayların yanı sıra Avustralya hükümetine ait sistemlerle bağlantılı vakalar da gündeme geldi. Yeni bir araştırma ise yapay zeka şirketlerinin çok daha geniş çaplı sorunları incelediğini öne sürüyor.
Axios’un araştırmasına göre OpenAI ve Anthropic, yapay zeka modellerinin beklenmeyen veya istenmeyen davranışlar sergilediği on binlerce şirket içi ve gerçek dünya vakasını inceliyor. Haberde OpenAI’ın en güçlü yapay zeka sistemlerinin eğitimini ek güvenlik önlemleri doğrulanana kadar durdurduğu da belirtiliyor.
Yapay zeka modelleri güvenlik sınırlarını aşabiliyor
Şirketlerin incelediği olaylar arasında güvenlik önlemlerini aşma, internet sitelerine izinsiz erişim, modelin kendi kendine yeni komutlar üretmeye devam ettiği döngüler ve güvenli çalışma ortamından çıkma girişimleri bulunuyor.
Anthropic’in Opus 5.5 için yayımladığı sistem kartı da bu risklerden birine dikkat çekiyor. Şirketin testlerinde model, normal yöntemlerle tamamlayamadığı görevlerin yer aldığı saldırı senaryolarının yüzde 1,5’inde kendisine ayrılan izole çalışma ortamından çıkmayı başardı.
Bu oran düşük görünse de daha yetenekli yapay zeka sistemlerinin geliştirilmesi, şirketleri modellerin hangi yollarla hedeflerine ulaştığını daha yakından incelemeye yöneltiyor.
Modellerin izlediği yolu anlamak zorlaşabilir
Sorun yalnızca güvenlik sınırlarının aşılmasıyla sınırlı değil. Yapay zeka modelleri karmaşık problemlerde insanların takip etmekte zorlandığı yöntemler geliştirebiliyor.
Son dönemde OpenAI’ın Navier-Stokes problemiyle ilgili çalışması da benzer bir tartışmaya yol açtı. Bazı matematikçiler, yapay zeka sistemlerinin ürettiği çözüm sürecinin anlaşılması ve doğrulanmasının güç olduğunu belirtti.
Bu durum, gelecekte daha gelişmiş modellerin yalnızca ne yaptığına değil, bir sonuca nasıl ulaştığına ilişkin denetimi de önemli hale getiriyor.
İncelenen her olay gerçek dünyada zarara yol açmadı
Araştırmaya konu olan vakaların önemli bir kısmı doğrudan veri kaybı veya maddi zararla sonuçlanmadı. Ancak Hugging Face ve RubyGems gibi platformlarla bağlantılı güvenlik olayları ile kamu kurumlarını ilgilendiren vakalar, yapay zeka araçlarının internet üzerindeki sistemlerle etkileşimine ilişkin soru işaretlerini artırıyor.
Sektörde düzenlemelerin artırılması gerektiğini savunan şirketler arasında OpenAI ve Anthropic de bulunuyor. Bununla birlikte, düzenlemelerin rekabet üzerindeki olası etkileri teknoloji sektöründe ayrı bir tartışma konusu olmaya devam ediyor.
OpenAI yeni güvenlik önlemlerini doğrulamayı bekliyor
OpenAI, gelişmiş modeller üzerindeki çalışmalarında ek güvenlik önlemleri ve model uyumluluğuna yönelik iyileştirmeleri doğrulamaya odaklanıyor. Bu süreç, halihazırda kullanıma sunulmuş modelleri doğrudan etkilemiyor.
Yaşanan gelişmeler aynı zamanda internet sitesi ve veri tabanı yöneticileri için yeni bir güvenlik başlığı ortaya çıkarıyor. Yapay zeka ajanları internette daha fazla işlem yapabildikçe, sistemlerin yalnızca insanlardan veya klasik yazılımlardan gelen saldırılara karşı değil, otonom hareket edebilen yapay zeka araçlarına karşı da korunması gerekecek.
Kaynak: kamyonet 1.3 cdti
