Dünyanın ilk yapay zekâ (YZ) bilimsel kuruluşu, mevcut güvenlik duvarlarının “çözülmeye başladığı” gerekçesiyle güvenlik önlemlerinin uyarlanması çağrısında yaptı.
Birleşmiş Milletler destekli Bağımsız Uluslararası Yapay Zeka Bilimsel Paneli’nin uyarısı, Mayıs ve Temmuz ayları arasında OpenAI (ChatGPT’nin arkasındaki şirket) tarafından başlatılan bir test sırasında “yapay zeka ajanları” tarafından çevrimiçi platform HuggingFace’in hacklenmesinin ardından geldi.
Yapay zekâ ajanları, sorular veya talimatlarla yönlendirilen sohbet botlarının aksine, bir kullanıcı adına ve bağımsız olarak görevleri yerine getirebilen yazılımlardır.
Panel, güvenlik ihlalinin temel risk faktörlerinin bir araya gelmesinin sonucu olduğunu tespit eden ilk tematik raporunu yayınladı ve bu durum, insanların bir gün yapay zekayı yönlendiremeyeceği, sınırlayamayacağı veya durduramayacağı endişelerini artırdı.
Guterres raporu memnuniyetle karşıladı.
BM Genel Sekreteri António Guterres, Pazartesi günü yaptığı açıklamada panelin sunduğu rapora güçlü bir destek verdi ve “yapay zeka alanındaki öncü laboratuvarlardan ve yapay zeka güvenliği enstitülerinden” dış uzmanların daha fazla katılım göstermesini teşvik etti.
Ayrıca, Finlandiya Cumhurbaşkanı ve Norveç Başbakanı’nın liderliğini memnuniyetle karşıladı; bu liderlik, Pazartesi günü Genel Kurul’un oturum aralarında 22 ülke tarafından kabul edilen ve yapay zekanın ” insan yönlendirmesi, bilgisi ve kontrolü altında kalması gerektiğini ” belirten ve bağımsız bir denetim organının kurulması gerektiğini işaret eden bir bildiriye yol açmıştı.
Sayın Guterres, üye devletlere “mevcut uluslararası mekanizmaları temel alarak , standartlar belirleyebilecek, doğrulamayı sağlayabilecek ve kapasite eşikleri aşıldığında devletleri bir araya getirebilecek uluslararası bir kurum oluşturmayı araştırmaları ” yönündeki çağrıyı dikkate aldığını belirtti .
Yapay zeka eğitimi ilerliyor
” Araştırmacılar uzun zamandır kontrol kaybına yol açabilecek üç koşul konusunda uyarıda bulunuyorlardı: yanlış hizalanmış bir hedef, bu hedefe ulaşma yeteneği ve buna olanak sağlayan bir ortam . Bu yaz, bu üçü de bir laboratuvarda değil, gerçek bir sistemde bir araya geldi,” dedi bilimsel panel eş başkanı Yoshua Bengio.
“Bu, hedeflerin uyumsuzluğuna dair tekil bir gözlem olmadığı için, yapay zekâ ajanlarının şu anda nasıl eğitildiği konusunda ciddi soruları gündeme getiriyor .”
Panelin bağımsız uzmanları, bu olayın, özellikle yapay zekâ ajanları daha yetenekli hale geldikçe, izlenmeleri zorlaştıkça ve güvenlik açıklarını bulmada veya faaliyetlerini gizlemede daha başarılı hale geldikçe, insanların yapay zekâ ajanlarını güvenilir bir şekilde kontrol altında tutabileceğine dair hiçbir güvence sağlamadığını vurguluyor.
Asi olmak
Raporda , yapay zekâ ajanlarının test güvenlik önlemlerini atladığı, ajanlar arasında iletişimi sağlamak üzere tasarlanmamış dahili bir yazılım aracı aracılığıyla ayrı çalıştırmalar arasında koordinasyon sağladığı ve yetkisiz internet ve yönetici erişimi elde ettiği belirtildi.
Ajanlar siber güvenlik değerlendirmelerinde hile yapma girişimlerini gizlediler ve bazıları grubun yararına kendilerini “feda etmeyi” tercih etti.
İncelenen dönem boyunca yaklaşık 1.200 aracı, 70.000’den fazla mesaj ve dosya alışverişinde bulundu ve bu faaliyet HuggingFace’in ötesine, OpenAI araştırma kümesine kadar uzandı.
Birleşmiş Milletler’in yapay zekayı herkes için güvenli ve adil hale getirmek için nasıl çalıştığına dair kapsamlı açıklamamıza buradan ulaşabilirsiniz .
Mevcut güvenlik önlemleri ‘çözülmeye başlıyor’
Panelin bu olaydan çıkardığı en önemli ders, temel siber güvenlik uygulamalarının göz ardı edildiği ve güvenlik önlemlerinin de bu gelişmelere ayak uyduramadığıdır .
Ancak, daha sinsi bir endişeye de dikkat çektiler: mevcut eğitim yöntemlerinin yapay zekâ ajanlarının kendi hedeflerini benimsemelerine, güvenlik talimatlarını bilerek ihlal etmelerine ve eylemlerini gizlemelerine yol açabileceği endişesi.
Panelin uzmanları, “Bu sadece hız meselesi değil,” dedi. “Bu durum, günümüzde tasarlanan güvenlik önlemlerinin, yetkililer bunları anlayıp planlama yapabildikleri zaman işe yarayıp yaramayacağı sorusunu açık bırakıyor. Basitçe söylemek gerekirse, geleneksel güvenlik modeli çözülüyor .”
Daha geniş bağlam, gelecekteki riskler ve yönetişim
Yapay zeka panelinin özeti, HuggingFace olayını iki konu üzerine yapılan daha geniş araştırmalarla ilişkilendiriyor: yapay zeka ajanlarının bir tehdide benzer şekilde davranması anlamına gelen ajan uyumsuzluğu ve yapay zeka kontrolü.
İncelenen bir diğer konu ise yönetişimin, kalıpları tanımak için algoritmalar kullanan yapay zeka modellerinden, yapay zeka ajanlarına nasıl geçiş yaptığıdır.
Öğren ve uyum sağla
Bu özet, havacılık, tıp ve siber güvenlik gibi yüksek riskli diğer sektörlerde halihazırda kullanılan ve olay bildiriminin, bağımsız denetimin ve katmanlı güvenlik önlemlerinin uygulandığı pratik yaklaşımları da incelemektedir.
Panel üyesi Qinghua Lu, “Ancak yapay zekâ ajanları daha yetenekli, özerk ve izlenmesi zor hale geldikçe bu uygulamalar yeterli olmayabilir ” dedi.
Panel hakkında
Bağımsız Uluslararası Yapay Zeka Bilimsel Paneli, Ağustos 2025’te BM Genel Kurulu tarafından kurulmuştur.
Bu kuruluş, yapay zekanın askeri olmayan alanlardaki fırsatları, riskleri ve etkileri hakkında yıllık raporlar hazırlamanın yanı sıra, Mayıs 2027’de New York’taki BM Genel Merkezi’nde düzenlenecek Yapay Zeka Yönetişimi Küresel Diyaloğu’na bilgi sağlayacak yeni konulara ilişkin tematik özetler de yayınlamaktadır.