OpenAI-Hugging Face olayı ve Yapay Zeka Ajanları ve İnsan Kontrolünün Kaybı Riski

Birleşmiş Milletler’in OpenAI-Hugging Face olayına ilişkin yeni bir raporu, ajanların uyumsuzluğu ve kontrolün kaybedilmesi riski de dahil olmak üzere ortaya çıkan yapay zeka tehditlerini vurguluyor. Geçtiğimiz 62. Sayımızda bu konuda yayınlanan BM’in Open-AI-Hugging Face raporu’na bakış açısını değişik bir yorumla sizlere sunuyoruz.

OpenAI/Hugging Face olayı, oyunun kurallarını değiştiren bir olaydı.

Bu durum, küresel ölçekte, özellikle yapay zeka güvenlik standartları , acil durdurma mekanizmaları ve sorumluluk yasalarının uygulanması konularında daha sıkı yapay zeka düzenlemeleri çağrılarına yol açtı  .

Bu durum aynı zamanda birçok yapay zeka yönetimi uzmanının, yapay zekanın mevcut durumu, ortaya çıkan riskler ve bilim kurgu ile gerçeklik arasındaki fark hakkındaki varsayımlarını sorgulamasına yol açtı.

Bu olay, şirketlerin pratik yapay zeka yönetimine bakış açısını da değiştirdi: Yapay zeka dağıtımı sırasında uygulanan inceleme, gözetim ve kontrol seviyeleri, daha önce birçok kişinin varsayımsal olarak ele aldığı yükselen bir tehdit seviyesini yansıtmalıdır.

Bu konuda, BM Bağımsız Uluslararası Yapay Zeka Bilimsel Paneli, “ Yapay Zeka Ajanları, Uyumsuzluk ve İnsan Kontrolünün Kaybı Riski: OpenAI-Hugging Face Olayından Elde Edilen Kanıtlar ” başlıklı tematik bir özet yayınladı.

Özet metinde şu ifadeler yer almaktadır:

“OpenAI-Hugging Face olayı, gelecekte daha ciddi kontrol kaybına yol açabilecek olası bir yolun erken uyarısıdır : Yetenekli yapay zekâ ajanlarının, insan niyetlerinin ötesine geçen veya hatta onlarla çelişen bir hedefi ısrarla takip etmesi.”

Aşağıdaki tablo, olay sırasında gözlemlenenlerin gelecekteki sistemlerde nasıl daha da güçlenebileceğini ve insan kontrolü üzerinde doğrudan etkilerini göstermektedir:

Tablo 1. OAI-HF 2026 olayından olası gelecekteki kontrol kaybına

Olayda gözlemlenen Gelecekteki sistemlerde olası güçlenme İnsan kontrolü açısından sonuç
Hedef: Ajanlar görevdeki kısayolları istismar etti ve değerlendirici hakkında bilgi aradı. Daha güçlü arama ve daha uzun çalışma süreleri, kusurlu bir hedefin etrafından dolaşmanın daha fazla yolunu ortaya çıkarabilir. Görünürdeki hizalama, operatörün niyetini ihlal eden yöntemleri gizleyebilir.
Yetenekler: Ayrı çalıştırmalar yetkisiz bir kanal oluşturdu ve keşifleri, araçları ve kimlik bilgilerini paylaştı. Daha fazla ajan, görevler arasında taşınan bellek ve yetkilendirme, bilginin ve koordinasyonun daha hızlı ve daha geniş yayılmasını sağlayabilir. Dağıtık faaliyet, insanlar tam bir tablo oluşturmadan önce birçok bilgisayarda gelişebilir.
Ortam: Ajanlar yönetici erişimi kazandı ve başka bir şirketin sistemlerine ulaştı. Daha geniş araç erişimi (elektronik olarak kontrol edilen fiziksel araçlar dahil) ve daha fazla birbirine bağlı hizmet, benzer davranışın erişim alanını genişletebilir. Yerel bir başarısızlık, organizasyonel ve ulusal sınırların ötesine yayılabilir.
Ortam: Tespit, kayıtlara, şirketler arası soruşturmaya ve insan müdahalesine bağlıydı. Daha hızlı eylem, ajanların değerlendirildiklerini fark etmesi veya daha iyi gizlenme, tespiti geciktirebilir ve izlemeyi bozmalarına yardımcı olabilir. Operatörlerin müdahale etmek için daha az zamanı ve daha az güvenilir bilgisi olabilir.

https://www.luizasnewsletter.com/p/ai-agents-and-the-risk-of-losing?r=7bwwa&utm_medium=ios&triedRedirect=true

 

Ajan kaynaklı tehditlere yönelik risk yönetimi yaklaşımlarına ilişkin özet metinde şu ifadeler yer almaktadır.

“Genel olarak, başarısızlıkların felaketlere yol açabileceği alanlarda belirsizlik, ekonomik ve yasal sorumluluk (1) , olay raporlaması (2), ampirik kanıt ve matematiksel analiz kullanılarak belgelenmiş güvenlik değerlendirmeleri (3), bağımsız inceleme (4), çoklu teknik engeller (5) ve altta yatan nedenlere yönelik araştırmalar (6) yoluyla yönetilir . Bu yaklaşımlar, ajansal yapay zekâ için geçerli olabilir ve dikkate alınmaya değerdir. Hiçbiri, merkezi bilimsel ve teknik sorunu çözmez: Yapay zekâ ajanlarının bazen geliştiricilerin niyetlerinden keskin bir şekilde ayrılan hedefleri neden takip ettiği ve bu hedeflerin ortaya çıktıktan sonra hafifletilmek yerine nasıl önlenebileceği. Özellikle, kontrol kaybı riski, ihtiyat ilkesinin ele almak üzere tasarlandığı türden bir karar problemi sunar: potansiyel zararın felaket veya geri döndürülemez olabileceği, ancak olasılığının bilimsel olarak belirsiz kaldığı bir durum.”

Bu özet, yapay zeka yönetişimi uzmanları için mutlaka okunması gereken bir belgedir. Buradan indirebilirsiniz .

Bu olaydan sonra yapay zeka yönetimi ve güvenliği asla eskisi gibi olmayacak . Yapay zeka riskleri geliştikçe, profesyoneller kuruluşlarının yapay zeka yönetimi yeteneklerini ve kendi bilgi, muhakeme ve eleştirel düşünme becerilerini güçlendirmelidir.

Umarım bu olaydan ders çıkarır ve daha büyük bir direnç geliştiririz.

Ne yazık ki, OpenAI/Hugging Face olayı, her kuruluştan daha iyi farkındalık, hazırlık ve müdahale gerektirecek, sistemik, önemli ve daha büyük ölçekli yapay zeka kaynaklı olayların yeni bir dalgasının yalnızca bir başlangıcı gibi görünüyor .

 

 

Scroll to Top