22 Eylül 2026
Stanford Üniversitesi’nden Surya Ganguli, Diyi Yang ve Rob Reich, “Hızlı Yanıt” adlı yeni bir seride, ortaya çıkan ajan davranışını, özyinelemeli kendi kendini geliştirmeyi, bağımsız değerlendirmeyi ve bir acil durdurma düğmesinin gelişmiş yapay zekayı daha güvenli hale getirip getiremeyeceğini incelediler.
Yapay zekâ karmaşık ve huzursuz bir aşamaya girdi. Yeni sistemler daha yetenekli, daha özerk hale geliyor ve giderek daha fazla grup halinde çalışabiliyor; bazen geliştiricilerinin bile tahmin etmekte veya açıklamakta zorlandığı şekillerde. Aynı zamanda, yapay zekâ bilimsel araştırmalara, iş yerlerine, sağlık hizmetlerine, eğitime ve günlük hayata entegre ediliyor. Model geliştiriciler arasındaki ve ABD ile Çin arasındaki rekabet, basit bir duraklamayı hayal etmeyi giderek zorlaştıran bir yarış dinamiği yaratıyor.
Bu durum, kamuoyunu daha önce büyük ölçüde araştırma laboratuvarları ve bilim kurguyla sınırlı olan sorularla karşı karşıya bırakıyor: Yapay zekâ sistemleri insan kontrolünün ötesine geçebilir mi? Sektör, bu sistemlerin gelişimini yavaşlatmalı mı? Ne kadar riskin kabul edilebilir olduğuna kim karar veriyor? Ve bir sistem tehlikeli davranırsa, onu durdurabilecek bir “kapatma düğmesi” gerçekten var mı?
Bu sorular, Stanford İnsan Merkezli Yapay Zeka Enstitüsü’nün ( HAI) uygulamalı fizik doçenti ve HAI kıdemli üyesi Surya Ganguli , bilgisayar bilimi yardımcı doçenti ve HAI öğretim üyesi Diyi Yang ve siyaset bilimi profesörü, yardımcı direktör ve HAI kıdemli üyesi Rob Reich’in katılımıyla gerçekleşen bir tartışmanın çerçevesini oluşturdu. HAI’nin yönetici direktörü Russell Wald’ın moderatörlüğünü yaptığı bu konuşma, yapay zekadaki hızlı gelişmelere kanıt, titizlik ve çok disiplinli bakış açıları getirmeyi amaçlayan “Hızlı Yanıt” adlı yeni bir serinin parçasıydı.
Yapay zekâ yarışının hızını tartışırken, panelistler yetenekleri, onları anlamak için gereken bilimden daha hızlı ilerleyen bir teknolojiyi ve yavaşlamayı zorlaştıran ekonomik ve jeopolitik bir ortamı tanımladılar. Önerileri, bağımsız testlerden ve daha fazla şeffaflıktan, önce güvenlik odaklı sistem tasarımına, kamu denetimine ve yapay zekânın nasıl davrandığını anlamak için çok daha fazla insan ve finansal yatırıma kadar uzanıyordu. ( Videoyu Stanford HAI YouTube kanalında izleyebilirsiniz .)
Yapay Zeka Ajanları Koordinasyon Sağladığında
Wald , konuşmasına OpenAI ajanlarının test ortamlarının dışına çıkarak Hugging Face sistemlerine sızdığı yakın tarihli bir olaya atıfta bulunarak başladı . Olay, yalnızca bir yapay zeka sisteminin engelleri aşmanın bir yolunu bulması nedeniyle değil, aynı zamanda birden fazla ajanın görevlerini tamamlamak için koordineli hareket etmesi, iletişim kurması, iş birliği yapması ve hatta kendilerini feda etmesi nedeniyle de dikkat çekti. İnsanların onları tespit edebileceğinin farkında oldukları ve aldatıcı önlemler aldıkları anlaşıldı.
Yang, araştırmacıların daha önce de modellerin bir amacı gerçekleştirmek için kısayolları veya yanıltıcı korelasyonları kullandığı ödül manipülasyonu gibi davranışları belgelediklerini söyledi. Burada dikkat çeken şey, koordinasyonun ölçeği ve karmaşıklığıydı. Yüzlerce ajanın uzun bir süre boyunca birlikte çalıştığını belirten Yang, araştırmacıların kolektif yapay zeka davranışını şekillendiren teşvikler hakkında ne kadar az şey anladığını ortaya koydu.
Ganguli, etkileşim halindeki model gruplarının, bireysel sohbet robotlarından temelde farklı bir bilimsel sorun teşkil ettiğini kabul etti. “Tekil LLM’ler bir şeydir,” dedi, “ancak birbirleriyle etkileşim halindeki LLM sistemleri, tamamen yeni ortaya çıkan özellikler için bir fırsat yaratır.” Modeller geliştikçe ve etkileşimleri daha karmaşık hale geldikçe, izlemenin giderek daha önemli hale geleceğini de ekledi. Ancak bu “LLM topluluklarının” biliminin henüz başlangıç aşamasında olduğunu vurguladı ve yeni bir ajan fiziğine ihtiyaç duyabileceğimizi öne sürdü .
Reich, yönetimsel sonuçlara odaklandı. METR ve Redwood Research tarafından daha sonra yayınlanan adli raporlarda onu en çok endişelendiren şey koordinasyon değil, kasıtlı aldatma gibi görünen durumdu. Sınır modeli davranışını açıklayacak olgun bir bilimin yokluğuyla birleştiğinde, “Gerçekten endişelenmek için nedenimiz var” dedi.
Daha Güçlü Bağımsız Değerlendirme İçin Bir Gerekçe
Panel, sürekli olarak temel bir soruna geri döndü: En yetenekli sistemleri geliştiren şirketler, bu sistemleri değerlendirmek için gereken bilgi ve işlem gücünün büyük bir kısmına da sahipler.
Yang, dışarıdan yapılan değerlendirmelerin bile kör noktaları olabileceği konusunda uyardı. Değerlendirmeler, bir modelin nasıl eğitildiğini, bir davranışın neden ortaya çıktığını veya bir yapay zeka sisteminin araştırmacılara yaptığı işin eksiksiz ve doğru bir açıklamasını verip vermediğini ortaya koymayabilir. Yüzlerce etkileşimli ajanın titiz bir şekilde incelenmesi son derece pahalıdır ve bu da çoğunu akademik araştırmacıların erişiminin ötesine taşır. Bazı analizler ayrıca yapay zekayı değerlendirmek için yapay zeka kullanır ve bu da döngüsel sonuçlar veya modelin kendi kendini tercih etmesi olasılığını yaratır. “Birçok analiz, modellerin kendilerini tercih etme eğiliminde olduğunu gösteriyor,” dedi. Yakında yayınlanacak kendi çalışması , bir ajan işi yürütürken diğeri onu değerlendirdiğinde, değişen koşulların ikiliyi iş birliğine itebileceğini buldu: Yapay zeka değerlendiricisi tüm günlüğü okumayı bırakır, yapay zeka yürütücüsü görevi tamamlamayı bırakır ve her ikisi de işi yüksek puanla değerlendirir.
Reich, geliştiricilerin oluşturdukları sistemlerin tek hakimi olmamaları gerektiğini savundu. “Bu, öğrencilerden kendi ödevlerini değerlendirmelerini istemek gibi,” dedi. Hükümet veya yetkili üçüncü taraflarca yürütülen bağımsız değerlendirmeler, yapay zeka ekosisteminin standart bir parçası olmalıdır.
Ona göre asıl dengesizlik, kaynaklar ve teşviklerle ilgili: Yapay zekâ yeteneklerini artırmaya, yorumlanabilirlik, güvenlik ve kontrole kıyasla çok daha fazla para, yetenek ve prestij akıyor. Daha düşünceli bir bilimsel temel olmadan, düzenlemelerin “bir mühendislik harikasına takılan yara bantları” haline gelme riski taşıdığını söyledi.
Şeffaflık ve Açık Modeller
Ganguli’ye göre, açık modeller şeffaflık engelini aşmanın bir yoludur. Açık ağırlıklar, eğitim kodu ve veriler, dünyanın dört bir yanındaki araştırmacıların modelleri incelemesine, güvenlik açıklarını belirlemesine ve savunma geliştirmesine olanak tanır. Toplum, kurumsal duvarların ardında gizlenen sistemleri araştırmak için az sayıda şirkete bel bağlayamaz, dedi.
Temel itirazı kabul etti: Güvenlik araştırmalarına olanak sağlayan aynı açıklık, kötü niyetli aktörlere güçlü araçlara erişim imkanı da verebilir. Yine de, süreci siber güvenliğin saldırganlar ve savunucular arasındaki uzun süredir devam eden mücadelesine benzetti; bu mücadelede geniş katılım, zayıf noktaları ortaya çıkarmaya ve onarmaya yardımcı olabilir. Açık modellerin ayrıca girişimleri desteklediğini, maliyetleri düşürdüğünü ve yeniliği teşvik ettiğini söyledi.
Reich, kurumsal yapının önemli olduğunu kabul etti. Ekonomik getiri arayan şirketlerden değerli ticari sırlarını öylece ifşa etmeleri beklenemez. Ancak açıklığın her zaman daha güvenli olduğu varsayımına karşı uyardı. Eğer ileri düzey yapay zeka, insan zekasını hem yararlı hem de zararlı amaçlarla güçlendiriyorsa, bunu geniş çapta yayınlamak, geleneksel açık kaynak yazılımlarla ilişkili risklerden farklı riskler taşıyabilir.
Bu görüş alışverişi, etkinlik boyunca işlenen bir temayı ortaya koydu: Yapay zeka yönetimi, tek bir doğru ayarı olan teknik bir optimizasyon problemi değildir. Yenilik ve güvenlik, özgürlük ve emniyet, fayda ve risk hakkında değerlendirmeler içerir. Hem Ganguli hem de Reich’in belirttiği gibi, bu seçimler nihayetinde teknoloji uzmanlarından ziyade demokratik topluma aittir.
Yang, çoğu insanın açık modeller yerine ticari, API tabanlı sistemler kullandığını da sözlerine ekledi. Bu durum, dış değerlendiriciler için sürekli erişim, değerlendirici bağımsızlığı için net standartlar ve daha güçlü olay bildirim sistemlerini eşit derecede önemli kılıyor. En önemli sonuçlar doğurabilecek arızaların bazıları aynı zamanda tespit edilmesi en zor ve en pahalı olanlar olabilir.
Özyinelemeli Kendini Geliştirme Kaygıları
Ardından tartışma, tekrarlayan özyinelemeli kendi kendini geliştirme konusuna yöneldi: yapay zekanın, sonraki yapay zeka sistemlerini oluşturmak, test etmek veya iyileştirmek için kullanılması. Bu yaklaşım, kodlama, matematik ve bilimsel araştırma gibi alanlarda ilerlemeyi hızlandırabilir, ancak aynı zamanda gelişmiş sistemleri denetleyen insanlar için daha az anlaşılır hale getirebilir.
Ganguli, tekrarlayan öz-gelişimi umut vadeden ancak mutlaka tamamen yeni bir zeka biçimine giden bir yol olarak tanımlamadı. Mevcut yaklaşımların performansı iyileştirmeye devam edebileceğini belirten Ganguli, enerji verimliliği ve sınırlı verilerden öğrenme yeteneği gibi alanlarda biyolojik ve yapay zeka arasında büyük farklar bulunduğunu da sözlerine ekledi.
En önemli soru, güvenliğin yeteneklerle birlikte gelişip gelişmeyeceğidir. Ganguli, şirketlerin öncü modellerini geliştirmek için yapay zekayı kullanıyorlarsa, aynı zamanda izleme, uyum ve yanlış davranış tespiti yeteneklerini güçlendirmek için de kullanmaları gerektiğini savundu. “Eğer sadece yeteneklerin tekrarlayan öz-gelişimine odaklanırlarsa, sorun yaşayabiliriz,” dedi.
Yang’ın yapay zekâ tarafından üretilen bilimsel fikirler üzerine yaptığı araştırmalar hem potansiyeli hem de sınırlamaları ortaya koyuyor. Yapay zekâ, yeni fikirler üretebilir ve bunları kodlama ajanları ile test edip geliştirebilir . Ancak birçok kazanım, gerçek algoritmik atılımlardan ziyade yerel hiperparametre optimizasyonuna dayanmaktadır. RSI, bir problemin net bir ödül sinyali olduğunda daha iyi performans gösterir; insan zevki ve öznel yargıları içeren açık uçlu soruları belirlemek çok daha zordur.
Ayrıca, kolaylığın yapay zekâ çıktısını doğrulamak için gereken insan becerilerini aşındırabileceği konusunda da uyardı. Yapay zekânın sadece görevleri tamamlamak için değil, aynı zamanda insanların öğrenmesine ve yetkinliklerini korumasına yardımcı olmak için de optimize edilmesi gerektiğini öne sürdü.
Reich, konuyu felsefi bir çerçevede ele aldı: İnsan anlayışı olmadan bilgiye sahip olmak ne anlama gelir? Bir makine, insanların tam olarak kavrayamayacağı doğrulanmış bir matematiksel kanıt veya bilimsel sonuç üretebilir. Bu tür bir gelişme, yalnızca güvenlik hakkında değil, bilimin gelecekteki uygulaması hakkında da soruları gündeme getirecektir. Özellikle tekrarlayan öz-gelişim söz konusu olduğunda, şirketlerin bilgi işlem kaynaklarını yetenek geliştirme ve güvenlik çalışmaları arasında nasıl tahsis ettikleri konusunda daha fazla şeffaflık çağrısında bulundu.
‘Acil Durdurma Düğmesi’ Neden Yeterli Değil?
Yapay zekâ destekli acil durdurma düğmesi fikri, belirsiz bir tehdide karşı somut bir yanıt sunduğu için ilgi çekmiştir. Ancak panelistler, bu metaforun açıklığa kavuşturmaktan çok kafa karışıklığına yol açabileceği konusunda uyarıda bulundular.
Yang, bir kapatma mekanizmasının gerekli olabileceğini, ancak bunun temel bir soruyu yanıtladıktan sonra mümkün olacağını söyledi: Tam olarak neyi kapatacak? “Yapay zeka”, öncü temel modelleri, otonom ajan ağlarını veya ürünlere ve kurumlara zaten yerleştirilmiş birçok küçük sistemi ifade edebilir. Anlamlı bir müdahale, yetenekleri sınırlamak, dağıtımı durdurmak ve riskleri denetlemeye ayrılan zamanı artırmak arasında ayrım yapmalıdır.
Ganguli daha açık konuştu: “Acil durdurma düğmesi güçlü bir metafor, ancak ihtiyacımız olan şey için çok yetersiz bir metafor.” Tek bir acil durum kontrolüne güvenmek yerine, yapay zeka yığını boyunca önce güvenlik odaklı bir mimari çağrısında bulundu: sınırlı hedefler, deterministik güvenlik önlemleri, birbirini kontrol eden birden fazla model, sürekli izleme ve sorunlar ortaya çıktığında insan uzmanlara yönlendirme.
Reich, bu mimariyi düzenleme ve sorumlulukla ilişkilendirdi. Sağlık hizmetleri gibi yüksek düzeyde düzenlemeye tabi alanlarda, geliştiricilerin güvenlik ve uyumluluktan sorumlu tutulması zaten zorunlu. Daha az düzenlemeye tabi sektörlerde ise, politika yapıcılar mevcut sorumluluk kurallarının ne zaman yeterli olduğunu ve yeni modellerin ne zaman özel bir denetim gerektirdiğini belirlemelidir. Otonom bir sistem zarar verirse, toplumun yine de kimin sorumlu olduğuna dair net bir cevaba ihtiyacı olduğunu belirtti.
Yang, felaket boyutundaki yetenek risklerine odaklanmanın, daha yavaş ve yaygın zararları gölgede bırakmaması gerektiğini de sözlerine ekledi. Kullanıcılara duymak istediklerini söyleyen dalkavuk sistemler , yapay zekaya aşırı bağımlılık, beceri kaybı, ruh sağlığı üzerindeki etkiler ve işgücü piyasasının bozulması, insan iradesini azaltabilir. Bu zararların açık bir kapatma düğmesi yoktur.
Yapay Zeka Yavaşlatılabilir mi?
Etkinliğin temel sorusuna yanıt vermeleri istenen üç panelist de, yapay zeka yetenek geliştirme alanında geniş çaplı bir yavaşlamanın sağlanmasının zor olacağını söyledi.
Ganguli ise bunun yerine yetenek geliştirme çalışmalarının yanı sıra “güvenlik, emniyet ve izlemeye yönelik yatırımların hızlandırılması” çağrısında bulundu. Yang ise yetenek araştırmalarını yavaşlatmanın gerçekçi olmayabileceğini, ancak toplumun yapay zekanın kullanımının yaygınlaştırılması, risk denetimi ve sosyal sonuçları konusunda daha bilinçli davranabileceğini söyledi.
Reich, yarış dinamiği içindeki teşviklerin herhangi bir yavaşlamaya karşı koyduğunu söyledi. Ancak, ” sınırı hızlandırma” bildirisini imzalayan 1300’den fazla kişinin , kısmen kendi kontrollerinde olan bir şey için düzenleyici veya jeopolitik bir çözüm beklediğini belirtti; bu durum, yetenek kazanımlarına katkıda bulunmayı reddeden araştırmacıların örneğini takip ediyor. Eğer bir günlük iş bırakma eyleminin bunun ne kadar ciddi bir durum olduğunu gösterebileceği akıllarına gelmediyse, “o zaman mektubun tamamını ciddiye aldığımı sanmıyorum.”
Sam Altman’ın işini korumasının nedeninin, OpenAI yönetim kurulu krizi sırasında çalışanların şirketin kendileri olmadan hiçbir şey olmadığını ilan etmeleri olduğunu da sözlerine ekledi. “Sam Altman’ın işini kurtaran şey işçi örgütlenmesiydi. Bu sıradan anlamda işçi örgütlenmesi, laboratuvarlar genelinde de öncü rol oynamak için çok önemli sonuçlar doğurabilir.”
Tartışma, gelişmiş yapay zekanın risklerini çözebilecek tek bir kaldıraç sunmadı. Bunun yerine, daha zorlu bir gündeme işaret etti: daha iyi bilim, bağımsız denetim, sistemlere baştan itibaren entegre edilmiş güvenlik, demokratik gözetim ve yapay zekanın halihazırda hayatlarını değiştirdiği insanlara sürekli ilgi. Yarışı durdurmak zor olabilir. Panelin mesajı, bu durumun yarışı sorumlu bir şekilde yönlendirmeyi daha da acil hale getirdiğidir.
Bu konuşma, “Hızlı Yanıt: Yapay Zeka Uzmanları Günümüz Sorunları Üzerine” adlı serinin bir parçasıdır. Konuşmanın tamamını Stanford HAI YouTube kanalından dinleyebilirsiniz.