Hükümetleri, 2026 yılı sonuna kadar yapay zeka konusunda kırmızı çizgiler konusunda uluslararası bir anlaşmaya varmaya, bunların güçlü yaptırım mekanizmalarıyla birlikte çalışır durumda olmasını sağlamaya çağırıyoruz.

 

Küresel Çağrı ile ilgili sorular:

 

Yapay zeka bağlamında kırmızı çizgiler nelerdir?

Yapay zeka kırmızı çizgileri, hiçbir koşulda izin verilemeyecek kadar tehlikeli olduğu düşünülen yapay zeka kullanım veya davranışlarına getirilen belirli yasaklardır. Bunlar, yapay zekanın evrensel olarak kabul edilemez risklere yol açmasını önlemek için uluslararası alanda kabul görmüş sınırlardır.

Uluslararası yapay zeka kırmızı çizgileri neden önemlidir?

Uluslararası yapay zeka kırmızı çizgileri, insanlık için kabul edilemez riskler oluşturan sistemlerin geliştirilmesi, konuşlandırılması ve kullanımı konusunda net yasaklar koydukları için kritik öneme sahiptir. Bunlar:

Acil: Birincil amaçları, insanlık ve küresel istikrar için en ciddi ve geri döndürülemez zararları önlemektir.

Uygulanabilir: Kırmızı çizgiler, devletlerin üzerinde anlaşabileceği en düşük ortak paydayı temsil eder. Ekonomik veya jeopolitik rekabetler nedeniyle bölünmüş hükümetler bile, sınırlarını aşacak felaketlerden kaçınma konusunda ortak bir çıkar paylaşırlar.

Yaygın Destek: Büyük yapay zeka şirketleri, 2024 Yapay Zeka Seul Zirvesi de dahil olmak üzere, kırmızı çizgilere ihtiyaç duyulduğunu kabul etti . ABD ve Çin’den önde gelen bilim insanları , belirli kırmızı çizgiler talep etti ve bu, araştırma enstitüleri, düşünce kuruluşları ve bağımsız kuruluşlar tarafından en yaygın şekilde desteklenen önlem oldu.

Kısacası, kırmızı çizgiler, küresel toplumun güvenli inovasyonun devam etmesine olanak tanırken ciddi riskleri önlemek için şu anda atabileceği en pratik adımdır.

Olası kırmızı çizgilere dair somut örnekler verebilir misiniz?

Kırmızı çizgiler, yapay zeka davranışlarına (yani yapay zeka sistemlerinin neler yapabileceğine) veya yapay zeka kullanımlarına (yani insanların ve kuruluşların bu sistemleri nasıl kullanabileceğine) odaklanabilir. Aşağıdaki örnekler, geniş bir uluslararası mutabakat sağlayabilecek sınırların türünü göstermektedir.

Kampanyanın belirli bir kırmızı çizgiyi savunmaya odaklanmadığını unutmayın. Bu çizgilerin spesifik olarak tanımlanması ve açıklığa kavuşturulması, bilimsel-diplomatik diyalogların bir sonucu olacaktır.

Yapay zekanın kullanımına ilişkin kırmızı çizgilere örnekler:

Nükleer komuta ve kontrol: Nükleer fırlatma yetkisinin veya kritik komuta ve kontrol kararlarının yapay zeka sistemlerine devredilmesinin yasaklanması ( ABD ve Çin tarafından halihazırda kabul edilen bir ilke).

Ölümcül Otonom Silahlar: Anlamlı bir insan kontrolü ve net bir insan sorumluluğu olmadan bir insanı öldürmek için kullanılan silah sistemlerinin konuşlandırılmasını ve kullanılmasını yasaklamak.

Kitlesel gözetim: Yapay zeka sistemlerinin sosyal puanlama ve kitlesel gözetim amacıyla kullanılmasının yasaklanması ( UNESCO’nun 193 üye ülkesinin tamamı tarafından kabul edilmiştir ).

İnsan taklidi: Kullanıcıları, yapay zeka doğasını ifşa etmeden bir insanla etkileşimde olduklarına inandıran yapay zeka sistemlerinin kullanımını ve dağıtımını yasaklamak.

Yapay zeka davranışlarında kırmızı çizgi örnekleri:

Siber kötü amaçlı kullanım: Kritik altyapıyı bozabilecek siber saldırı araçlarının kontrolsüz bir şekilde serbest bırakılmasının yasaklanması.

Kitle imha silahları: Kitle imha silahlarının geliştirilmesini kolaylaştıran veya Biyolojik ve Kimyasal Silahlar Sözleşmelerini ihlal eden yapay zeka sistemlerinin konuşlandırılmasının yasaklanması.

Otonom kendi kendini çoğaltma: Açık insan yetkisi olmadan kendini çoğaltabilen veya önemli ölçüde iyileştirebilen yapay zeka sistemlerinin geliştirilmesinin ve konuşlandırılmasının yasaklanması ( Üst düzey Çinli ve ABD’li bilim insanlarının fikir birliği ).

Sonlandırma ilkesi: Anlamlı insan kontrolünün kaybedilmesi durumunda anında sonlandırılamayan yapay zeka sistemlerinin geliştirilmesinin yasaklanması ( Yapay Zeka için Evrensel Yönergeler’e dayanarak ).

Yapay zeka davranışlarına ilişkin kırmızı çizgiler, Anthropic’in Sorumlu Ölçeklendirme Politikası , OpenAI’nin Hazırlık Çerçevesi ve DeepMind’ın Sınır Güvenlik Çerçevesi gibi yapay zeka şirketlerinin Güvenlik ve Emniyet çerçevelerinde uygulamaya konmaya başlandı . Örneğin, kritik siber saldırı kapasitesinin üzerindeki yapay zeka modelleri için OpenAI, “Kritik bir standardı karşılayacak güvenlik önlemleri ve güvenlik kontrol standartları belirlenene kadar, daha fazla geliştirmeyi durdurun” diyor. Güçlü önlemler gerektiren kritik yeteneklerin tanımlarının, bu farklı şirketler arasında uyumlu hale getirilmesi ve güçlendirilmesi gerekiyor.

Uluslararası yapay zeka kırmızı çizgileri mümkün mü?

Evet, tarih, yüksek riskli durumlarda uluslararası iş birliğinin tamamen gerçekleştirilebilir olduğunu gösteriyor. Eylemsizliğin bedeli çok ağır olduğunda, insanlık küresel felaketleri veya insanlığa ve küresel istikrara yönelik derin zararları önlemek için bağlayıcı kurallar oluşturmak üzere sürekli olarak bir araya gelmiştir.

Nükleer Silahların Yayılmasının Önlenmesine Dair Antlaşma ( 1970) ve Biyolojik Silahlar Sözleşmesi (1975), Soğuk Savaş’ın zirvesinde müzakere edilip onaylanmış ve karşılıklı güvensizlik ve düşmanlığa rağmen iş birliğinin mümkün olduğunu kanıtlamıştır. Montreal Protokolü (1987), ozon tabakasını incelten maddeleri aşamalı olarak kaldırarak küresel bir çevre felaketini önlemiş ve BM İnsan Klonlama Bildirgesi (2005), üreme amaçlı klonlamanın potansiyel zararlarından insan onurunu korumak için önemli bir küresel norm oluşturmuştur. Son olarak, Açık Denizler Antlaşması (2025), açık denizlerin korunması için kapsamlı bir dizi düzenleme getirmiş ve uluslararası diplomasi için bir iyimserlik göstergesi olarak hizmet etmektedir.

Sınır tanımayan küresel, geri döndürülemez tehditler karşısında, uluslararası iş birliği ulusal çıkarların en rasyonel biçimidir.

Sıfırdan mı başlıyoruz?

Hayır. Yapay zeka konusunda kırmızı çizgiler zaten mevcut ve ivme kazanıyor. Bazı örnekler şunlardır:

Küresel Normlar ve İlkeler: 193 üye devletin tamamı tarafından kabul edilen UNESCO Yapay Zeka Etiği Tavsiyesi (2021) , yapay zeka sistemlerinin sosyal puanlama ve kitlesel gözetim için kullanımının açıkça yasaklanmasını talep ediyor.

Bağlayıcı Yasal Çerçeveler: Avrupa Konseyi’nin Yapay Zeka Çerçeve Sözleşmesi, yapay zeka sistemlerinin insan hakları, demokrasi ve hukukun üstünlüğü ile uyumlu olmasını sağlamak için imzacılarına bağlayıcı kurallar getiren, konuyla ilgili ilk uluslararası anlaşmadır. AB Yapay Zeka Yasası, Avrupa Birliği içinde kesinlikle yasaklanmış uygulamalar için “kabul edilemez risk” seviyesi oluşturmaktadır.

Ulusal Politikalar: Amerika’nın Yapay Zeka Eylem Planı, eşik değerleri belirleyebileceğimiz bir değerlendirme ekosisteminin oluşturulmasını açıkça talep ediyor.

ABD-Çin İkili Diyalog: 2024’te her iki Devlet Başkanı da yapay zekanın nükleer silahların kullanımı konusunda asla karar almaması gerektiği ve insanların kontrolde kalması gerektiği konusunda  anlaştı .

Yüzlerce uzman ve düzinelerce sivil toplum kuruluşunun desteklediği Bilimsel Mutabakat: Yapay Zeka için Evrensel Kılavuzlar (2018) , anlamlı bir insan kontrolü artık sağlanamadığı takdirde herhangi bir yapay zeka sisteminin kapatılması yükümlülüğünü ifade eden net bir “Sonlandırma İlkesi” ortaya koymaktadır. Önde gelen uluslararası uzmanların bir mutabakatıyla oluşturulan IDAIS Yapay Zeka Güvenliği Pekin Bildirgesi (2024) , insan gözetimi olmadan otonom olarak çoğalabilen veya evrimleşebilen yapay zeka sistemlerinin kısıtlanması gibi birkaç kırmızı çizgiyi açıkça vurgulamaktadır.

Sektör Taahhütleri: Yapay Zeka Seul Zirvesi’nde, önde gelen yapay zeka şirketleri , “bir model veya sistemin oluşturduğu ciddi risklerin, yeterince azaltılmadığı takdirde, tahammül edilemez sayılacağı eşikleri” resmen belirleme sözü veren Seul Taahhütleri’ni imzaladı. Ayrıca, birçok önde gelen şirket, yapay zeka dağıtımını veya gelişimini kısıtlamak ve belirli yüksek riskli yetenekler keşfedilirse güvenlik önlemleri uygulamak üzere tasarlanmış iç yönetişim çerçeveleri benimsedi.

Çağrımız, bu güçlü çabaların ortaya koyduğu ilke ve emsalleri temel alarak tutarlı, bağlayıcı ve evrensel olarak benimsenen bir uluslararası çerçeve oluşturmaktır. Mevcut kırmızı çizgiler listesi hakkında daha detaylı bir tartışmaya buradan ulaşabilirsiniz .

Peki bu kırmızı çizgileri kim uygulayacak?

Yapay zeka için tek bir küresel otorite bulunmadığından, yaptırımların uygulanması muhtemelen aşağıdakiler de dahil olmak üzere farklı yönetim düzeylerini birleştirecektir:

Uluslararası Anlaşma: Bağlayıcı bir anlaşma, ülkeler genelinde kuralları uyumlu hale getirecektir. Bu, şirketlerin daha az katı yargı bölgelerine geçerek düzenlemelerden kaçabileceği bir düzenleyici arbitraj “dibe doğru yarışı”nı önleyecektir.

Ulusal Hükümetler: Ülkeler, uluslararası anlaşmayı iç hukuka uyarlamakla görevlendirilecektir. Bu, gelişmiş yapay zeka sistemlerini lisanslayacak, zorunlu güvenlik denetimleri gerçekleştirecek ve kendi yetki alanlarındaki ihlaller için ağır cezalar uygulayacak düzenleyici kurumlar oluşturmayı içerecektir.

Uluslararası Teknik Doğrulama Kuruluşu: Uluslararası Atom Enerjisi Ajansı (UAEA) gibi kuruluşlar örnek alınarak oluşturulmuş tarafsız bir uluslararası kuruluş, standart denetim protokolleri geliştirebilir ve herhangi bir şirket veya ülkenin yapay zeka sistemlerinin üzerinde anlaşılan kırmızı çizgilere uygunluğunu bağımsız olarak doğrulayabilir. Uluslararası Yapay Zeka Güvenlik ve Emniyet Enstitüleri Ağı, bu süreçte rol oynamak için iyi bir konumdadır.

Neden 2026?

Daha uzun süre beklemek, hem teknik hem de politik olarak etkili müdahale için daha az alan anlamına gelebilirken, sınır ötesi zarar olasılığı da keskin bir şekilde artabilir. İşte bu nedenle 2026, dünyanın harekete geçeceği yıl olmalı.

Yapay zeka gelişiminin hızı, bir zamanlar spekülatif olarak görülen risklerin halihazırda ortaya çıktığı anlamına geliyor; bunlara biyolojik kötüye kullanım riskleri ( Williams vd., 2025 ), aldatıcı davranış gösteren sistemler ve hatta kontrole karşı direnç ( Greenblatt vd., 2024 ) dahildir. Önde gelen yapay zeka şirketleri, biyolojik kötüye kullanım potansiyeline ilişkin kendi değerlendirmelerinde, en yeni sınır modellerini orta ( Anthropic, 2025 ) ila yüksek ( OpenAI, 2025 ) risk spektrumuna yerleştiriyor.

Yapay zekânın kodlama yetenekleri de hızla gelişiyor ; bu da insanüstü programlama yeteneğinin yakında mümkün olabileceği ve yapay zekâ gelişiminin daha da hızlanabileceği anlamına geliyor. Son güvenlik değerlendirmelerine ( Google DeepMind, 2024 ) göre uzmanlar, yapay zekâların 2025’in sonlarına doğru internette otonom olarak çoğalıp yaygınlaşabileceğini, ortalama tahminin ise 2027’de gerçekleşeceğini öngörüyor.

Bundan sonraki adımlar neler olmalı?

BM Genel Kurulu’nun 80. oturumu öncesinde başlatılan kampanya, yapay zekâ konusunda kırmızı çizgiler konusunda uluslararası anlaşmalara yönelik somut yollara yönelik diplomatik adımları teşvik etmeyi amaçlıyor.

Birkaç tamamlayıcı yol öngörülebilir:

Öncü ülkelerden oluşan bir grup veya potansiyel olarak G7 Hiroşima Yapay Zeka sürecine dahil olan ülkelerden yararlanan bir “gönüllüler koalisyonu” , Yapay Zeka kırmızı çizgileri kavramını G7, G20 ve BRICS gündemlerinde ilerletebilir.

Yeni kurulan BM Yapay Zeka Bağımsız Bilimsel Paneli, OECD’nin teknik katkılarıyla teknik olarak net ve doğrulanabilir kırmızı çizgiler konusunda bilimsel fikir birliğini dile getiren tematik bir özet yayınlayabilir.

Bu temel üzerine inşa edilen devletler, Şubat 2026’da Hindistan’da düzenlenecek Yapay Zeka Etki Zirvesi’ni, yapay zeka için ilk kırmızı çizgileri onaylamak için kullanabilirler. Bu kırmızı çizgiler, gönüllü kurumsal taahhütleri ortak risk eşiklerine dönüştürerek Seul Taahhütleri’ni temel alabilir ve bu eşikler de ulusal düzenlemelere ve kamu alımlarına entegre edilebilir.

BM Yapay Zeka Yönetimi Küresel Diyaloğu , bilim insanları, sivil toplum ve endüstriyle birlikte net ve doğrulanabilir kırmızı çizgiler belirlemek için küresel bir istişareye öncülük edebilir ve bu çizgiler Temmuz 2026’da Cenevre’de düzenlenecek Diyalog’da bir sonuç belgesinde özetlenebilir.

2026 yılı sonuna kadar, (i) bu kırmızı çizgileri not edip memnuniyetle karşılayan ve müzakerelere davet eden bir BM Genel Kurulu kararı başlatılabilir ya da (ii) istekli devletlerden oluşan bir ittifakın ortak bakanlar bildirisi ile bağlayıcı bir uluslararası antlaşma için müzakereler başlatılabilir.

Gelecekteki herhangi bir anlaşma üç temel üzerine inşa edilmelidir: yasakların açık bir listesi; güçlü, denetlenebilir doğrulama mekanizmaları; ve Taraflarca uygulamayı denetlemek üzere oluşturulacak bağımsız bir organın atanması.