The Future Sciety / 3 Temmuz 2025
Ana Görüş: Yapay Zeka için Küresel Kırmızı Çizgiler serimizin ilk bölümünde, yalnızca sistemik zararı önlemek için değil, aynı zamanda yapay zekanın gerçekten kamuya hizmet edecek şekilde geliştirilmesini sağlamak için de net uluslararası sınırlar belirlemenin neden önemli olduğu açıklanmaktadır.
Kırmızı çizgi fikri basittir. Prensip olarak, net ve makul sınırlar koymanın insanların güvenliğini sağlamaya yardımcı olduğunu biliyoruz. Örnek olarak yol güvenliğini ele alalım. Düzenleyiciler, otomobil üreticilerinin güvenilir ve güvenlik testlerinden geçmiş frenlere sahip araçları dahil etmelerini zorunlu kılıyor ve birçok araç, motor daha hızlı gidebilse bile gidebilecekleri hızı sınırlayan elektronik hız sınırlayıcılarla donatılmış durumda. Bu sınırlar toplu olarak tehlikeyi azaltır ve herkesin varış noktasına güvenli bir şekilde ulaşma şansını önemli ölçüde artırır.
Peki bu fikir yapay zekaya nasıl yansıyor? Yapay zeka yetenekleri hızla geliştikçe, şimdiden güvenlik önlemleri almazsak tehlikeli bölgelere girme riskiyle karşı karşıya kalırız. Arabalar gibi, yapay zeka da olağanüstü fırsatlar sunar, ancak iyi tanımlanmış sınırlar olmadan ciddi tehlikeler doğurur. Kırmızı çizgiler, yapay zeka için “yol kuralları” işlevi görebilir: Bu teknolojilerin zarar vermemesini ve kamu yararına uygun kalmasını sağlayan sınırlar.
Üç bölümlük serinin birinci bölümü olan bu açıklayıcı yazıda, yapay zeka için kırmızı çizgilerin ne olduğu ve bunların bugün ele alınmasının neden önemli olduğu ele alınıyor.
Kırmızı çizgi nedir?
Temel olarak, kırmızı çizgi, aşılmaması gereken bir sınırdır. İşçi sağlığını korumak için toksik kimyasalların maksimum seviyelerini belirlemek veya çevreyi korumak için kirliliğe sınır koymak gibi hayatın birçok alanında kırmızı çizgilere güveniyoruz. Bu kırmızı çizgiler tüm riskleri ortadan kaldırmasa da, toplumun kabul edilemez olarak kabul ettiği şeyleri tanımlar.
Uluslararası kırmızı çizgilere dair bazı özel örnekler Tablo 1’de sunulmaktadır.
| Diğer Alanlardaki Uluslararası Kırmızı Çizgi Örnekleri | ||
| Alan | Açıklama | Kaynak(lar) |
| Ozon tabakasının korunması | Ozon tabakasını incelten maddelerin veya Dünya’nın koruyucu ozon tabakasına ciddi zarar veren insan yapımı kimyasalların üretimi ve tüketiminin yasaklanması. | Ozon Tabakasını İncelten Maddelere İlişkin Montreal Protokolü (1987) |
| İnsan klonlama | Üreme amaçlı insan klonlamanın, yani canlı veya ölü başka bir insana genetik olarak özdeş bir insan yaratmanın yasaklanması. | Avrupa Konseyi Oviedo Sözleşmesi (1997) Birleşmiş Milletler İnsan Klonlama Bildirgesi (2005) |
| Biyolojik silahlar | Biyolojik ve toksik silahların geliştirilmesinin, üretiminin, edinilmesinin, transferinin, stoklanmasının ve kullanılmasının yasaklanması. | Biyolojik Silahlar Sözleşmesi (BWC) (1972) |
| Rekombinant DNA’ların klonlanması | Yüksek derecede patojenik organizmalardan elde edilen rekombinant DNA’ların klonlanmasının yasaklanması. | Asilomar Rekombinant DNA Konferansı (1975) |
Tablo 1: Diğer alanlardaki uluslararası kırmızı çizgilere örnekler
Yapay zekanın kırmızı çizgisi nedir?
“Yapay Zeka kırmızı çizgileri”nin evrensel olarak kabul görmüş bir tanımı bulunmamakla birlikte, temel özellikleri konusunda genel bir fikir birliği bulunmaktadır. OECD, yapay zeka kırmızı çizgilerini “azaltma önlemlerinden bağımsız olarak kabul edilemez model yetenekleri açısından tanımlanmış bir eşik” olarak tanımlarken, Dünya Ekonomik Forumu bunlara “yapay zeka sistemlerinin aşmaması gereken belirli sınırlar” olarak atıfta bulunmaktadır.
Yapay Zeka için Kırmızı Çizgiler
Bu yazıda, yapay zeka yönetişimindeki kırmızı çizgileri, izin verilmesi çok tehlikeli, yüksek riskli veya etik dışı görülen belirli yapay zeka davranışları veya kullanımları üzerindeki belirli, müzakere edilemez yasaklar olarak tanımlıyoruz. Bu sınırlar, insanlığın hayatta kalmasını, güvenliğini ve özgürlüğünü korumayı amaçlamaktadır.
Yapay zeka kırmızı çizgileri iki kategoriye ayrılabilir:
1. Yapay zeka davranışları: Yapay zeka sistemlerinin sergilememesi gereken belirli davranışlar üzerindeki sınırlamalar (örneğin, geliştiriciler, sistemlerin teknik olarak bunu yapabilecek kapasitede olsa bile, insan kontrolü olmadan kendi kendini çoğaltmayacağını veya iyileştirmeyeceğini kanıtlamalıdır).
2. Yapay zeka kullanımları: İnsanların yapay zeka sistemini nasıl kullanabileceği üzerindeki sınırlamalar (örneğin, bunu mümkün kılan teknolojiler mevcut olsa bile, yapay zekanın çocukları manipüle etmek veya gözetlemek için kullanılmasının yasaklanması)
Uygulamada, yapay zeka için esasen “kırmızı çizgiler” olarak kabul edilen şeyleri tanımlamak için sıklıkla farklı terimler kullanılır. Bu terimler anlam ve vurgu bakımından biraz farklılık gösterse de, ortak bir amaçları vardır: Yapay zekanın çok tehlikeli, etik dışı veya zararlı olduğu düşünülen davranış veya kullanımlarını belirlemek. Yaygın örnekler arasında, belirli sonuçları olan belirli risk seviyelerini ifade eden “risk eşikleri”; hiçbir koşulda tolere edilemeyen sonuçları vurgulayan “kabul edilemez riskler” ve açıkça yasaklama getiren “yasaklar” yer alır. Kullanılan dil yasal, teknik ve politik bağlamlarda farklılık gösterse de, bu kavramların tümü, bazı yapay zeka davranış ve kullanımlarının yasak olması gerektiği yönündeki artan farkındalığı yansıtır.
Yapay zeka için kırmızı çizgilerin bazı özel örnekleri nelerdir?
Yapay zekanın bazı kullanımları ve davranışları o kadar ciddi riskler oluşturuyor ki, giderek daha fazla pazarlık konusu olmaktan çıkıyor. Aşağıda, dünya çapında birçok uzman ve hükümetin üzerinde uzlaşmaya başladığı yapay zeka kırmızı çizgilerine dair birkaç örnek yer almaktadır. Bu serinin 2. bölümü, bu kırmızı çizgilerin şekillenmeye başladığı somut politikaları inceliyor.
Bu kırmızı çizgilerin nasıl uygulanacağı, belirli tehdide bağlı olarak değişiklik gösterebilir. Seçenekler arasında, sistemlerinin güvenli olduğunu kanıtlayamayan geliştiricilerin pazara erişimini engelleyen lisanslama mekanizmaları veya ihlaller için cezalar yer alır. Tablo 2.
| Yapay Zeka için Potansiyel Kırmızı Çizgiler | |||
| Kırmızı Çizgi | Açıklama | Kategori | İlgili Faaliyetler |
| Çocuk İstismarı | Çocukların zayıf noktalarını manipüle etmek, gözetlemek veya istismar etmek için tasarlanmış veya kullanılan yapay zeka sistemlerinin kullanımını yasaklayın. | AI kullanımı | BM, 2023 yılında Dijital Ortamda Çocuk Haklarına Dair Karar’ı kabul etti . Bu karar, “Devletleri çocukların hukuka aykırı dijital gözetimini yasaklamaya, (…) güvenli iletişimi mümkün kılmak ve (…) mahremiyetlerini korumak için çalışmaya” ve diğer hükümleri de içeriyor. Teknoloji Koalisyonu’nun, çocuklarla ilgili olarak üretken yapay zekânın kötüye kullanımını koruyan tasarıma dayalı güvenlik mekanizmaları üzerindeki çalışmaları gibi, çocukları korumaya yönelik özel sektör girişimleri de ortaya çıkıyor. |
| Ölümcül Otonom Silah Sistemleri (LAWS) | Anlamlı bir insan kontrolü olmadan insan hedeflerini otonom olarak seçen ve bunlara saldıran silah sistemlerinde yapay zekanın kullanımını yasaklayın. | AI kullanımı | BM’de Ölümcül Otonom Silah Sistemleri konusunda yeni bir uluslararası anlaşma tartışılıyor ve ivme kazanıyor. |
| Sosyal Puanlama | Bireyleri sistematik olarak izlemek veya hakları veya hizmetlere erişimi etkileyen “sosyal kredi” atamak için yapay zeka sistemlerinin kullanımını yasaklayın. | AI kullanımı | AB Yapay Zeka Yasası’nın yasaklı yapay zeka uygulamalarına odaklanan II. Başlığı, Avrupa Birliği içinde yasaklı olan bir dizi yapay zeka sistemini özetlemektedir. Bunlar arasında, bireylerin sosyal davranış veya kişilik özelliklerine göre değerlendirilmesi de yer almaktadır. UNESCO Yapay Zeka Etik Tavsiyesi ayrıca, yapay zeka sistemlerinin sosyal puanlama veya kitlesel gözetim amaçları için kullanılmaması gerektiğini vurgulamaktadır. |
| Otonom Öz-Çoğaltma ve Kontrolsüz Öz-Geliştirme | Yapay zeka sistemlerinin insan denetimi olmadan otonom bir şekilde kopyalanmasını veya kendini geliştirmesini yasaklayın. | Yapay zeka davranışı | Uluslararası Yapay Zeka Güvenliği Diyaloğu (IDAIS) Yapay Zeka’daki Kırmızı Çizgiler Mutabakat Bildirgesi, otonom çoğaltma ve iyileştirmeyi temel kırmızı çizgiler olarak vurguladı. G7 Hiroşima Davranış Kuralları da, modellerin kendi kopyalarını oluşturma, “kendi kendini kopyalama” veya diğer modelleri eğitme riskini kabul etti. Ayrıca, Asilomar Yapay Zeka İlkeleri, yinelemeli kendi kendini iyileştirme sorununu ele aldı. |
| Güç Arayışı | Kendi etkisini, kaynaklara erişimini veya insanlar ya da sistemler üzerindeki kontrolünü gereksiz yere artırmayı amaçlayan eylemlerde bulunabilen yapay zeka sistemlerini yasaklayın. | Yapay zeka davranışı | Uluslararası bilim insanları, Yapay Zeka’da Kırmızı Çizgiler Hakkındaki IDEAS Mutabakat Bildirgesi kapsamında , güç arayışının yasaklanması gereken bir yetenek olduğunu da belirlediler. |
| Otonom Siber Saldırılar | Otonom olarak siber saldırılar gerçekleştirebilen yapay zeka sistemlerini yasaklayın. | Yapay zeka davranışı | IDAIS Yapay Zeka’daki Kırmızı Çizgiler Konusundaki Mutabakat Bildirgesi’nde şu ifadeler yer alıyor: “Hiçbir yapay zeka sistemi, ciddi mali kayıplara veya eşdeğer zararlara yol açacak siber saldırıları otonom olarak gerçekleştirememelidir.” |
Tablo 2: Yapay zeka için potansiyel kırmızı çizgiler:
Yapay zeka için kırmızı çizgiler isteyen var mı?
Yapay zeka konusunda kırmızı çizgilerin belirlenmesine yönelik ivme, uzmanlar ve kamuoyu arasında hızla artıyor.
Mart 2024’te, küresel yapay zeka bilim insanları, Yapay Zeka Güvenliği Uluslararası Diyaloğu (IDAIS) için Pekin’de bir araya gelerek , felaket niteliğindeki ve potansiyel olarak varoluşsal riskleri önlemek için yapay zeka gelişiminde kırmızı çizgiler çağrısında bulundular.
Şubat 2025’te Paris’te düzenlenen Yapay Zeka Eylem Zirvesi’nin resmi sürecinin bir parçası olarak, Gelecek Topluluğu, beş kıtada 10.000’den fazla vatandaş ve 200’den fazla uzman kuruluşla küresel bir istişare gerçekleştirdi . Uzmanlar tarafından belirlenen en önemli önceliklerden biri, “gelişmiş yapay zeka gelişimi için net ve uygulanabilir kırmızı çizgiler” belirleme ihtiyacıydı.
Sivil toplum kuruluşları (STK’lar) da bu konuyu ön plana çıkarıyor. The Future Society tarafından Şubat 2025’te yapılan bir ankette , 44 STK en önemli önceliklerini “insan haklarıyla bağdaşmayan, yüksek riskli veya kontrol edilemeyen yapay zeka sistemlerini yasaklayan yasal olarak bağlayıcı ‘kırmızı çizgiler’ oluşturmak” olarak sıraladı.
Yapay zeka için küresel kırmızı çizgiler neden önemli?
Küresel kırmızı çizgiler belirlemek artık sadece arzu edilen bir şey değil, aynı zamanda gerekli de. Küresel düzeyde, orantısız, sınır ötesi riskler oluşturan bir dizi yapay zeka davranışını ve kullanımını tanımlayıp yasaklamak için harekete geçmeliyiz. Bu kırmızı çizgiler, küresel yönetişimde kritik bir dayanak noktası görevi görebilir: Ticari teşvikler veya ulusal çıkarlar ne olursa olsun, hiçbir koşulda devam etmemesi gerektiğini kabul ettiğimiz gelişmelere net yasaklar koymak.
Bu tür küresel sınırların önemli olmasının üç temel nedeni vardır:
- Yapay zeka riskleri sistemik ve ulusötesidir.
Yapay zekâ kritik sistemlere, günlük hayata ve karar alma süreçlerine giderek daha fazla entegre oldukça, dünya bu teknolojilere giderek daha fazla bağımlı hale geliyor. Bu artan bağımlılık, bir zarar meydana geldiğinde sonuçlarının çok geniş kapsamlı ve derinden yıkıcı olabileceği anlamına geliyor. Uluslararası Yapay Zeka Güvenliği Raporu 2025’in de vurguladığı gibi, “sistem kusurları hızlı bir küresel etkiye sahip olabilir: Tek bir genel amaçlı yapay zekâ sistemi farklı sektörlerde yaygın olarak kullanıldığında, sorunlar veya zararlı davranışlar birçok kullanıcıyı aynı anda etkileyebilir. Bu etkiler, model güncellemeleri veya ilk sürüm gibi aniden ortaya çıkabilir ve neredeyse geri döndürülemez olabilir.”
Daha da önemlisi, yapay zeka riskleri sınır tanımaz. Bir sistem nerede geliştirilir veya konuşlandırılırsa konuşlandırılsın, etkileri küresel durgunluklara yol açan finans piyasası şoklarına veya dünya çapında bir pandemiye yol açan tasarlanmış bir patojenin kontrolsüzce salınmasına benzer şekilde hızla diğer ülkelere yayılabilir. Bu riskler genellikle birbiriyle ilişkilidir: Bir alandaki başarısızlık veya kötüye kullanım, diğerlerinde de domino etkisi yaratarak dünya çapındaki zararı artırabilir.
- Günümüzün küresel ortamı, yapay zeka geliştirme hızını güvenlikten daha fazla ödüllendiriyor.
Yapay zekanın kırmızı çizgileri konusunda küresel bir koordinasyon olmadan, ülkelerin ve şirketlerin güvenlik ve temel hakların korunması yerine hızı önceliklendirdiği bir “dibe doğru yarış” riskiyle karşı karşıya kalırız. Bu dinamik, hem dijital hem de fiziksel ortamlarda akıl yürütme, plan yapma ve harekete geçme yeteneği de dahil olmak üzere, ajan benzeri yetenekler sergileyen yapay zeka sistemlerinin ortaya çıkmasıyla zaten kendini gösteriyor. Muazzam ticari ve stratejik teşviklere sahip bir avuç güçlü aktör tarafından yönlendirilen yapay genel zeka (AGI) arayışı, bu baskıları daha da yoğunlaştırmış ve çoğu zaman güvenliği göz ardı etmiştir . Bu durum illa ki kötü niyetten kaynaklanmıyor; ihtiyat yerine hızlı ilerlemeyi ödüllendiren ve sorumluluktan kaçınan mevcut teşviklerin bir yansımasıdır.
Hem kurumsal hem de jeopolitik rekabetin şekillendirdiği bir bağlamda, yapay zeka için küresel olarak kabul edilen kırmızı çizgiler, neyin yapılmaması gerektiğini tanımlamak için asgari bir temel oluşturabilir. Güvenliğin geniş ve evrensel bir tanımının olmadığı bir ortamda, kırmızı çizgiler, açıkça güvenli olmayan ve kabul edilemez davranışları işaretleyerek uyumluluğu tanımlamanın net bir yolunu sunar. Büyük teknoloji şirketleri bile bu ihtiyacın farkındadır: örneğin, Microsoft 2023’te riskler kabul edilemez hale geldiğinde “güvenlik frenleri” talep etti . Artan fikir birliğini yansıtarak, 2024’te Seul Yapay Zeka Güvenlik Zirvesi’nde 27 ülke ve AB, yapay zeka laboratuvarlarının modellerini yayınlamayacağı ortak risk eşikleri belirlemeyi taahhüt etti.
- Uygulanabilir sınırlar kamu güveni için kritik öneme sahiptir, bu sayede yapay zekayı gerçekten iyi amaçlar için kullanabiliriz.
Son olarak, gelişmiş yapay zeka sistemlerinin gerçekten kamu yararına hizmet etmesi için, insanların gelişimlerinin anlamlı kısıtlamalara tabi olduğuna dair güven duymaları gerekir. Normatif ilkeler ve gönüllü taahhütler yeterince etkili değildir. Yapay zeka kullanıcılarının bilinçli bir güvene ihtiyacı vardır. Bağlayıcı kırmızı çizgiler, belirli davranış ve kullanımların sınırların dışında olduğunu gösterebilir. Bu sınırlar açıkça tanımlandığında, küresel olarak kabul edildiğinde ve uygulandığında, yapay zeka yönetişim çabalarının meşruiyetini inşa etmeye ve hesap verebilirlik ve gözetimin sürekliliğini sağlamaya yardımcı olabilir. Toplumların yapay zekadan korkmak veya direnmek yerine onu benimsemesini ve ondan faydalanmasını istiyorsak, kamuoyunun güvenini bu şekilde oluşturmak çok önemlidir .
Bunların hepsi teoride kulağa hoş geliyor. Peki ya pratikte?
Bu serinin 2. Bölümünde , yapay zeka için kırmızı çizgilerin halihazırda mevcut olduğu veya şekillenmeye başladığı noktaları ele alıyoruz. Bağlayıcı anlaşmalardan ve şirket politikalarından yararlanarak, belirli yapay zeka davranışlarına ve kullanımlarına karşı küresel sınırlar için sağlam bir temel oluşturabilecek gerçek dünya örneklerini vurguluyoruz.