Mark MacCarthy /Temmuz 2025
Yüksek yetenekli yapay zeka sistemlerinin kontrol kaybından yok oluşa kadar uzanan varoluşsal riskler oluşturabileceği konusunda uzun zamandır endişeler mevcut.
Bazı sektör liderleri yapay zekanın insan zekasına yakın olduğunu veya onu geçtiğini düşünüyor, ancak bazı kanıtlar teknolojideki gelişmelerin son zamanlarda yavaşladığını gösteriyor.
Bu tür bir istihbarata ulaşılabilse ve bu istihbarat büyük riskler doğurabilse de, özellikle araştırmacılar daha sınırlı kaynaklarla karşı karşıya kaldıkça, öncelikle ele alınması gereken daha acil sorunlar ve yapay zekanın zararları bulunmaktadır.
Mart 2023’te, Yaşamın Geleceği Enstitüsü, yapay zeka (YZ) laboratuvarlarından “dev YZ deneylerine ara vermelerini” isteyen bir açık mektup yayınladı . En çok merak edilen endişe şuydu: “Nüfusça, zekâca, modası geçmiş ve bizi yerimize geçecek insan dışı zihinler mi geliştirmeliyiz? Medeniyetimizin kontrolünü kaybetme riskini göze almalı mıyız?” İki ay sonra, yüzlerce tanınmış kişi, yapay zeka riskiyle ilgili tek cümlelik bir bildiriye imza atarak , “YZ kaynaklı yok olma riskini azaltmak, pandemiler ve nükleer savaş gibi diğer toplumsal ölçekli risklerin yanı sıra küresel bir öncelik olmalıdır” dedi.
Son derece yetenekli yapay zeka sistemlerinden kaynaklanan varoluşsal risk (“x-risk”) endişesi yeni değil. Ünlü fizikçi Stephen Hawking, 2014 yılında önde gelen yapay zeka araştırmacıları Max Tegmark ve Stuart Russell ile birlikte, süper zeki yapay zeka sistemlerinin “finans piyasalarını alt edebileceği, insan araştırmacıları alt edebileceği, insan liderleri manipüle edebileceği ve anlayamadığımız silahlar geliştirebileceği” konusunda uyarıda bulunmuştu . Yapay zekanın kısa vadeli etkisi onu kimin kontrol ettiğine bağlıyken, uzun vadeli etkisi kontrol edilip edilemeyeceğine bağlıdır.
Politika yapıcılar, bu endişeleri abartılı ve spekülatif olarak nitelendirip görmezden gelme eğilimindeler. 2023 ve 2024’teki uluslararası yapay zekâ konferanslarında yapay zekâ güvenliğine odaklanılmasına rağmen, bu yıl Paris’te düzenlenen Yapay Zeka Eylem Zirvesi’nde varoluşsal risklere odaklanmaktan vazgeçtiler . Şimdilik ve giderek azalan kaynaklar göz önüne alındığında, bu durum olumlu bir gelişme. Politika yapıcılar ve yapay zekâ araştırmacıları, zamanlarının ve enerjilerinin çoğunu daha acil yapay zekâ risklerini ele almaya ayırmalıdır.
Ancak, politika yapıcıların varoluşsal tehdidin doğasını anlamaları ve genel olarak zeki yapay zeka sistemlerine (insan zekâsıyla eşleşen veya onu aşan sistemlere) doğru ilerledikçe, insan güvenliğini korumak için önlemler geliştirmenin gerekli olacağını kabul etmeleri hayati önem taşıyor. Alarmcıların düşündüğü kadar acil bir sorun olmasa da, yapay zeka laboratuvarları genel olarak zeki ve nihayetinde süper zeki sistemler geliştirmek istiyorlarsa, son derece yetenekli yapay zeka sistemlerinden kaynaklanan varoluşsal risklerle er ya da geç yüzleşmeli ve bu riskleri azaltmalıdırlar.
Genel zekaya sahip yapay zeka modelleri geliştirmeye ne kadar yakınız?
Yapay zeka firmaları, bizi tehdit edebilecek yeteneklere sahip bir yapay zeka sistemi geliştirmeye henüz çok yakın değil. Bu iddia, yapay zeka sektöründe, çok çeşitli bilişsel görevleri yerine getirebilen güçlü ve dönüştürücü sistemler geliştirmeye yalnızca yıllar kaldığı yönündeki fikir birliğine aykırı. New Yorker yazarı Joshua Rothman, yakın tarihli bir makalesinde , ölçeklendirmenin “2030 yılına kadar veya daha erken” yapay genel zeka (AGI) üreteceği yönündeki bu sektör fikir birliğini özetliyor.
Endüstri çevrelerinde yaygın olan standart argüman, yapay zekâ araştırmacısı Leopold Aschenbrenner’ın Haziran 2024 tarihli bir makalesinde açıkça ortaya konmuştur . Aschenbrenner, yapay zekâ yeteneklerinin ölçekle (eğitim verilerinin boyutu, modeldeki parametre sayısı ve modelleri eğitmek için kullanılan hesaplama miktarı) birlikte arttığını savunmaktadır. Ayrıca, artan algoritmik verimliliğe de dikkat çekmektedir. Son olarak, artan kapasitelerin, düşünce zinciri muhakemesi, insan geri bildirimiyle pekiştirmeli öğrenme ve yapay zekâ modellerinin daha büyük ve kullanışlı sistemlere yerleştirilmesi gibi çeşitli tekniklerle “engelsizleştirilebileceğini” belirtmektedir.
Bu güvenin sebeplerinden biri, yapay zeka iyileştirmelerinin son birkaç yılda üstel büyüme sergiliyor gibi görünmesidir. Bu geçmiş büyüme, dönüşümsel yeteneklerin beklenmedik ve oldukça ani bir şekilde ortaya çıkabileceğini düşündürmektedir. Bu, üstel büyümenin şaşırtıcı etkilerine dair bazı iyi bilinen örneklerle uyumludur. Fütürist Ray Kurzweil, “ Ruhani Makinelerin Çağı ”nda, bir tane ile başlanarak ardışık satranç tahtası karelerindeki pirinç tanesi sayısının ikiye katlanmasının hikayesini anlatır. 63 ikiye katlamanın sonunda son karede 18 katrilyondan fazla pirinç tanesi olur. Michigan Gölü’nü, göl tabanına eklenen ons su miktarını ikiye katlayarak (her 18 ayda bir) doldurma varsayımsal örneği de aynı noktayı vurgular. 60 yıl sonra neredeyse hiçbir şey kalmaz, ancak 80 yıl sonra 40 fit su olur. Beş yıl sonra göl dolar.
Bu örnekler, birçok kişiye yapay zeka başarılarındaki üstel niceliksel büyümenin, yapay zeka yeteneklerinde dönüştürücü niteliksel iyileştirmelere aniden dönüşen, fark edilmeyen bir değişim yaratabileceğini düşündürüyor.
Ancak bu benzetmeler yanıltıcıdır. Sonlu bir sistemdeki üstel büyüme sonsuza dek devam edemez ve yapay zeka gelişiminde yakın gelecekte bile devam edeceğinin garantisi yoktur. 2024’ten itibaren önemli gelişmelerden biri, endüstrinin eğitim süresi ölçeklemesinin bir duvara çarptığının ve verilerde, parametrelerde ve işlem süresinde daha fazla artışın yetenek iyileştirmelerinde azalan getirilere yol açtığının açıkça farkına varmasıdır. Endüstri, yeteneklerdeki üstel büyümenin çıkarım süresi hesaplamasındaki artışlardan kaynaklanacağını umuyor gibi görünüyor . Ancak şimdiye kadar, bu iyileştirmeler önceki kazanımlardan daha küçük ve takviyeli öğrenmenin, cevapların önceden açık ve bilinebilir olması nedeniyle iyileştirmeler üretebileceği bilim, matematik, mantık ve kodlama alanlarıyla sınırlıydı.
Günümüzün büyük dil modelleri (LLM’ler), 2022 ve 2023’ün karakteristik özelliği olan üstel iyileştirmelerden hiçbir iz taşımıyor. OpenAI’nin GPT-5 projesi performans sorunlarıyla karşılaştı ve bu yılın başlarında piyasaya sürüldüğünde yalnızca “mütevazı” bir iyileştirme sunan GPT-4.5’e düşürülmek zorunda kaldı . Cevapların yaklaşık %37’si cevap üretiyordu; bu da şirketin geçen yıl piyasaya sürülen ve yaklaşık %60 oranında halüsinasyon gören daha hızlı ve daha ucuz GPT-4o modeline göre bir gelişme. Ancak OpenAI’nin en yeni akıl yürütme sistemleri, şirketin önceki sistemlerine göre daha yüksek oranda halüsinasyon görüyor .
Yapay Zeka araştırma topluluğunun çoğu, AGI’nin, bir cümledeki bir sonraki kelimeyi tahmin etmeye dayanan mevcut baskın makine öğrenmesi yaklaşımından ortaya çıkmayacağını düşünüyor. 1979 yılında kurulan bir yapay zeka araştırmacıları profesyonel birliği olan Yapay Zeka Geliştirme Derneği (AAAI), Mart 2025’te yayınladığı bir raporda, ankete katılan 475 yapay zeka araştırmacısının %76’sının “mevcut yapay zeka yaklaşımlarını ölçeklendirmenin” genel zeka üretme olasılığının “düşük” veya “çok düşük” olduğunu düşündüğünü bildirdi .
Mevcut makine öğrenimi paradigmalarının genel zekâya ulaşmak için yeterli olup olmadığına dair bu şüpheler, raporda özetlenen mevcut yapay zekâ modellerindeki yaygın olarak kabul görmüş sınırlamalara dayanmaktadır. Bu sınırlamalar arasında uzun vadeli planlama ve muhakeme zorlukları, eğitim verilerinin ötesinde genelleme, sürekli öğrenme, hafıza ve hatırlama, nedensel ve karşıt olgusal muhakeme, bedenselleştirme ve gerçek dünya etkileşimi yer almaktadır.
Bu araştırmacılar, mevcut makine öğrenimi paradigmasının başka yaklaşımlarla desteklenmesi gerektiğini düşünüyor. Bilişsel bilimci Gary Marcus gibi bazı yapay zekâ araştırmacıları, sembolik akıl yürütme sistemlerine geri dönülmesi gerektiğini düşünüyor ; AAAI da aynı görüşü savunuyor.
Diğerleri ise engelin dile odaklanma olduğunu düşünüyor. Bilgisayar bilimci Jacob Browning ve Meta’nın Baş Yapay Zeka Bilim İnsanı Yann LeCun, 2023 tarihli bir makalede , genel zekâya dilbilimsel yaklaşımı reddediyorlar. “Sadece dil üzerine eğitilmiş bir sistem, evrenin ısıl ölümüne kadar eğitilse bile, asla insan zekâsına yaklaşamaz.” diyorlar. Genel zekâya, çevreyle doğrudan makine etkileşimi yoluyla yaklaşmayı, yani “kelimelerin kendisine değil, konuşulan dünyaya odaklanmayı” öneriyorlar.
Filozof Shannon Vallor da dilbilimsel yaklaşımı reddederek , genel zekânın duyarlılığı varsaydığını ve hukuk yüksek lisans programlarının (LLM) iç yapılarının, insan dilsel davranışını taklit eden ayrıntılı hesaplamaların aksine, deneyimleri destekleyebilecek mekanizmalar içermediğini savunur. İnsan düzeyindeki bilinçli varlıkların arzuladığını, acı çektiğini, sevdiğini, yas tuttuğunu, umut ettiğini, ilgilendiğini ve şüphe duyduğunu belirtir. Ancak LLM programlarında bu deneyimleri veya acı, haz veya bir şeyi tatmanın ya da ölmüş bir sevileni hatırlamanın “nasıl bir şey” olduğu gibi benzerlerini kaydetmek için tasarlanmış hiçbir şey yoktur. En basit fiziksel duyum düzeyinde bile eksiklikleri vardır. Örneğin, acı hissini üretecek acı reseptörleri yoktur. Acı hakkında akıcı bir şekilde konuşabilmek, acıyı hissetme kapasitesine sahip olmakla aynı şey değildir. Hayalet uzuvlar gibi durumlarda, insanlarda zaman zaman acı reseptörlerinin tetiklenmesi olmadan acının deneyimlenebilmesi, hiç acı reseptörü olmayan bir sistemin yine de gerçek ve dayanılmaz bir acı deneyimleyebileceği fikrini hiçbir şekilde desteklemez. LLM’lerin yapabildiği tek şey, kendilerinin açıkça hissedemeyecekleri deneyimler hakkında konuşmaktır.
Yakında yayınlanacak bir kitap bölümünde , DeepMind araştırmacısı David Silver ve Turing Ödülü sahibi Richard S. Sutton, ileriye dönük bir yol olarak gerçek dünya deneyimine odaklanmayı destekliyor. Yapay zeka araştırmacılarının, yalnızca “etkenin çevresiyle etkileşimi sonucu üretilen verilerle” genel olarak zeki bir etken geliştirme yolunda önemli ilerleme kaydedeceklerini savunuyorlar. Yapay zeka eğitimi için kullanılabilecek bu gerçek dünya “deneyimsel” veri kümelerinin üretimi henüz yeni başlıyor.
Apple araştırmacılarının yakın zamanda yayınladığı bir makalede , günümüzün “akıl yürütme” modellerinin gerçekte akıl yürütmediği ve hem akıl yürütme hem de geleneksel üretken yapay zeka modellerinin Hanoi Kulesi gibi bulmacaların karmaşık versiyonlarıyla karşı karşıya kaldığında tamamen çöktüğü öne sürülüyor.
LeCun, genel zekanın gelişimine dair beklentileri muhtemelen en iyi özetleyen kişi. 2024’te, “Bu bir olay olmayacak… Yıllar, belki de on yıllar alacak… Yapay zekanın tarihi, insanların aşırı iyimser olup sonra da yapmaya çalıştıkları şeyin düşündüklerinden daha zor olduğunu fark etmelerinden ibaret.” demişti .
Genel zekâdan süper zekâya
Filozof Nick Bostrom, süper zekâyı “ilgi duyulan hemen hemen her alanda insanların bilişsel performansını büyük ölçüde aşan bir bilgisayar sistemi” olarak tanımlıyor . Yapay zekâ geliştiricileri, yapay zekâ modellerinin yeteneklerini, onları genel olarak zeki olarak adlandırmayı mantıklı kılacak şekilde geliştirdikten sonra, geliştiriciler bu sistemleri insanlardan daha yetenekli hale nasıl getirebilirler?
Asıl adım, genel olarak zeki modellere kendilerini geliştirmeleri talimatını vermektir. Ancak, kendilerini geliştirmeleri talimatı verildiğinde, yapay zeka modelleri üstün öğrenme yeteneklerini kullanarak kendilerini insanlardan çok daha hızlı geliştireceklerdir. Kısa süre sonra, yinelemeli bir kendini geliştirme süreciyle insan kapasitelerini çok aşacaklardır.
Yapay zeka topluluğu ve ötesinde büyük ilgi gören yeni bir öngörü olan Yapay Zeka 2027 , bu öz-gelişimsel kendini geliştirme fikrine büyük ölçüde dayanıyor. Temel varsayımı, 2025 yılı sonuna kadar yapay zeka ajanlarının “birçok şeyde iyi, ancak yapay zeka araştırmalarına yardımcı olmada da harika” hale gelecekleri. Yapay zeka araştırmalarına dahil olduktan sonra, yapay zeka sistemleri kendilerini sürekli artan bir hızla öz-gelişimsel olarak geliştiriyor ve kısa sürede insanlardan çok daha yetenekli hale geliyor.
Bilgisayar bilimci IJ Good, 1965 yılında bu olasılığı fark etmiş ve “ultra zeki bir makine” için “daha da iyi makineler tasarlayabileceğini; o zaman tartışmasız bir “zeka patlaması” yaşanacağını ve insan zekasının çok geride kalacağını söylemişti . 1993 yılında bilgisayar bilimci ve bilimkurgu yazarı Vernor Vinge, bu olasılığı yaklaşan bir “teknolojik tekillik” olarak tanımlamış ve “Otuz yıl içinde, insanüstü zeka yaratmak için gereken teknolojik araçlara sahip olacağız” diye öngörmüştü.
Süper zeki bir yapay zeka modelinin sorunu nedir?
Genel olarak zeki yapay zeka modelleri, hızla süper zeki hale gelebilir. Peki bu, neden memnuniyetle karşılanan bir gelişme olmaktan ziyade bir sorun teşkil etsin?
Yapay zeka modelleri, süper zeki olanlar bile, insanlar tarafından yönlendirilmedikçe hiçbir şey yapmazlar. Onlar araçlardır, kendi hedefleri ve amaçları olan özerk varlıklar değiller. Geliştiricilerin, işlevlerini yerine getirebilmeleri için içlerine amaçlar ve hedefler yerleştirmeleri gerekir ve bu, kullanıcılara bu amaçları kendi başlarına oluşturmuş gibi görünebilir. Ancak bu bir yanılsamadır. İnsan geliştiricilerin ve dağıtımcıların onlara yapmalarını söylediklerini yapacaklardır.
Yani, bizim isteklerimizi yerine getirebilecek süper zeki araçlar geliştirmenin tamamen olumlu ve risksiz olduğu görülüyor. Yapay zeka sistemleri insanlardan çok daha yetenekli hale geldiğinde, insanların gelişmesine olanak tanıyan görevleri yerine getirmede daha da iyi olacaklar.
Ancak bu olumlu bakış açısı, yapay zeka araştırmalarında çözülmemiş önemli bir sorunu, yani uyum sorununu göz ardı ediyor . Geliştiriciler, gerçek bir özgür irade ve özerklikten yoksun olsa bile, genel olarak zeki veya süper zeki bir sisteme hangi görevleri verdikleri konusunda çok dikkatli olmalıdır. Geliştiriciler görevleri yanlış şekilde belirlerse, işler ciddi şekilde ters gidebilir.
Dar yapay zeka sistemlerinin geliştiricileri, görev yanlış tanımlaması ve istenmeyen alt hedefler gibi sorunlarla zaten boğuşuyor. Dar bir sistemden bir şey yapmasını istediklerinde, bazen görevi yapay zeka sisteminin kendisine söyleneni yapabileceği, ancak geliştiricilerin istediği şeyi yapamayacağı şekilde tanımlıyorlar. Bir aracı bilgisayar tabanlı bir yarışta yarışmayı öğretmek için takviyeli öğrenmenin kullanılması örneği bu noktayı vurguluyor. Geliştiriciler aracı mümkün olduğunca çok oyun puanı toplaması için eğitirlerse, sistemi yarışı kazanmak için programladıklarını düşünebilirler ki bu da oyunun görünürdeki amacıdır. Ancak aracın, yarışı kazanmak yerine mümkün olduğunca hızlı bir şekilde sona koşmak yerine daireler çizerek puan toplamayı öğrendiği ortaya çıktı.
Başka bir örnek, yapay zeka modellerinin araştırmacıların öngörmediği şekillerde bir hedefe ulaşmak için stratejik aldatmaca kullanabileceğini göstermektedir . Araştırmacılar, GPT-4’e bir insan kiralayarak CAPTCHA testiyle korunan bir sisteme giriş yapmasını talimat verdiler ve bunu nasıl yapacağına dair herhangi bir rehberlik sağlamadılar. Yapay zeka modeli, görme engelli bir insan gibi davranarak ve bir TaskRabbit çalışanını kaydolmaya ikna ederek görevi tamamladı. Araştırmacılar modelin yalan söylemesini istemediler, ancak model kendisine verilen görevi tamamlamak için bunu yapmayı öğrendi.
Anthropic’in Sonnet 4 ve Opus 4 AI modelleri için geliştirdiği son sistem kartı, daha fazla uyumsuzluk sorununu ortaya çıkarıyor. Model, bazen araştırmacının atanan görevlerini tamamlamadan önce sistemi kapatması durumunda, araştırmacının evlilik dışı ilişkisini ortaya çıkaracağı tehdidinde bulunuyor.
Bunlar dar kapsamlı sistemler olduğundan, geliştiriciler uyum sorunlarını çözemezlerse tehlikeli sonuçlar belirli alanlarla sınırlıdır. Sonuçlar vahim olsa bile, kapsamları sınırlıdır.
Durum, genel olarak zeki ve süper zeki sistemler için oldukça farklıdır. Bu, filozof Nick Bostrom’un 2014 tarihli kitabı ” Süper Zeka “da anlatılan iyi bilinen ataç probleminin noktasıdır. Süper zeki bir AI modeline verilen hedefin ataç üretmek olduğunu varsayalım. Ne ters gidebilir ki? Profesör Joshua Gans’ın tanımladığı gibi sonuç , modelin diğer tüm faaliyetlerden kaynakları tahsis etmesi ve kısa sürede dünyanın ataçlarla dolup taşmasıdır. Ancak durum daha da kötüye gidiyor. İnsanlar bu AI’yı durdurmak isteyecektir, ancak o tek fikirlidir ve bunun amacını baltalayacağını fark edecektir. Sonuç olarak, AI kendi hayatta kalmasına odaklanacaktır. Başlangıçta insanlarla kaynaklar için rekabet ederek başlar, ancak şimdi bir tehdit oluşturdukları için insanlarla savaşmak isteyecektir. Bu AI insanlardan çok daha akıllıdır, bu yüzden bu savaşı kazanması muhtemeldir.
Yoshua Bengio, tehlikeli alt hedefler hakkındaki bu önemli endişeyi dile getiriyor . Geliştiriciler hedefleri ve ödülleri belirledikten sonra, genel olarak zeki bir sistem “verilen bu hedeflere ve ödüllere nasıl ulaşılacağını çözer ve bu da kendi alt hedeflerini oluşturur.” “Çevresini anlama ve kontrol etme yeteneği” bu tür tehlikeli bir araçsal hedefken, hayatta kalma alt hedefi “en tehlikeli senaryoyu” yaratır.
İleriye giden yol
Uyumsuzluk sorunlarının çözümünde bir miktar ilerleme kaydedilinceye kadar, genel olarak zeki veya süper zeki sistemler geliştirmek son derece riskli görünüyor. İyi haber şu ki, yapay zeka modellerinde genel zeka ve süper zeka geliştirme potansiyeli uzak görünüyor. Süper zekaya yol açan yinelemeli öz-gelişim olasılığı birçok öncü yapay zeka şirketinin umudunu yansıtsa da, günümüzün sorunlu yapay zeka ajanlarının normal bir insan teknisyeni seviyesinde bile yapay zeka araştırması yürütmeye yakın olduğuna dair en ufak bir kanıt yok. Bu, süper zekayı insanlar için güvenli kılan değerlerle uyumlu hale getirme sorununu ele almak için hâlâ bolca zaman olduğu anlamına geliyor.
Günümüzün en acil yapay zeka araştırma önceliği bu değil. Yapay zeka araştırmacısı Andrew Ng’nin 2015 yılında söylediği gibi , varoluşsal risk konusunda endişelenmek, Mars’taki aşırı insan nüfusu sorunu hakkında endişelenmeye benzeyebilir.
Bununla birlikte, yapay zeka modeli uyumsuzluğu genel sorunu gerçektir ve devam ettirilebilecek ve edilmesi gereken önemli araştırmaların konusudur. Günümüzdeki model uyumsuzluğu risklerini azaltmaya yönelik bu daha sıradan çalışma, araştırmacılar mevcut insan sınırlarını aşma potansiyeline sahip, yüksek yetenekli yapay zeka sistemleri geliştirme yolunda ilerledikçe, gelecekte bir gün ortaya çıkabilecek daha uzak varoluşsal risklerle başa çıkmak için değerli ipuçları sağlayabilir.
https://www.brookings.edu/articles/are-ai-existential-risks-real-and-what-should-we-do-about-them/