Margaret Mitchell, Avijit Ghosh, Sasha Luccioni, Giada Pistilli / 24 Mart 2025
Yapay zeka sistemleri birden fazla kaynağı aynı anda kontrol edebildiğinde, zarar potansiyeli patlar. İnsanları döngüde tutmamız gerekir.
Yapay zeka ajanları teknoloji sektöründe heyecan yarattı. Sohbet robotlarının aksine, bu çığır açan yeni sistemler bir sohbet penceresinin dışında çalışır ve basit kullanıcı komutlarına yanıt olarak toplantı planlama veya çevrimiçi alışveriş gibi karmaşık görevleri yürütmek için birden fazla uygulamada gezinir. Ajanlar daha yetenekli hale gelmek üzere geliştirilirken, önemli bir soru ortaya çıkıyor: Ne kadar kontrolü teslim etmeye razıyız ve bunun bedeli ne?
Yapay zeka ajanları için yeni çerçeveler ve işlevler neredeyse her hafta duyuruluyor ve şirketler bu teknolojiyi yapamadığımız veya yapmak istemediğimiz görevleri tamamlayarak hayatımızı kolaylaştırmanın bir yolu olarak tanıtıyor. Öne çıkan örnekler arasında Anthropic’in Claude sisteminin doğrudan bilgisayar ekranınızda hareket etmesini sağlayan bir işlev olan “bilgisayar kullanımı” ve müşterileri araştırmak veya geziler planlamak gibi çeşitli görevler için çevrimiçi araçları kullanabilen “genel yapay zeka ajanı” Manus yer alıyor .
Bu gelişmeler, yapay zeka alanında önemli bir ilerlemeyi işaret ediyor: doğrudan insan denetimi olmadan dijital dünyada çalışmak üzere tasarlanmış sistemler.
Sözü ikna edici. Kim zaman bulamadığı zahmetli işler veya görevler için yardım istemez ki? Ajan yardımı yakında birçok farklı biçim alabilir, örneğin bir meslektaşınıza çocuğunun basketbol turnuvası hakkında soru sormanızı hatırlatmak veya bir sonraki sunumunuz için görseller bulmak gibi. Birkaç hafta içinde muhtemelen sizin için sunumlar yapabilecekler .
İnsanların hayatlarında derin anlamlı farklılıklar için de açık bir potansiyel var. El hareketliliği sorunları veya görme engelli kişiler için, aracılar basit dil komutlarına yanıt olarak görevleri çevrimiçi olarak tamamlayabilir . Aracılar ayrıca, felaket anında sürücülerin mümkün olan en kısa sürede toplu halde bir bölgeden kaçmasına yardımcı olmak için trafiği yönlendirerek kritik durumlarda büyük insan grupları arasında eş zamanlı yardımı koordine edebilir.
Ancak AI ajanlarına yönelik bu vizyon, daha fazla özerkliğe doğru yapılan aceleyle gözden kaçırılabilecek önemli riskler getiriyor. Hugging Face’teki araştırma ekibimiz bu sistemleri uygulamak ve araştırmak için yıllar harcadı ve son bulgularımız ajan geliştirmenin çok ciddi bir yanlış adımın eşiğinde olabileceğini gösteriyor.
Kontrolü yavaş yavaş bırakıyoruz
Bu temel sorun, yapay zeka ajanları hakkında en heyecan verici olan şeyin kalbinde yer alır: Bir yapay zeka sistemi ne kadar otonom olursa, insan kontrolünden o kadar uzaklaşırız . Yapay zeka ajanları , doğrudan programlanması gerekmeyen çeşitli görevleri tamamlayabilecek şekilde esnek olacak şekilde geliştirilir .
Birçok sistem için bu esneklik, öngörülemez ve önemli ( ve bazen komik ) hatalara eğilimli olan büyük dil modelleri üzerine inşa edildikleri için mümkün olur . Bir LLM bir sohbet arayüzünde metin ürettiğinde, herhangi bir hata o konuşmayla sınırlı kalır. Ancak bir sistem bağımsız olarak ve birden fazla uygulamaya erişimle hareket edebildiğinde, dosyaları değiştirme, kullanıcıları taklit etme veya yetkisiz işlemler yapma gibi amaçlamadığımız eylemleri gerçekleştirebilir. Satılan özellik olan insan denetiminin azaltılması, birincil güvenlik açığıdır.
Genel risk-fayda manzarasını anlamak için, AI aracı sistemlerini bir özerklik yelpazesinde karakterize etmek faydalıdır. En düşük seviye, sizi bir şirket web sitesinde karşılayan sohbet robotları gibi program akışı üzerinde hiçbir etkisi olmayan basit işlemcilerden oluşur. En yüksek seviye olan tamamen özerk aracılar, insan kısıtlamaları veya denetimi olmadan yeni kod yazabilir ve yürütebilir; sizden hiçbir şey istemeden eylemde bulunabilirler (dosyaları taşıma, kayıtları değiştirme, e-postayla iletişim kurma vb.). Orta seviyeler arasında, hangi insan tarafından sağlanan adımların atılacağına karar veren yönlendiriciler; aracı tarafından önerilen araçları kullanarak insan tarafından yazılmış işlevleri çalıştıran araç çağırıcıları; ve hangi işlevlerin ne zaman ve nasıl yapılacağını belirleyen çok adımlı aracılar bulunur. Her biri, insan kontrolünün kademeli olarak ortadan kaldırılmasını temsil eder.
Yapay zeka yakında sadece kişiliğimizi taklit etmekle kalmayacak, aynı zamanda dışarı çıkıp bizim adımıza hareket edebilecek. O zamana kadar çözmemiz gereken bazı şeyler var.
Yapay zeka ajanlarının her gün yaptığımız şeyler için olağanüstü derecede yardımcı olabileceği açıktır. Ancak bu, açık gizlilik, güvenlik ve emniyet endişelerini beraberinde getirir. Birinin hakkında sizi bilgilendirmeye yardımcı olan ajanlar, o kişinin kişisel bilgilerine ve önceki etkileşimleriniz üzerinde kapsamlı gözetime ihtiyaç duyacaktır; bu da ciddi gizlilik ihlallerine yol açabilir. Bina planlarından yönler oluşturan ajanlar, kötü niyetli aktörler tarafından yetkisiz alanlara erişim sağlamak için kullanılabilir.
Ve sistemler birden fazla bilgi kaynağını aynı anda kontrol edebildiğinde, zarar potansiyeli patlar. Örneğin, hem özel iletişimlere hem de kamusal platformlara erişimi olan bir ajan, kişisel bilgileri sosyal medyada paylaşabilir. Bu bilgi doğru olmayabilir, ancak geleneksel gerçek kontrol mekanizmalarının radarının altında uçar ve daha fazla paylaşımla ciddi itibar hasarı yaratabilir. “Ben değildim – ajansımdı!!” ifadesinin yakında kötü sonuçları mazur göstermek için yaygın bir nakarat haline geleceğini düşünüyoruz.
İnsanları gelişmelerden haberdar edin
Tarihsel emsal, insan denetiminin neden kritik olduğunu göstermektedir. 1980’de bilgisayar sistemleri, 2.000’den fazla Sovyet füzesinin Kuzey Amerika’ya doğru yöneldiğini yanlış bir şekilde belirtmişti . Bu hata, bizi felakete tehlikeli bir şekilde yaklaştıran acil durum prosedürlerini tetikledi. Felaketi önleyen şey, farklı uyarı sistemleri arasındaki insan çapraz doğrulamasıydı. Karar alma, kesinlikten çok hıza öncelik veren otonom sistemlere tamamen devredilmiş olsaydı, sonuç felaket olabilirdi.
Bazıları faydaların risklere değdiğini söyleyecektir, ancak biz bu faydaların gerçekleştirilmesinin tam insan kontrolünden vazgeçmeyi gerektirmediğini savunuruz. Bunun yerine, AI ajanlarının geliştirilmesi, AI ajanlarının yapabileceklerinin kapsamını sınırlayacak şekilde garantili insan denetiminin geliştirilmesiyle birlikte gerçekleşmelidir.
Açık kaynaklı ajan sistemleri, riskleri ele almanın bir yoludur, çünkü bu sistemler sistemlerin ne yapıp ne yapamayacağı konusunda daha fazla insan denetimine olanak tanır. Hugging Face’te, geliştiricilerin özlerinde şeffaflık bulunan ajanlar oluşturmasına olanak tanıyan ve böylece herhangi bir bağımsız grubun uygun insan denetimi olup olmadığını doğrulayabilmesini sağlayan, korumalı güvenli ortamlar sağlayan bir çerçeve olan smolagents’ı geliştiriyoruz.
Bu yaklaşım, karar alma süreçlerini özel teknoloji katmanlarının arkasına gizleyen ve güvenliği garanti etmeyi imkansız hale getiren, giderek daha karmaşık ve anlaşılması zor yapay zeka sistemlerine yönelik yaygın eğilimle keskin bir tezat oluşturuyor.
Gittikçe daha da karmaşıklaşan yapay zeka araçlarının gelişimiyle karşı karşıya kalırken, herhangi bir teknolojinin en önemli özelliğinin verimliliği artırmak değil, insan refahını desteklemek olduğunu kabul etmeliyiz.
Bu, karar verici olmaktan çok araç, yedek olmaktan çok yardımcı olan sistemler yaratmak anlamına gelir. Tüm kusurlarıyla insan yargısı, bu sistemlerin çıkarlarımızı baltalamak yerine hizmet etmesini sağlamada temel bileşen olmaya devam eder.
Margaret Mitchell, Avijit Ghosh, Sasha Luccioni ve Giada Pistilli , sorumlu açık kaynaklı yapay zeka alanında küresel bir girişim olan Hugging Face’te çalışıyor .
Dr. Margaret Mitchell, Hugging Face’te makine öğrenimi araştırmacısı ve Baş Etik Bilim İnsanı olarak insani değerleri teknoloji gelişimine bağlıyor.
Dr. Sasha Luccioni, Hugging Face’te İklim Lideri olarak yapay zeka sistemlerinin sürdürülebilirliğini artırmak için araştırma, danışmanlık ve kapasite geliştirme çalışmalarına öncülük ediyor.
Dr. Avijit Ghosh, Hugging Face’te sorumlu yapay zeka ve politikanın kesiştiği noktada çalışan bir Uygulamalı Politika Araştırmacısıdır. Araştırmaları ve politika yapıcılarla etkileşimi, yapay zeka düzenlemesini ve endüstri uygulamalarını şekillendirmeye yardımcı olmuştur.
Dr. Giada Pistilli, Hugging Face’te Baş Etik Uzmanı olarak çalışan bir felsefe araştırmacısıdır.
MIT Technology Review