Margaret Mitchell, Avijit Ghosh, Sasha Luccioni ve Giada Pistilli’nin “Tam Otonom AI Aracıları Geliştirilmemeli” başlıklı makalesi AI alanında çalışan herkes için okunması gereken bir makaledir. Yazarların vardığı sonuçlar aşağıdaki gibi özetlenebilir:
“Nükleer yakın kazaların tarihi, insan kontrolünün otonom sistemlere devredilmesinin riskleri hakkında önemli bir ders sunar. Örneğin, 1980’de bilgisayar sistemleri 2.000’den fazla Sovyet füzesinin Kuzey Amerika’ya doğru gittiğini yanlış bir şekilde gösterdi. Hata, acil durum prosedürlerini tetikledi: bombardıman ekipleri istasyonlarına ve komuta merkezlerine savaşa hazırlandı. Yanlış alarmı ortaya çıkarmak için yalnızca farklı uyarı sistemleri arasındaki insan çapraz doğrulaması yapıldı.
Benzer olaylar tarih boyunca bulunabilir. Bu tür tarihi emsaller öngörülebilir faydalar ve riskler hakkındaki bulgularımız ile açıkça bağlantılıdır.
Tamamen otonom AI ajanlarının açık bir faydasını bulamadık, ancak tam insan kontrolünü devretmenin birçok öngörülebilir zararı var. İleriye baktığımızda, bu birkaç kritik yönü öneriyor:
- Ajan seviyelerinin benimsenmesi: Ajan özerkliği seviyeleri arasındaki net ayrımların yaygın olarak benimsenmesi. Bu, geliştiricilerin ve kullanıcıların sistem yeteneklerini ve ilişkili riskleri daha iyi anlamalarına yardımcı olacaktır.
- İnsan kontrol mekanizmaları: Faydalı yarı-otonom işlevselliği korurken anlamlı insan denetimini sürdüren hem teknik hem de politika düzeyinde sağlam çerçeveler geliştirmek (Cihon, 2024). Bu, güvenilir geçersiz kılma sistemleri oluşturmayı ve aracı operasyonu için net sınırlar belirlemeyi içerir.
- Güvenlik doğrulaması: Yapay zeka ajanlarının amaçlanan çalışma parametreleri içinde kaldığını ve insan tarafından belirlenen kısıtlamaları geçersiz kılamayacağını doğrulamak için yeni yöntemler oluşturma.
AI ajanlarının geliştirilmesi yapay zekada kritik bir dönüm noktasıdır. Tarihin gösterdiği gibi, iyi tasarlanmış otonom sistemler bile önemsiz nedenlerden dolayı feci hatalar yapabilir.
Arttırılmış özerklik belirli bağlamlarda gerçek faydalar sunabilse de, özellikle yüksek riskli kararlar için insan yargısı ve bağlamsal anlayış hâlâ önemli olmaya devam ediyor.
Bir yapay zeka aracının faaliyet gösterdiği ortamlara erişebilme yeteneği, bir sistemin özerkliği onu insan değerlerinden ve hedeflerinden çok uzaklaştırdığında insanlara ‘hayır’ diyebilme yeteneği sağlayarak hayati önem taşır.”
Makaleyi aşağıdaki linkten okuyabilirsiniz.