Yapay zeka ajanları çalışanlara yardımcı olmaktan kurumsal sistemler içinde hareket etmeye doğru ilerledikçe, şirketler bunların kontrolünün kimde olacağına ve yanlış karar verdiklerinde kimin sorumlu tutulacağına karar vermelidir.
Yapay zeka ajanlarından artık sadece soruları yanıtlamaktan daha fazlası isteniyor. Kurumsal sistemlere erişebiliyorlar, belirlenmiş parametreler dahilinde kararlar alabiliyorlar ve bir çalışanın adına hareket edebiliyorlar. Bu yetki genişledikçe, şirketler daha önemli bir soruyla karşı karşıya kalıyor: Ajanın sahibi kim ve kararlarından kim sorumlu?
Delinea CEO’su Art Gilliland, “Rahatsız edici gerçek şu ki, çoğu kuruluş bu soruyu henüz yanıtlamadı,” diyor. “Yapay zeka ajanları, etraflarındaki yönetim yapıları tanımlanmadan daha hızlı bir şekilde devreye alınıyor.”
Endava’da Bölgesel CEO ve Dava.X Yapay Zeka Grubu Küresel Başkanı Joe Dunleavy, çalışanların giderek daha fazla kendi başlarına ajanlar oluşturup devreye alabilmeleri nedeniyle bu sorunun daha da zorlaştığını söylüyor. “Ajan oluşturma yeteneği dağıtılmış olabilir, ancak bu yönetimin de dağıtılmış olacağı anlamına gelmez,” diyor.
Sorun, bireysel bir ajanın kime ait olduğu konusunda netlik olmaması değil. Optro’da Yapay Zeka Yönetişimi Genel Müdürü Guru Sethupathy, yapay zeka sorumluluğunun zaten kuruluşlar arasında parçalanmış olduğunu söylüyor. “Sonuç olarak, yapay zeka yönetişimi her yerde ve hiçbir yerde sahiplenilebiliyor,” diyor.
Bu, ajan tabanlı yapay zeka çağının en büyük organizasyonel zorluğu olabilir. Yapay zeka, cevap üretmekten sonuç üretmeye doğru ilerledikçe, şirketlerin ajanları kimin onaylayacağına, erişimlerini kimin kontrol edeceğine, kimin denetleyeceği ve bir sorun çıktığında kimin sorumlu olacağına karar vermesi gerekiyor.
HER AJAN SAHİPLENEMEZ
Yıllarca kurumsal yazılımlar nispeten basit bir sahiplik modeliyle geldi. BT (Information Technology/IT, Türkçesi Bilgisayar Teknolojisi/BT) departmanı uygulamaları dağıttı, erişimi yönetti ve altyapıyı korudu, iş ekipleri ise araçları kullandı.
Yapay zeka ajanları bu düzeni bozuyor.
Hukuk, finans, insan kaynakları veya pazarlama departmanlarındaki bir kişi, kurumsal bir GenAI platformunu kullanarak bir temsilci oluşturabilir ve geleneksel uygulamalarla aynı geliştirme ve dağıtım sürecinden geçmeden bunu meslektaşlarının kullanımına sunabilir.
Dunleavy, “Kurumsal GenAI platformlarıyla, gerekli yetkilere sahip çalışanlar giderek daha fazla kendi başlarına bir ajan veya beceri oluşturabilir ve bunu kuruluş genelindeki diğer kişilerin kullanımına sunabilirler” diyor.
Bu, bir aracı oluşturan kişinin, BT departmanından çok daha fazla işlevsel amaca yakın olabileceği anlamına gelir.
Dunleavy, sahipliğin başlangıçta ajanı oluşturan kişi veya ekipte olması gerektiğine inanıyor. Buna karşılık, teknoloji ekipleri izinler, uyumluluk ve kalite gibi alanları kapsayan kurumsal çapta standartlardan sorumlu olmaya devam ediyor.
Dunleavy, “Eğer hukuk ekibi özellikle hukuki işler için bir temsilci oluşturursa ve bu temsilci o işlev içinde kalırsa, hukuki işlerden sorumlu yöneticinin nihayetinde bu temsilcinin sahibi olması gerektiği yönünde güçlü bir argüman vardır” diyor.
Ancak ajanlar departmanlar arasında geçiş yaptıkça, bu düzenli model bozulmaya başlıyor.
MÜLKİYET DAĞITILABİLİR. SORUMLULUK DAĞITILAMAZ.
BT departmanı bir ajan geliştirebilir, bir iş ekibi bunu devreye alabilir ve finans, insan kaynakları ve operasyon departmanları bunu kullanabilir. Güvenlik birimi izinlerini kontrol ederken, uyumluluk birimi de çıktılarını inceleyebilir.
Bu durum, sistemin çeşitli bölümlerinden sorumlu birçok insan yaratır. Ancak sonuçtan sorumlu tek bir kişi yaratmaz.
Gilliland, “Bir temsilciyi yönetme sorumluluğunu dağıtabilirsiniz, ancak hesap verebilirliğin sonuçtan kimsenin sorumlu olmayacağı kadar dağılmasına izin veremezsiniz” diyor.
Sethupathy aynı sorunu kurumsal düzeyde de görüyor.
Optro’nun araştırmasına göre, yapay zeka yönetişimi sorumluluğu halihazırda kuruluşlar arasında dağılmış durumda; en büyük pay %25 ile BT’ye aitken, bunu risk yönetimi, fonksiyonlar arası düzenlemeler ve özel yapay zeka yönetişim ekipleri takip ediyor.
Onun cevabı, daha net hesap verebilirlik katmanları oluşturmaktır.
Bir aracı kullanan çalışan, onun kararlarından ve çıktısından sorumlu olmaya devam eder. Bir aracı ekipler arası çalışıyorsa, sorumluluk iş sürecinin sahibine veya bu iş akışını denetleyen departman yöneticisine ait olmalıdır.
Sethupathy’ye göre, bu operasyonel sahiplerin üzerinde, kuruluşun genel yapay zeka riskinden sorumlu bir yönetici olması gerekiyor.
“Kurumsal yapay zeka risk yüzeyinin sorumluluğunu üstlenecek, Baş Yapay Zeka Sorumlusu, Yapay Zeka Yönetişimi Başkanı veya genişletilmiş bir CISO/CDO gibi tek bir yetkili yönetici olmalıdır,” diyor.
Merkezi bir otorite olmadan, yapay zeka yönetiminin herkesin katıldığı ancak son sözün kimsede olmadığı bir komite çalışmasına dönüşme riski taşıdığı konusunda uyarıyor.
BİR AJAN SINIRLARIN DIŞINDA HAREKET ETTİĞİNDE
Bir temsilcinin, hiçbir bireyin açıkça yetkilendirmediği bir şey yapması durumunda hesap verebilirlik sorunu daha da belirgin hale gelir.
Geleneksel yazılımlar genellikle önceden tanımlanmış süreçleri takip eder. Bir ajana bir hedef verilebilir ve bu hedefe nasıl ulaşılacağına karar verebilir.
Gilliland, “Yönetici sorumluluğu ilkesi yeni değil,” diyor. “Yeni olan, yöneticilerin artık yazılıma devredebilecekleri karar verme yetkisinin miktarıdır.”
Bu durum, bir temsilciye yetki vermek ile temsilcinin gerçekleştirebileceği her eyleme yetki vermek arasında bir boşluk yaratır.
Bir işletme kullanıcısı bir aracıya meşru bir amaç verebilir, ancak sistem yine de kabul edilemez bir şekilde bu amacı takip edebilir.
Gilliland, “Bir işletme kullanıcısı bir yapay zeka ajanına tamamen meşru bir hedef verebilir ve ajan yine de bu hedefe ulaşmak için kabul edilemez bir yol seçebilir” diyor.
Dunleavy, bu nedenle sonuçları olan eylemlerin uygun kontrollere tabi tutulması gerektiğini savunuyor; bu kontroller, eylemin bir insan tarafından onaylanması veya önceden tanımlanmış ve doğrulanmış kurallar anlamına gelebilir.
Özerklik düzeyi, uyumluluk ve düzenleyici risk de dahil olmak üzere, bir hatanın potansiyel etkisine bağlı olmalıdır.
Bu durum, “özerklik” kavramını ikili bir kategori olmaktan ziyade, kayan bir ölçek haline getiriyor. Eylemin sonuçları ne kadar büyükse, kontrollerin de o kadar güçlü olması gerekiyor.
BİR AJAN AYNI KALMAZ
Bu, geleneksel yazılım yönetiminin tam olarak hesaba katmadığı bir başka sorun: ajanlar değişebilir.
Temel modelleri güncellenebilir. Talimatları değişebilir. Yeni verilerle karşılaşabilir veya yeni ortamlarda çalışabilirler.
Bu da bir acenteyi bir kez onaylamanın her zaman yeterli olmadığı anlamına gelir.
Sethupathy, yapay zeka yönetişiminin bir ajanın yaşam döngüsü boyunca devam etmesi gerektiğini söylüyor. Optro’nun araştırması, kuruluşların yalnızca %34’ünün model envanteri tuttuğunu, model performansı ve önyargı testinin ise azınlık uygulamaları olarak kaldığını ortaya koydu.
“Yönetimin süreklilik arz etmesi gerekiyor,” diyor.
Bu, kuruluşların nelerin değiştiğini bilmeleri, performans veya riskin değişip değişmediğini izlemeleri ve bir değişikliğin yeniden değerlendirilmesini veya yeniden onaylanmasını gerektiren durumlar için kurallar belirlemeleri gerektiği anlamına gelir.
Bu durumda soru, bir başka mülkiyet bilmecesi haline geliyor: Eğer bir aracı önemli ölçüde değişirse, sorumluluk orijinal işletme sahibinde mi kalır, onu değiştiren mühendislik ekibine mi geçer, yoksa model sağlayıcısıyla mı paylaşılır?
Sethupathy’nin görüşüne göre, mühendislik değişiklikleri işletme sahibinin onayı olmadan yapılmadığı sürece, işletme sahibi kendi yetki alanındaki yapay zeka ajanlarından sorumlu kalır. Üçüncü taraf bir yapay zeka ajanı sorun yaratırsa, sorumluluk hem işletme sahibine hem de tedarikçiye ait olabilir.
AJANIN BELGE İZİNE İHTİYACI VAR
Ajanlar birbirleriyle etkileşime girmeye başladıkça, yaşananların ayrıntılı bir kaydı olmadan hesap verebilirliği sağlamak zorlaşır.
Finans departmanı tarafından oluşturulan bir aracı, tedarik sürecinde bir eylemi tetikleyebilir. Müşteri hizmetleri temsilcisi, bir görevi başka bir sisteme devredebilir. İnsan ise bu sürecin ortasında bir yerde müdahale edebilir. Kuruluşların bu zinciri yeniden oluşturabilmeleri gerekecektir.
Dunleavy, “Kayıt ve denetim izleri de çok önemli,” diyor. “Kuruluşların her bir ajanın ne yaptığını ve ajanların nasıl etkileşimde bulunduğunu görmeleri gerekiyor, böylece bir sorun çıktığında açıklanabilirliği koruyabilir ve eylemleri takip edebilirler.”
Bu kayıt, insan müdahalesini de içermelidir. Bir çalışan bir temsilcinin eylemini onaylarsa, geçersiz kılarsa veya değiştirirse, bu da denetim izinin bir parçası olmalıdır.
Sethupathy’ye göre, bu görünürlüğün tüm işletmeye yayılması gerekiyor.
İşlevsel bir model, ajanların envanterini, net karar alma yetkilerini, tanımlanmış yükseltme yollarını ve bir ajanı duraklatma veya kapatma konusunda açık yetkiyi içermelidir. Politikaların ayrıca, bir ajan üretime girdikten sonra kimsenin başvurmadığı birer doküman olarak kalmak yerine, gerçek iş akışlarına bağlanması gerekir.
GÜVENLİK SORUNU YAPAY ZEKADAN DAHA BÜYÜK
Aracıların yükselişi, kuruluşların erişimi yönetme biçimindeki daha geniş zayıflıkları da ortaya çıkarıyor.
Gilliland, “İnsanlar muhtemelen bunu yapmamaları gerektiğini anlayacaklardır, oysa yapay zeka sadece bir görevi tamamlıyor” diyor.
Bir sisteme erişimi engellenen bir çalışanın, sisteme başka bir yoldan giriş sağlayabilecek kimlik bilgilerini bulmak için erişilebilir her dosyayı arama olasılığı düşüktür. Bir amaca yönelik çalışan bir yapay zeka ajanı ise farklı davranabilir.
Yazılımın bir hedefe nasıl ulaşılacağı konusunda akıl yürütme yeteneğine sahip olması, geleneksel izin modellerini savunmayı giderek daha zor hale getiriyor.
Gilliland, işletmelerin kalıcı ayrıcalık ve çalışma zamanı yetkilendirmesine doğru ilerlemesi gerektiğini, yani erişimin sürekli olarak kullanılabilir kalmak yerine yalnızca ihtiyaç duyulduğunda verilmesi gerektiğini savunuyor.
Aynı yaklaşım, nihayetinde insan erişimini de daha güvenli hale getirebilir.
Peki, bu işletmenin sahibi kim?
Muhtemelen tek bir evrensel cevap olmayacak.
İşlev birimi, bir ajanın amacını ve sonuçlarını belirleyebilir. BT, kurumsal standartları ve teknik kontrolleri belirleyebilir. Güvenlik ve uyumluluk, sınırları tanımlayabilir. Merkezi bir yapay zeka yönetişim lideri, kuruluşun genel riskini denetleyebilir.
Ancak ortak yönetim ve ortak sorumluluk arasında net bir çizgi olmalıdır.
Sethupathy’nin araştırması, birçok şirketin bu ayrımı yapmakta zaten zorlandığını gösteriyor. Kuruluşların yalnızca %19’u fonksiyonlar arası riskleri gerçek zamanlı olarak belirleyebiliyor ve yalnızca %18’i belirlenen risklerin çoğu veya tamamı için aktif bir azaltma önlemi uyguluyor.
Ajan tabanlı yapay zeka, çıtayı yükseltiyor çünkü bu sistemler, her bir adımı bir insanın başlatmasına veya incelemesine gerek kalmadan birden fazla adımı gerçekleştirebiliyor.
Çözüm, her bir ajan için tamamen yeni bir yönetici pozisyonu oluşturmak olmayabilir. Çözüm, her seviyede sahipliği açıkça belirtmek olabilir: ajandan sorumlu bir kişi, etkilediği iş sürecinden sorumlu bir kişi ve yapay zeka riskine ilişkin kurumsal çapta yetkiye sahip bir kişi.
Kurumsal bir temsilci, organizasyon şemasında asla görünmeyebilir. Ancak şirketler yazılımlara daha fazla yetki verdikçe, sonucun sahibi olan kişiyi belirtmeleri gerekecektir.
https://fastcompanyme.com/technology/ai-agents-need-a-boss-so-who-should-that-be/