Özetleyen: M. Nilgün Ercan
ABD Ulusal Bilimler, Mühendislik ve Tıp Akademileri bünyesindeki Bilgisayar Bilimi ve Telekomünikasyon Kuruluna bağlı bir komite tarafından hazırlanan Güvenlik açısından Kritik Uygulamalarda Makine Öğrenmesi Raporu’ nun ilk bölümleri Yapay Zeka Renkleri’ nin 39. sayısında özetlenmişti. Rapor’ un diğer bölümlerini özetlemeye bu sayıda devam ediyoruz.
ML’ nin yararları ve riskleri
Rapor akıllı altyapının ulaşım, enerji yönetimi, kamu güvenliği, afet yönetimi, kent sistemleri, tarım ve sağlık sistemleri gibi alanlarda sağlayacağı yararlara dikkat çekmekle birlikte ML sistemlerinin güvenlik açısından kritik uygulamalarda yarattığı risklere işaret etmeyi de sürdürmektedir.
Robotlar enerji şebekesi ve medikal cihazlar gibi fiziksel sistemlere entegre edildiğinde verimlilik, otonomi ve işlev açısından görülmedik ilerlemeler sağlar. Örneğin, ML güdümlü enerji sistemleri elektrik dağıtımını optimize edebilir veya otonom cerrahi robotlar karmaşık ve güç işlemleri yürütebilir. Ancak, bu entegrasyon geleneksel sistemlerde daha önceden bulunmayan bir dizi riski de beraberinde getirir. ML’ nin fiziksel sistemlerde güvenle uygulanabilmesi için bu risklerin teknolojiyi geliştirenler, politika yapıcılar ve kullanıcılar tarafından iyice anlaşılması gerekmektedir.
En başta gelen kaygılardan biri ML’ nin hataları sonucunda fiziksel zararın ortaya çıkmasıdır. Verilerin yanlış yorumlanması halinde kazalar, yaralanmalar ve hasarlar ortaya çıkabilecektir. Örneğin, imalat sırasında otonom bir robotun yanlışlıkla bir işçiyi hareket ettirilecek bir nesne olarak tanımlaması tehlikeli sonuçlara yol açabilir.
2018 yılında Tempe,/Arizona’da otonom bir UBER SUV bir yayaya çarptı ve ölümüne neden oldu. ABD Ulusal Ulaşım Güvenliği Kurulu bilgisayar görüş sistemi olarak işlev gören ML sisteminin gece yolda bisikletiyle yürüyerek yolu geçen yayayı tanımlamakta hata yaptığı sonucuna vardı. Algılama sistemi yayayı bir bisiklet ve bilinmeyen bir cisim olarak sınıflandırdı ve frene basmakta gecikme yaşandı. Bu durum ML algılama hatalarının ölümcül sonuçlara yol açabileceğini gösterdi. Ulusal Otoban Trafik Güvenliği Yönetimi 2021 yılından itibaren otonom araç şirketlerinin tüm çarpışmaları raporlamasını zorunlu kıldı. O zamandan beri 3 binden fazla vaka kayda geçti.
ML hatalarının yaşam kaybıyla sonuçlanabileceği bir diğer alan da tahmin edileceği üzere veri tabanlı teşhislerde ML’ nin kullanılmasıdır. Burada ML’ nin rolü, bir tıbbi durumu teşhis etmek üzere sensörlerden (MRI, takılabilir cihazlar, medikal cihazlar vb.) gelen verileri yorumlamaktan oluşmaktadır. ML yöntemlerindeki hata kaynaklarına bağlı olarak çok ciddi olumsuz sonuçlar ortaya çıkabilir. Aşağıdaki Tablo’ da medikal sistemlerde ML kullanımındaki hatalar ve tıbbi sonuçlarına ilişkin örnekler verilmektedir.
Çok kapsamlı ve kaliteli veri setlerine erişim olsa da, ML teknolojileri klinik uygulamada başlıca üç hata kaynağıyla karşı karşıya kalır. İlk olarak, ML tahminleri kullanım sırasında veri girişinde gürültüden etkilenir; örneğin ultrason taramaları, operatörün deneyimsizliği, hastanın işbirliği ve klinik ortamından kaynaklanan hatalara yatkındır. İkinci olarak, eğitim ve gerçek dünya veri setlerinin arasındaki ufak değişimlerden gelen yanlış sınıflandırmalar olabilir, Popülasyon grupları, hastane protokolleri ve farklı imalatçılardan gelen cihazlar doğruluk oranını azaltır. Çalışmalar, belirli bir MR taraması üzerinde eğitilen ML modellerinin başka makinaya uygulandığında isabet oranında düşüş olduğunu göstermiştir. Zatürre ve retina rahatsızlıkları gibi koşulların teşhisi için kullanılan ML sistemlerinin başka hastaneler veya cihazlardan gelen verilerle test edildiğinde performansının iyi olmadığı görülmüştür. Bu örnekler farklı popülasyonlar, klinik koşulları ve ekipman değişikleri karşısında yüksek doğruluk oranı ile işlev gören YZ araçları geliştirmenin güçlüğünü ortaya koymaktadır.
ML’ nin fiziksel sistemlere entegrasyonu aynı zamanda güvenlik zafiyetlerini de arttırmaktadır. ML sistemlerinin davranışı, bilgisayar korsanlığı, yanıltıcı e-postalar, diğer siber saldırılar sonucunda manipüle edilebilir. Otonom araçlar ve dronlar bağlamında, ML sistemleri çarpışma oluşturacak veya yasaklı hava sahasını ihlal edecek şekilde yönlendirilebilir. ML ile kontrol edilen elektrik şebekeleri enerji teminini hedef alabilir; böylelikle hastaneler, iletişim şebekeleri ve benzeri lüzumlu hizmetleri aksatabilir.
Amaçlı saldırılar ML sisteminin kendisini değiştirmeksizin girdi verilerini manipüle ederek sistemlerin yanlış kararlar vermesine neden olabilir. Bu saldırılar insanlar tarafından algılanmayan ama ML çıktılarını önemli ölçüde etkileyen, göze çarpmayan sapmalar oluşturur. 2018 yılında araştırmacılar yol sinyallerinde yapılan ufak değişikliklerin otonom araçlardaki ML sistemlerini yanlış yönlendirdiğini göstermiştir. Stop işaretlerine stratejik olarak tasarlanmış etiketlerin yerleştirilmesi ML modelinin onları hız sınır işaretleri olarak algılamasına yol açmıştır. Örneğin, ML modellerini yanıltmak amacıyla, tıbbi görüntüleme üzerinde yapılan müdahalelerde değiştirilen taramaların radyologlar tarafından fark edilemediği, buna karşılık ML modellerini yanlış teşhise yönelttiği gösterilmiştir. Sonuç olarak, bir ML sisteminin kanserli bir tümörü atlarken, sağlıklı bir organı da hastalıklı olarak gösterme riski söz konusudur.
Üretken YZ ve GPT (OpenAI) ile Claude (Anthropic) gibi Büyük Dil Modellerinin (LLM) ortaya çıkmasıyla birlikte yeni bir güvenlik riski doğmuştur. Bu tip modellerin girdilerin filtrelenmesi, modelin ince ayarı ile güvenlik uyumlaştırılması gibi çeşitli önlemleri bulunmaktadır. Böylelikle bu sistemlerin beklenmeyen zararlı eylemlere girmeksizin insana özgü değerler ve güvenlik gereklilikleri ile tutarlı davranış sergilemesi sağlanmaktadır. Güvenlik çabaları, modelin hedefleri ve davranışlarını bir dizi etik standart ve kurala dayalı kılavuzlarla uyumlu hale getirerek otonom karar verme sürecindeki riskleri en aza indirmeye odaklanmıştır.
Ancak, son zamanlarda yazılım kırma (jailbreaking) olarak bilinen bir risk üretken modellerde güvenlik endişeleri yaratmıştır. LLM yazılımını kırma, modelin yapısındaki güvenlik kısıtlarını ve içerik filtrelerini aşmak anlamına gelmektedir. Kötü niyetli kullanıcılar özel bazı teknikler ve iletilerle güvenli olmayan içerik üreterek modeli manipüle etmeye teşebbüs edebilir. Yazılım kırma etik, güvenlik ve toplumsal açıdan önemli riskler oluşturabilir; zararlı bilgi yayarak, özel yaşamı ihlal ederek YZ sistemlerine duyulması beklenen güveni azaltabilir. LLM’ ler sadece araştırma robotlarına değil ticari ürünlere de entegre edilmekte olduğundan fiziki dünyada da zararlı sonuçlar doğurabilir.
ML‘ nin birçok alanda insan performansını yakalaması hatta aşmasına karşılık fiziki sistemlerde uygulanması yararlarının yanı sıra riskler de oluşturmaktadır. Sonuç olarak Rapor’ da şu saptamalar yapılmaktadır: ML uygulamaları sonucunda toplumsal açıdan yararlar sağlanmaktadır, ancak gerçek sistemlere entegre edildiğinde çok sayıda risk de ortaya çıkmaktadır. Bu riskler birçok farklı alanda oluşabilir; yaşam kaybı ile sonuçlanabilir; fiziksel çevreye ve varlıklara zarar verebilir. Yenilikçi uygulamalar, verimlilik artışı, insan-makina iş birliği gibi olumlu yanlarına karşılık sınıflandırma hataları ve kötü niyetli müdahalelere açıklık gibi riskleri de göz önünde bulundurulmalıdır.
Makine öğrenmesi hatalara açıktır
ML modelleri, işlev/etki alanı (operation of domain) içinde olsa bile açık ortamlardaki uygulamalar sırasında yeni nesneler, yeni araçlar veya yeni hastalıklar gibi daha önce karşılaşmadığı durumlarla karşı karşıya kalır. Bu tür durumlarda güvenlik açısından kritik sistemler yeni (bilinmeyen) durumu tespit ederek uygun bir şekilde yanıt vermelidir. Öncelikle, nesne dedektörlerinin yeni nesneleri saptayabilmesi, nesne sınıflandırıcıların yeni tip bir nesneyi gördüğünü tespit edebilmesi vb. türde özellikler gereklidir.
İkinci olarak da sistem yeni durumları saptadığında sürekli olarak kendisini yeni duruma uyarlamalıdır. Örneğin, sistem yeni bir araç ile karşılaştığında, eğitim ve doğrulama verilerinin toparlanması için bir prosese, aracın tipi için algılama sisteminin yeniden eğitimine ve bu yeni aracın varlığında uygun davranışı (örneğin yol planlaması) göstermek için kontrol sisteminin modifiye edilmesine ihtiyaç vardır. Bu harici devrenin sürekli iyileştirilmesi sistemin dış ortamda işleyebilmesi için bir zorunluluktur.
Ayrıca yeni durum tespitinin de her zaman mükemmel olmadığı belirtilmektedir. Yeni durumun saptanması eğitimde kullanılan bilinen nesne tipleriyle karşılaştırma sonucunda yapılmaktadır. Sistem yeni bir nesneyi saptadığında onu bilinen nesnelerden farklı bir gösterim ile işaretlemelidir. Denetimli sınıflandırıcılar sadece bir nesne grubunu diğer gruptan ayırmaya yetecek özellikleri öğrenirler. Denetimsiz ve kendi kendine öğrenme yöntemi ise eğitimde kullanılan verilerin değişimini yakalamak için yeterli olan özellikleri öğrenir. Eğer yeni nesne sınıfı eğitim verileri ile aynı doğrultuda değişmiyorsa yeni durum saptanamayacaktır. Bunun üstesinden gelmek amacıyla mevcut durumda olabildiğince farklı veri ile eğitim yapılması yoluna gidilse de eğitim verilerinin yeni durumu başarılı bir şekilde saptayacağının garantisi yoktur.
ML-etkin özelliklerle imal edilmiş sistem bileşenleri (bilgisayar görüşünü engelleyen nesneler gibi) çevrenin eksik algılanması ve doğasındaki istatistiğe dayalı yapı nedeniyle önemli hata oranları verebilir. ML bileşenlerinin çıktılarına dayalı olarak verilen kararlarda belirsizlik vardır. Bu nedenle belirsizliği azaltmak için önlem alınması gerekir. Çoğu durumda ML-etkin kritik sistemler açık ortamlarda işlev görmek durumundadır; bu da beraberinde yeni durumlarla karşılaşmayı getirmektedir. Bu sistemlerin yenilikleri tespit eden ve karakterize eden “harici devre” uygulamasına ihtiyacı vardır. Sistem, bulunan yeniliklerle başarılı şekilde başa çıkabilmek için veri toplama ve yeniden eğitim yoluyla geliştirilmelidir.
Makine öğrenmesinin güvenlik mühendisliğine entegrasyonu
Rapor’ da güvenlik mühendisliğinin gereksinimlerini MK bileşenleri ile birlikte ele almak için gereken mühendislik yaklaşımları, a) gereklilikler ve tasarım b) uygulama c) doğrulama ve onaylama olarak üç kademede değerlendirilmiştir.
İlk kademede, senaryo bazlı bir yaklaşım geliştirilebilir. Bir sanayi robotu veya depodaki hareketli bir araç öngörülebilir koşullarda çalışır; buna karşılık otonom bir araç açık ortamlarda öngörülemeyen koşullarla karşılaşabilir. Senaryolarda hava koşulları, görüş alanında yayalar, park edilmiş araçlar, bisikletler gibi nesnelerin yanı sıra sistemin sağlamlığı açısından yanıltıcı saldırılara da yer verilebilir. Tasarımcılar eğitim amacıyla gereken verilerin miktarı ve özelliklerini her senaryo ve her ML bileşeni için belirlemelidir. Ek olarak, doğruluk için bir hedef ve bu hedefe ulaşmak için gereken veriler de tasarımcılar tarafından öngörülmelidir. Ayrıca sistemdeki her bileşen için bir yeni (bilinmeyen) girdi dedektörü de olmalı ve bu sayede eğitilen bileşenin güvenilir olarak işlem yapamayacağı uyarısı bulunmalıdır. Kuşkusuz ki bu işlevleri sağlamak için gereken verileri toplama işlemi oldukça zorlayıcı süreçlerdir. Raporda, ML bileşenlerinin eğitim verilerinin miktar ve verilerin değişkenlik boyutları açısından belirtilmesine ihtiyaç duyulduğu, bu süreci desteklemek için yeni veri mühendisliği araçlarına gereksinim olduğu tespiti yapılmaktadır.
Uygulama safhasında ana faaliyet konusu veri toplama ve sistem bileşenlerinin eğitimidir. ML bileşenlerinde veri yetersizliği kaynaklı epistemik ve verilerdeki öngörülemeyen, rastgele dalgalanmalar, çevrenin ölçülmeyen yönleri gibi kaynaklardan gelen rastlantısal (aleatoric) belirsizlikler bulunmaktadır. Uygulama fazındaki ekiplerin bileşenlerin eğitiminin yanı sıra bileşenlerin ürettiği belirsizlik gösterimlerini de kalibre etmelerine ihtiyaç vardır. Örneğin, bir nesne sınıflandırıcı için bu daha basittir; belirsizliğin ifadesi nesnenin o sınıfa ait olma olasılığıdır. Ancak başka bileşenler, örneğin işçilerin, yayaların, hayvanların ve diğer araçların sonraki davranışlarını öngörmek durumda olan bir sistem bileşeni için olasılıklar seti daha karmaşıktır. Belirsizlik altında karar verme sürecini desteklemek için ML bileşenlerinin belirsizliklerinin kalibre edilmesine ihtiyaç vardır.
Doğrulama sürecinin ana amacı her senaryoda gerekli olan performansa ulaşılmasıdır. Bu sadece temel işleve ait performansa erişmek anlamına gelmemekte, aynı zamanda yenilikleri ve çalışma alanını tayin etmek için gereken performansa erişilmesi de beklenmektedir. Her ML bileşeni hata oranlarını ve belirsizlik ayarlarını ölçmek için doğrulama verileri üzerinden her senaryo kapsamında değerlendirilmelidir. Her ML bileşeninin aldatıcı saldırılar karşısındaki sağlamlığı da test edilmeli, bu amaçla doğrulama ekibi tarafından saldırıya yönelik test için veriler tasarlanmalıdır. ML bileşenlerine yanıltıcı bağlantılar öğretilmediğinden emin olmak için testler yapılmalıdır. Bu amaçla test veri tasarımlarının ve ML’ nin açıklanabilirlik yeteneğinin ilerlemesine ihtiyaç duyulmaktadır.
ML bileşenlerinin onaylanması varsayımlara, özellikle yeni durum ve çalışma alanı tespitine dayanmakta olup bunlar uygulamaya geçmeden kontrol edilememektedir. Onaylama, eğitim verilerinin yeni ve alan dışı verilerin ortaya çıkabileceği tüm önemli doğrultularda denendiği varsayımına dayanmaktadır. Senaryo bazlı yaklaşım ML sistemlerinin geliştirilmesi için önemli bir değişiklik getirmiştir. Durağan bir olasılıklar dağılımı yerine eğitim verileri her senaryo için farklı doğruluk seviyelerine erişecek şekilde tasarlanmalıdır.
Raporda, mevcut ML bileşenlerinin güvenlik açısından kritik sistemlerin standartları açısından yetersiz kaldığı; zira seyrek olarak karşılaşılacak olayları ihmal edebilen istatistiksel verilere dayandığı ve tüm çalışma koşullarında tutarlı bir performans göstermeyi de garantileyemediği tespiti yapılmaktadır. Bu saptamadan hareketle, söz konusu açığın kapatılması için bileşenlerin tüm çalışma alanını kapsayacak şekilde garanti edilmiş doğruluk seviyesini sağlamak üzere yeniden tasarlanmasına ihtiyaç olduğu belirtilmektedir.
ML ve güvenlik mühendisliği arasında köprü kurmak için araştırılması gereken konular
Raporun 4. Bölümünde kritik sistemlerde ML‘ nin güvenle kullanılabilmesi için araştırma alanındaki gereksinimlere de dikkat çekilmekte, fiziksel sistemlere ML bileşenlerinin güvenle entegre edilebilmesi için ML ve sistem mühendisliğinden çıkan yeni bir mühendislik disiplini gerekliliğinden söz edilmektedir. ML araştırmacıları daha geniş bir sistem perspektifini kabul etmeli, güvenlik mühendisleri de ML’ nin özgün niteliklerini benimsemelidir.
Boşluk saptanan konulardan biri, ML bileşenleri için veri gereksinimlerini belirlemek ve bu gereksinimleri karşılayacak verileri toplamak amacıyla yeni araçlara ihtiyaç duyulmasıdır. Bir diğeri, ML- etkin kritik sistemler konusundaki araştırma faaliyetlerini geliştirmek için, ölçüt niteliği taşıyan, kıyaslama amaçlı çok sayıda veri setine ve riskleri azaltmak amacıyla bileşenlerin eğitimi için göreve dayalı öğrenmeye ihtiyaç bulunmasıdır. Senaryo- bazlı güvenlik açısından kritik ML oluşturmak için yeni algoritmalara ve ilgili teoriye gereksinim vardır.
İstatistiksel öğrenmenin oluşturduğu yaygın risklerden biri girdi verileriyle çıktı hedefleri arasındaki nedensel olmayan, yanıltıcı bağlantılardır. Araştırma toplulukları bunları saptamak için çeşitli yollar geliştirebilir. Şayet yanıltıcı bağlantılar öngörülebilirse eğitim verileri bu bağlantıları bozmak için düzenlenebilir. Güvenlik açısından kritik sistemlerde tüm öğrenilmiş istatistiksel bağlantıların nedensel bir temele dayanması garanti edilmelidir. Bu nedenle, eğitim verilerinde kontrollü müdahaleler gerekli olup, nedensel olmayan bağlantıların öğrenilmesini önlemek veya en azından saptamak için pratik yöntemler geliştirilmesi konusunda araştırma yapılmalıdır.
ML bileşenlerinin çıktılarına ilişkin açıklamalar üretilmesi de üzerinde durulması gereken önemli çalışma konularından biridir. Bu açıklamalar hangi özellikler veya görüntü bölgelerinin çıktılara baz teşkil ettiğini gösterir, kararı etkileyen öğrenme unsurlarını tanımlamanın yanı sıra aldatıcı bağlantıların saptanmasını ve düzeltilmesini sağlar. Bu tür emek yoğun “hata ayıklayıcılar” ın yanı sıra ML tahminlerinin açıklanmasına ve niteliğine yönelik yöntemler geliştirilmesine ihtiyaç vardır.
Güvenlik açısından kritik sistemlerin çoğunda karmaşık öngörüler bulunmaktadır. Örneğin, tıbbi bir görüntülemede bir tümörün yeri, yüzey şekli ve hacmi aranır. Bir trafik yönetim sisteminde yol ağındaki her yerin trafik yoğunluğu ve hızının tahmin edilmesi beklenir. Otonom bir araçta diğer her bir aracın, hatta bisiklet veya yayanın bir sonraki güzergahının tahmin edilmesi istenir. Her yeni sorun için belirsizliğin açıklanması gerekir. Karmaşık tahminlerde belirsizliğin ifadesi için genel bir metodolojiye gereksinim olduğu gibi, uygulama sonrası için de kompleks belirsizlik gösterimlerini kalibre etmek amacıyla genel bir metodoloji gerekmektedir.
Yapay sinir ağlarının ve ML sistemlerinin doğruluk özellikleri konusunda ilerlemeler sağlansa da ölçeklendirme ve onun ötesinde yeni yaklaşımlar konusunda önemli araştırmalara ihtiyaç vardır. Makine öğrenmesini güvenlik açısından kritik sistemlerde kullanmak için test ve değerlendirme yöntemleri son derece önemlidir. Test ve değerlendirme araçları ve süreçleri hem sistem bileşenlerinin hem de entegre sistemin gerçek dünyada istenen şekilde işlev görebileceğinin güvencesini sağlayabilecek şekilde olmalıdır. Sağlam ve etkin test ve değerlendirme süreci, özellikle güvenlik açısından kritik sistemlerin yaşam, çevre ve varlıklara zarar vermeyecek şekilde işletilmesini sağlamalıdır. Bu açıdan sistemin yaşam döngüsü boyunca 3R kavramı güvenilirlik (reliability) , sağlamlık (robustness) ve dayanıklılığı (resilience) sağlamak için uygulamaya dayalı değerlendirme yöntemleri geliştirilmelidir. Genel nitelikli performans ölçütleri güvenlik konusunu değerlendirmek için çoğunlukla yetersiz kalmaktadır. Spesifik performans değişkenleri, uygulama senaryoları ve görevler için ölçütler ve önlemler geliştirilmesi konusunda araştırmalara ihtiyaç vardır.
Toplumsal güvenlik açısından atılması gereken adımlar
Doğal olarak, ML uygulamalarının toplum ve ekonomi açısından olumlu yönde etkileri olması beklenmektedir. ML sadece basit bir teknoloji veya araç olmayıp hem sanayide hem de günlük yaşantıda insan-makine ilişkisini dönüştürücü bir potansiyele sahiptir. Buna karşılık, şeffaflık eksikliği, güvenlik, önyargı ve yapısal açıdan taşıdığı riskler sağlayacağı faydalara ilişkin beklentilere zarar verebilmektedir. Güvenlik açısından riskli sistemlerde ML kullanımına ilişkin düzenlemelerde ilerleme sağlansa da bu teknikler ML’nin güvenlik sistemi bileşeni olarak kullanılması halinde ortaya çıkan riskleri önlemek açısından yeterli değildir. Bu nedenle güvenlik açısından yeni ve ilave mekanizmalara ihtiyaç vardır. ML ile ilgili yeni düzenleme yaklaşımının, yatay (birçok alanda ML kullanımını düzenleyen) düzenlemeler ile otomotiv, uzay, tıp, robotik gibi özel alanlara ilişkin düzenlemeleri birlikte ele almasına, yeni standartlar, kurallar ve testlerin hem genel hem de alana özel sorunları uyumlaştırmasına gereksinim vardır.
Güvenlik açısından kritik sistemlerin, yapısı gereği, güvenlik sisteminin tüm uygulama dönemi boyunca etkin olabilmesi için sistem tasarım değişiklikleri ve yazılımların güncelleştirilmesi gibi hususlar açısından daha sıkı ele alınması gerekmektedir. Hükümetler YZ/ML ile ilgili kılavuzlar konusunda ilerleme sağlamakla birlikte alınan önlemler güvenlik açısından kritik sistemlerin ihtiyaçlarına yeterince cevap vermemektedir. ML bileşenlerinin bakımı ve eğitim modelleri, ML ile ilgili yeni riskleri dikkate almak amacıyla kritik yazılım ve donanımda uygulama sonrası ve saha güncelleştirmelerini kapsayacak şekilde genişletilmelidir.
YZ’ nin güvenli uygulaması ile ilgili standartlar, düzenlemeler hükümetler, sanayi grupları ve uluslararası standart kuruluşları arasında yaygınlaşmaya devam etmektedir. ISO/IEC JTC1 SC42, ABD Ulusal Standartlar ve Teknoloji Enstitüsü (NIST)bünyesindeki Yapay Zeka Güvenlik Enstitüsü ve CEN/CENELEC gibi bölgesel standartlar kapsamında yapılan çalışmalar ML kullanan güvenlik açısından kritik sistemlere yönelik önemli adımlardır.
Raporda vurgulanan hususlardan biri de formel test süreçlerinin daha yaygın kullanılmasına ihtiyaç bulunmasıdır. Örneğin, otonom bir araç da bir sürücünün kalifiye bir gözetmen tarafından değişik hava ve aydınlatma koşullarında yeteneklerini göstermesine benzer koşullarda test edilebilmelidir.
Raporda kamu tarafından fonlanan ve bağımsız bir yapının gözetimi altında, güncelleştirilmiş ve kurallara dayalı analizler sonucunda elde edilen kritik bilgiler konusunda kamuoyunun bilgilendirilmesi önerilmektedir. Bunun için ML kullanan kritik sistemlerin, sivil havacılıktakine benzer şekilde, gerçek çevrede yanlış yorumlama kaynaklı kaza veya kazaya yol açacak durum gibi olayları bu bağımsız yapıya düzenli olarak bildirmesi gereklidir. Sahada yaşanan olaylardan hareketle öğrenmeye dayalı süreçlerin uygulanmaya konması ML bazlı kritik sistemlere güvenin sağlanması için esastır. Bu süreçlerin, olayların nedenlerinin bağımsız bir yapı tarafından analiz edilmesi ve uygulanan sistemlerin olayların meydana gelmesini engelleyecek şekilde geliştirilmesini de kapsaması beklenir. Ayrıca ML bileşenli kritik sistemlerde, uygulama öncesinde yapılacak formel testlerin yanı sıra, uygulama sonrasında da sisteme entegre edilmiş ML bileşenlerinin gerçek dünyada güvenlik açısından sürekli değerlendirmesi de yapılmalıdır. Bu amaçla, sisteme entegre edilmiş gözetim mekanizmalarıyla belirli aralıklarda denetçilerin değerlendirme yapmasına olanak sağlanabilir.
Eğitim
ML ile güvenlik açısından kritik sistemlerle ilgili gruplar arasındaki bilimsel, normlar, düzenleme ve kültürel ayrımlara dayalı farklılıkların aşılması için bağlar kurulmalıdır. Bilimsel farklılıklar açısından, Ml uzmanları ile kritik sistemlerin uzmanları birlikte iş yapma ve disiplinler arası araştırma yoluyla ortak bir zemin ve anlayış yakalamalıdır. Çeşitli sektörlerde alana özgü toplantılar, çalıştaylar, ortak konferanslar ve forumlar karşılıklı anlayışın geliştirildiği ve en iyi uygulamaların paylaşıldığı ortamları sağlayacaktır.
ML alanında istihdam edilen tüm araştırmacı, geliştirici ve mühendisler uygulamada güvenlik standartlarının ve metodolojilerinin önemini kavramak durumundadır. Ek olarak, kamu görevlileri ve düzenleyicilerin bu alandaki uzmanlığı da geliştirilmelidir.
Rapor’ u hazırlayan Komite, eğitimin kamuoyu eğitimini de kapsamasına ve ML’ nin faydaları ile risklerinin yanı sıra aşırı güvenme durumunu önlemek için ML’ nin muhtemel sınırları üzerinde eğitim verilmesine ihtiyaç olduğunu da düşünmektedir.
Kritik sistemlere ML entegrasyonu için iş birliğine dayalı araştırma, toplulukların katılımı, düzenlemelerin uyumlu hale getirilmesi, kültürel anlayış ve eğitime ilişkin sağlam inisiyatiflerin oluşturulması gerekmektedir. Mevcut ayrımları ortadan kaldırmak için bütüncül bir yaklaşıma ihtiyaç vardır. Gelecekteki araştırmacı ve mühendisleri ML- etkin kritik sistemleri oluşturmak üzere eğitmek amacıyla, ML tasarımında, bilişim teknolojilerinin tasarımında, sistem güvenliği ve insan-makine iş birliğinde bu bütüncül perspektife vurgu yapan lisans seviyesinde kurslara ve müfredata ihtiyaç bulunmaktadır.
Kaynak: National Academies-Sciences-Engineering-Medicine, Computer Science and Telecommunication Board, Machine Learning for Safety-Critical Applications: Opportunities, Challenges, and a Research Agenda (2025), prepublication copy, The National Academies Press, https://nap.nationalacademies.org/27970