Özet: M. Nilgün Ercan
ABD Ulusal Bilimler, Mühendislik ve Tıp Akademileri bünyesindeki Bilgisayar Bilimi ve Telekomünikasyon Kuruluna bağlı bir komite tarafından hazırlanan “Güvenlik Açısından Kritik Sistemler için Makine Öğrenmesi: Fırsatlar, Sorunlar ve Araştırma Gündemi 2025” başlıklı rapor yapay zekanın ve ilgili sistemlerin hayatımıza her geçen gün daha fazla girdiği bir dönemde güvenlik kavramının öne çıktığı sistemlerde YZ/ Makine ögrenmesi (ML) uygulamalarını ele aldığı için önem taşıyor.
YZ ve güvenlik konuları dendiğinde genel olarak veri güvenliği, karar-verme sürecinde hakkaniyet, güvenilirlik, ekonomik eşitsizlik ve etik gibi konular akla gelmektedir. Bu konuların önemi kabul edilmekle birlikte, Rapor ’un ele aldığı konunun güvenlik açısından kritik alanlarda ML kullanımının insanlara ve mülke somut zarar verme potansiyeli üzerine olduğu belirtilmektedir.
Güvenlik açısından riskli sistemler
Rapor’ da güvenlik açısından kritik sistemler ve uygulama alanları aşağıdaki şekilde gruplandırılmaktadır:
Havacılık: Uçuş ve ekipman kontrolü; navigasyon, çarpışmadan kaçınma
Otomotiv sistemleri: ABS sistemleri; elektronik stabilite kontrolü; çarpışmadan kaçınma
Enerji ve kamu hizmetleri: Elektrik şebekesi ve gaz boru hattı kontrolü; su hazırlama ve dağıtım sistemleri
Tıbbi cihazlar ve sağlık hizmetleri: Yaşam destek sistemleri; solunum cihazları ve defibrilatörler; radyasyon tedavisi ekipmanı; teşhis yardımı ve görüntüleme
Yapı ve acil durum güvenlik sistemleri : Yangın tespiti ve baskılama sistemleri; acil çağrı sistemleri; yalnız çalışanlar için acil çağrı ve erişim kontrol sistemleri; kamu güvenliği için iletişim
Nükleer santrallar: Reaktör kontrol; acil devre dışı kalma; radyasyon izleme ve soğutma sistemleri
Endüstriyel proses kontrolü: Kimyasal tesislerde, petrol ve gaz rafinerilerinde proses kontrolü; güç santralları kontrol sistemleri
Otomatik imalat sistemleri: Robotik kontrol; imalat tesislerinde acil durum kilitlenme sistemleri
Demiryolu sistemleri: Tren kontrol ve frenleme sistemleri; otomatik tren koruma (ATP) ve pozitif kontrol (PTC) sistemleri
Uzay sistemleri: Fırlatma; uydu kontrol ve astronotlar için yaşam destek sistemleri
Trafik kontrol: Akıllı ulaşım; trafik ışıkları kontrol sistemleri
Savunma sistemleri: Füze yönlendirme; uçak elektronik sistemleri; kumanda ve kontrol sistemleri.
Rapor’ da belirtildiğine göre, güvenlik sadece “var” veya “yok” diye yanıtlanacak bir mesele olmayıp, hiçbir sistemin tam anlamıyla riskten arındırılmış olduğunu söylemek mümkün değildir. Buna açıklık getirmek için ISO/IEC Guide 51’ den uyarlanarak standartlarda yer alan güvenlikle ilgili bazı tanımlara bakmak gerekir:
Zarar: İster sistemi kullananlar isterse kamusal alanda etkilenen diğer kişiler olsun, insanların sağlığına veya çevre ve mülklere verilen fiziksel bir hasar veya zararı anlatır.
Güvenlik riski: Zararın oluşma frekansı ve şiddetini gösteren bir fonksiyon olarak tanımlanır. Güvenlik riski kapsamı, nükleer santralda çekirdek erimesi gibi nadir ancak potansiyel olarak felaket düzeyinde zarar veren olaylardan araba kazası gibi orta şiddette ama daha sık karşılaşılan olaylara kadar uzanan esnek bir kavramdır. Güvenlik sistemlerinin mühendisliği, potansiyel zararları saptamak ve ortaya çıkma olasılığını ya da şiddetini veya her ikisini de azaltacak etkili önlemleri almaktır.
Çoğu güvenlik açısından kritik sistemlerde esas sorunlardan biri kabul edilebilir risk kavramını tanımlayabilmektir. Bu terim belirli bağlamda ve işletme koşullarında toplum tarafından kabul edilebilir bir durumu ifade eder ve bunun için toplum, mühendisler, düzenleyici kurumlar ve şirketler arasında diyalog kurulmasına ihtiyaç duyulur. Kabul edilebilir risk kavramı söz konusu yeni ve yenilikçi sistemlerin gelişme aşamasına bağlı olarak da değişiklik gösterebilir. Örneğin, Wright biraderler kendi dönemlerinde bugüne göre çok daha büyük bir riski göze almaya istekliydiler. Bu çerçevede güvenlik ile yenilik arasında bir ilişki olduğunu da vurgulamak gerekir.
Kabul edilebilir risk kavram olarak oluşturulunca, artık o riskin altında kalan koşullar için “güvenli” duruma erişilmiş olur. Şiddet ve olasılık unsurları bir araya getirilerek oluşturulan riske karşı güvenlik mühendisliğinin hedefi riski toplumsal olarak kabul edilebilir sınırların altına çeken bir sistem tasarımıdır. Tasarımda riski azaltacak tüm mühendislik uygulamaları alt sistemler ve bileşenlerine uygulanır. Bu amaçla, kameralara ilave olarak radar veya lidarlar (ışıklı radar) gibi algılayıcı ekipmanları ilave etmek, sensörlerin çözünürlüğü veya güvenilirliğini arttırmak gibi ek önlemler gerekebilir.
Güvenlik açısından kritik alanlar ele alındığında bunların her biri için kabul edilebilir riskin alana özgü olduğu görülecektir; zira sistemin uygulanma ortamı, kullanıcıların ve etkilenecek toplum üyelerinin maruz kalacağı riskler farklıdır. Farklı sistem ve alt sistemlerden beklenen performans ve güvenilirlik beklentisi sistemin yapısal bütünlük seviyesi (system integrity level-SIL) kullanılarak tanımlanmaktadır. Bu seviye 1’den (örneğin trafik lambaları gibi en az kritik olanlar) 4’e (uçuş kontrol sistemleri gibi en kritik olanlar) kadar sıralanıyor. SIL 4 sistemler hataların katastrofik sonuçlar doğuracağı sistemler olduğundan bunlar kuşkusuz ki daha fazla yedekleme, daha katı testler ile daha sıkı tasarım ve işletme kısıtları gerektiriyor.
Güvenlik açısından kritik alanlarda makina öğrenmesi
Makina öğrenmesi kavramı, 1940’ların sonuna doğru, 1950’lerin başında araştırmacıların verileri öğrenen ve kendini zamanla geliştiren bilgisayar programları oluşturmayı düşünmesiyle başladı denebilir. 1957’de Frank Rosenblatt tarafından örüntüleri anlayabilmek için öğretilebilir bir tür yapay sinir ağı olan perceptronun geliştirilmesi ile önemli bir aşama sağlandı. Günümüzde, çok büyük veri setlerinin elde edilmesi ve bilgisayar sistemlerindeki ilerlemelerle makine öğrenmesinde ve derin öğrenme gibi alt alanlarında hızlı bir ilerleme gerçekleşti. 2012 yılında yeni bir aşama olan derin evrişimsel sinir ağı (çoklu bilgisayar ünitesi katmanlarından oluşan sinir ağı) AlexNet geliştirildi. ImageNet’ te yer alan tüm görüntüler bir nesne kategorisi ile (örn. uçak) etiketlendi. AlexNet daha önce bilgisayar görüntülerinde kullanılan yöntemlere kıyasla görüntü sınıflandırmasında önemli bir ilerlemeyi oluşturdu ve derin öğrenmenin geniş uygulama alanlarında kullanılması için yardımcı oldu. Sonraki yıllarda araştırmacılar çok daha karmaşık ağ mimarileri ve teknikleri geliştirdi. Bu ilerlemeler sonucunda bilgisayar görüntüleri, doğal dil işleme teknikleri, konuşmayı anlama, biyoloji ve robotlar gibi geniş alanları içerecek şekilde uygulama olanakları bulundu; uygulamalar özellikle tıbbi görüntüleme, trafik kontrolü, otonom vasıtalar, havacılık elektroniği, insansız hava ve sualtı araçları ve mobil robotlar gibi güvenlik açısından kritik alanları da kapsadı. Derin öğrenme sayesinde daha iyi algılama ve daha etkin kontrol ile bu sistemlerin gelişmesi sağlandı.
Makine öğrenmesinin sınıflandırılması
Makine öğrenmesinin temel yaklaşımları şu şekilde sınıflandırılabilir:
Denetimli (Güdümlü) öğrenme: Bu grupta modeller etiketlenmiş veri setleriyle eğitilir. Gözetimli öğrenmenin temel amacı giren veri ile karşılık gelen çıktı etiketlerin arasında işlevsel bir yerleştirme oluşturmaktır. Yeni bir veri girdiğinde eğitilmiş model bu yerleştirme ile sınıflandırma ve tahminleri yapabilmelidir. Görüntü sınıflandırma, konuşmayı anlama, çöp e-postaları saptama bunun başlıca örneklerindendir.
Denetimsiz (Güdümsüz) öğrenme: Bu grup, desen, yapılar ve veriler arasındaki bağlantıları herhangi bir hedef etiket olmadan bulan bir dizi yöntemi kapsamaktadır. Müşteri gruplandırması, anomali saptamak bu yöntemin pratik uygulamaları arasındadır.
Pekiştirmeli (Takviyeli) öğrenme: Bu metot dinamik bir ortamda kararlar dizisini gerçekleştirmek üzere otonom bir ajanın eğitilmesine dayanmaktadır. Ajanlar tekrar eden deneme yanılma ile (ödül veya ceza şeklinde) geri dönüşler alarak eğitilmektedir. Pekiştirmeli öğrenme algoritmaları arasında Q-öğrenme, derin Q ağları sayılmaktadır.
Kendi denetiminde (gözetiminde) öğrenme: Görüntüler, cümleler, yörüngeler gibi kompleks nesneler için sinir ağlarını nesnenin bir kısmını diğer kısımlarında hareketle tahmin edebilmesi için eğitmek mümkündür. Dil konusunda bir cümlede önceden gelen kelimelerden diğerlerini tahmin etmek; benzer şekilde bir görüntüde nesnenin silinmiş kısmını öngörmek gibi örnekler verilebilir. Bu yöntemle doğal dil geliştirme, bir görüntünün kesilmiş/bloklanmış kısmını tahmin etme gibi uygulamalar yapılabilir. Yine bu metot spesifik görevleri yerine getirmek üzere denetimli öğrenmeye baz teşkil edecek şekilde yüksek boyutlu temsilleri öğrenebilir; tıpta X-ışını görüntüleri, bilgisayarlı tomografi ve manyetik rezonans görüntülemesini sınıflandırmak gibi.
Nöro-sembolik öğrenme: Bu yöntem insan zekasına ulaşabilmek için iki kritik özellik gerektiğinden hareket eder: öğrenme ve tümleme. Bu proses, değişik temel verilerden (primitives) yola çıkarak kompleks kavramları şekillendirme ve anlama becerisini içermektedir. Nöro-sembolik öğrenme, ML modellerinde soyutlama, anoloji ve akıl yürütme becerilerini geliştirmenin yanı sıra güvenlik odaklı sistemlerde açıklanabilirliği arttırmak ve karar verme sürecini kolaylaştırmak gibi unsurları içermektedir. Ancak, alana özgü tasarlanmaları nedeniyle kompleks ortamlarda becerileri sınırlı kalmaktadır.
Üretken ön eğitimli modeller: Bu modeller kendi denetiminde öğrenme tekniklerini uygulayarak görüntüler, metinler, kodlar gibi karmaşık girdileri düzenleyerek yeniden görüntü, metin ve kod gibi karmaşık çıktılara yapılandırabilir. Bunlar özellikle doğal dil anlama, görüntü işleme gibi alanlarda ilerleme sağladılar. İnternet ölçeğindeki büyük kapsamlı metin ve görüntü verileri ile eğitilerek dil ve görsellere ait bilgilerin genelleştirilmiş temsillerini elde ettiler. Örneğin, GPT modelleri dil geliştirme, metin tamamlama ve kod üretme konularında üstünlüğe sahiptir. Öte yandan CLIP, resimden altyazı oluşturma, sıfır çekim görüntü sınıflandırması gibi metne ait ve görsel bilginin ortak kavramasına dayalı görevlerde kendini göstermektedir. Bu modeller önce büyük ölçekli kendi denetiminde öğrenme süreci sonrasında ikinci aşamada denetim altında öğrenme veya pekiştirmeli öğrenme kullanılarak göreve özgü eğitimden geçirilmektedir. Tek bir model birçok göreve özgü sisteme temel sağladığı için bunlara altyapı modelleri de denmektedir.
Günümüzdeki ML’ nin temelinde bu temel kavram ve modeller yer almaktadır. ML, YZ ve veri biliminde çığır açan birçok gelişmenin katalizörü olmuştur. Hangi ML tipinin tercih edileceği, spesifik meseleye, etiketlenmiş verilerin hazırda olması gibi kriterlere bağlıdır.
Güvenlik açısından kritik sistemlerde makine öğrenmesi: Otomotiv örneği
Modern ML tekniklerindeki ilerlemeler araştırmacıları bu tekniklerin uygulanabileceği alanları genişletmeye yönlendirmiştir. Robot teknolojisi, kontroller, sensörler ve ışıklı radar teknolojindeki ilerlemelerle birlikte otomotiv sanayisinde derin öğrenmenin başı çektiği önemli bir dönüşüm meydana gelmiştir. Bu tekniklerin bir araya gelmesiyle otomobil üreticileri ve yeni girişimciler otonom araçların olduğu bir geleceğe yatırım yapmaya başlamıştır.
Rapor kapsamında bir aracın hangi seviyede sürücü müdahalesi olmadan çalışabileceğine ilişkin Otomotiv Mühendisleri Topluluğunun sınıflandırmasından hareketle şu bilgiler verilmektedir:
Seviye 0: Otomasyon yok. Kontrol ve gözlemden sürücü sorumludur.
Seviye 1 : Direksiyon veya hız kontrolu (ancak ikisi aynı anda değil) gibi sürücüye bazı yardımcı nitelikler söz konusu. Uyarlanabilir seyir kontrolü buna örnek verilebilir.
Seviye 2 (Kısmi otomasyon): Bu seviyede belirli koşullarda aracın aynı anda direksiyon ve hızlanma/yavaşlama kontrolü mümkün hale gelir. Sürücü dikkatli ve kontrolü hemen alacak şekilde hazır olmalıdır.
Seviye 3 (Koşullu otomasyon): Bu seviyede araç belirli durumlarda tüm sürüş görevlerini yerine getirebilir. Sürücü ilgilenmeyebilir ancak istendiğinde müdahale etmeye hazırlıklı olmalıdır.
Seviye 4 (Yüksek otomasyon): Bu kademe aracın önceden belirlenmiş alanlarda tamamen otomatik halde işler olması anlamına gelir. Bu sınırlar içinde insan müdahalesine gerek yoktur.
Seviye 5 (Tam otomasyon): Herhangi bir insan müdahalesi olmaksızın araç her koşulda sürüşü yapabilecek durumdadır. Bu araçlar geleneksel sürücü kontrollerine ihtiyaç göstermezler.
Mevcut durumda çoğu araç Seviye 0 ile Seviye 3 arasındadır. Seviyelerin tanımlanmasında araçların işlev gördükleri ortamlar da önemlidir. Daha önceden haritalanmış ve modellenmiş ortamlar “kapalı dünya” olarak tanımlanmaktadır. Buna karşılık, daha önceden haritalanmamış, yeni engeller olan ortamlarda, yeni yol koşullarında (açık dünyalar) tüm araç fonksiyonlarına sahip olacak araçların ise Seviye 4 ila 5’ e erişmeleri gerekmektedir. Seviye 4 gün içinde kuru yollarda çalışabilirken Seviye 5 için herhangi bir kısıt yoktur. Seviye 4 ve 5’ e erişebilmek için, aracın gerçek zamanlı olarak çevresinden farkında olmasını sağlayacak algılama ve düzenleme tekniklerine sahip olması gerekmektedir. Araç aynı zamanda bir değişiklikle karşılaştığında, yeni araçların nasıl davranacağı, engeller ve yol koşulları gibi belirsizliklerin bulunduğu durumları tespit edebilmelidir. Bu tür durumlarda kontrol sistemi, riski en aza indirmek için yavaşlamak, önündeki araç veya bilinmeyen cisimle arasına daha fazla mesafe koymak vb. emniyet sınırlarını arttıracak önlemleri almalıdır.
Makine öğrenmesinin yarattığı risklerin nedenleri
Makine öğrenmesine içkin olan birçok özellik ve bilinen eksiklikler bunların güvenlik açısından kritik sistemlere uygulanmasını zorlaştırmaktadır.
Öncelikle ML yaklaşımları istatistiklere dayanmaktadır. Kompleks bir model, örneğin derin sinir ağına (çok katmanlı yapay sinir ağı) dayalı bilgisayar görüş sistemi, “kayıp fonksiyonu” en aza indirmek için milyon veya milyarlarca sayısal parametreyi algoritmik olarak değiştirerek eğitilir. Kayıp fonksiyon, modelin nesneleri saptama, nesne tiplerini gruplandırma, nesneleri uzayda yerleştirmede yanlışlık yapma ve benzeri hatalarının ölçümüdür. Öğrenme algoritmaları için sayısal parametrelerde sıfır kayba erişmek nadirdir. Hatta eğitim verilerinde sıfır kayba erişilse de uygulama sırasında karşılaşılan yeni görüntülerde sıfır kayıp olacağının garantisi yoktur. Sonuç olarak sinir ağlarının sonuçları her zaman yaklaşık ve belirsizdir. Halen çıktılarda dikkate alınması için belirsizliğin ölçülmesi üzerine araştırmalar sürmektedir.
İkinci olarak, öğretilmiş bir modele eğitim verilerinin kapsamı dışında kalan girdiler konusunda güvenilmesi olanaksızdır. Video, radar, ışıklı radar gibi sensörlerden gelen eğitim verileri çok boyutlu olup, “kapsam” kavramını belirlemek zordur. Çoğu ML projesi eğitim verilerini sistematik olarak toplamak yerine başka amaçlarla toplanan verileri kullanmaktadır; bu da “kapsam” tanımını belirlemeyi zorlaştırmaktadır. Veri toplamaya ilişkin sınırlar açıkça yönlendirilmedikçe veri kapsamını belirlemek zor olacaktır. Bu durumun ML araştırma topluluklarında belirgin olarak izlenen eğilim ile ilişkisi vardır; genel eğilimleri çoğu ortamda işlev görebilecek genel amaçlı çözümler bulma yönündedir. Bir modelin etkinlik ortamı (kullanılabileceği muhtemel koşullar ve bağlamlar) sadece modelin eğitim ve test verilerinin kapsadığı alan olarak tanımlanmaktadır. Bunun en iyi örnekleri GPT veya CLIP gibi son altyapı modelleridir; bu modeller geniş kapsamlı ve farklı veri setleriyle eğitilen ve sonsuz sayıda konuyu kapsayan içeriği üretebilecek modellerdir. Böylelikle, daha önce görülmemiş genişlikte bir alanı kapsayan ML sistemleri ortaya çıkmakta ancak aynı zamanda güvenlik açısından işlev görme ortamının belirlenmesi güçleşmektedir.
Üçüncü olarak, yeni bir veri noktası girildiğinde mevcut ML öğrenmesi yöntemleri söz konusu veri noktasının eğitim verileri kapsamında olup olmadığına ilişkin karar vermekte güçlük çeker. Açık ortamlarda ML bazlı sistemler kuşkusuz ki yeni durumlarla ve çevresel değişikliklerle karşı karşıya kalacaktır. Bundan dolayı güvenlik açısından kritik sistemlerde yeniliği saptayan ve buna göre hareket eden yöntemlere ihtiyaç duyulur. İdeal durumda, güvenlik için gereken eylemi yerine getirmenin yanı sıra, sistemin yeniliği kavraması, eğitim verilerine eklemesi ve ML bileşenlerini yeniden eğitmesi beklenir.
Dördüncü olarak, derin sinir ağları gibi büyük ML modellerinin dahili bileşenlerinin anlaşılması güçtür; ağların görüntülerden bilişsel kalıpları çıkarmasını görmek kolaydır ama bu özelliklerin nasıl belirlendiği ve nasıl sınırlandığını saptamak zordur. Örneğin, model bileşenlerinin kapsamdaki boşlukları ve hataları nasıl saptadığının tespiti mümkün değildir. Milyonlarca veya milyarlarca model parametresinden ağ davranışına ilişkin açıklamalar elde edebilmenin yollarını bulmak ML araştırmalarında halen ele alınmakta olan bir konudur.
Son olarak, modeller, görüntüler üzerindeki veya fiziki çevredeki ufak değişikliklerin model tahminlerinin büyük hatalarla sonuçlanmasından sorumlu olan yanıltıcı /manipülatif saldırılara karşı açıktır. Örneğin, bir okul otobüsü görüntüsüne eklenen küçük bir sapma (pertürbasyon) AlexNet derin ağının onu devekuşu olarak sınıflandırmasına neden olmuştur. Bu tür manipülatif saldırılar çok boyutlu görüntüde, birçok pikselde ufak değişiklikler yaparak toplamda büyük ölçekli sapmaya neden olmayı kolaylaştırmaktadır. Bu tür saldırıları önlemek için ilerlemeler sağlanmakla birlikte, saldırılar da gelişmeye devam etmekte ve bunlara karşı savunmayı güçleştirmektedir.
Bu özellikleri nedeniyle ML sistemlerini güvenlik açısından kritik sistemlere entegre etmek kolay değildir. ML bileşenlerinin entegrasyonu için daha özgünleştirilmiş yaklaşımlar gerekmektedir. ML’ nin istatistiğe dayalı yapısı, örneğin bilgisayar görüşüne dayalı algılama sistemleri için yüksek hata oranı verecektir. ImageNet ölçüt olarak alındığında %5’ lik bir hata mükemmel bir performans anlamına gelmektedir. Buna karşılık mevcut güvenlik yazılım kriterleri ve doğrulama teknikleri (IEC61508-3) ile karşılaştırıldığında çok yetersizdir; zira bunlarda alt sistemlerin hata oranlarının 10 -9 olması beklenmektedir. Bu oranlara sadece istatistiksel öğrenme ile erişmek mümkün değildir. Bu durumda kritik sistemlerin daha yüksek algısal belirsizliğe göre karar vermesi gerekmektedir ki bu da güvenlik açısından YZ modellerine şüpheyle yaklaşılmasını getirmektedir. Nitekim, ISO/IEC JTC1 SC 42 gibi uluslararası standartları hazırlamaktan sorumlu olan komite ML sistemlerinin ve tekniklerinin güvenlikle ilgili mevut çoğu standartta doğrudan dikkate alınmayacağını, aynı zamanda bazı alanlardaki güvenlik standartlarında birtakım ML uygulamalarının özellikle yasaklanmasını kayda geçirmiştir. Bu standartlardan sorumlu olan kuruluşlar ML risk azaltma tekniklerini daha yeni dikkate almaya ve kodlamaya başlamıştır.
Temel bilimsel fark
Rapor’ da, ML ile güvenlik mühendisliği arasındaki mühendislik pratiği ve kültürü arasındaki farklılığın bu çalışmanın en önemli çıktısı olduğuna işaret edilmektedir. ML araştırmacılarının güvenlik açısından önemli alanlara tüm riskleri dikkatle incelemeden girmeye hazır oldukları görülmektedir. Bu yaklaşım, kamuoyunun güvenliğini sağlamak için gerekli olan özellikler tümüyle sağlanmadan sistemlerin uygulamaya alınması ile sonuçlanacaktır. ML ve güvenlik mühendisleri toplulukları arasında karşılıklı ilişkinin yetersiz olduğu görülmektedir. Bu topluluklar arasında bilimsel konferansların, sanayi ve düzenleyici örgüt, standart geliştiren kuruluş ve üniversite ortamlarında diyaloğun başlatılması son derece büyük önem taşımaktadır. Birlikte sürdürülmesi gereken çok sayıda araştırma konusu vardır; her disiplin kendi bakış açısını ortak olarak oluşturulacak gündeme getirme olanağı bulacaktır. Böylelikle ML topluluğu güvenlik meselesine daha iyi uyum sağlarken güvenlik tarafı da ML’ nin potansiyelini daha fazla güven duyarak benimseyecektir.
Rapor bu yorumlardan yola çıkarak ilk bulgusunu şöyle belirtmektedir: ML’ nin güvenlik açısından kritik siber -fiziksel sistemlere entegre edilmesi temel bir sorun ortaya çıkarmaktadır. ML ve güvenlik mühendisliği toplulukları farklı yöntemler, standartlar ve kültürlere sahiptir; eğer ML’ nin performansı ve güvenlik potansiyeli yaşama geçirilecekse bu farklılıklar arasında uzlaşma olmalıdır. Somutlaşmış bu yeni paradigmanın gerçekleşmesi esas olarak güvenlik, güvenilirlik ve itimat üzerine kurulmalıdır. YZ’ nin fiziksel dünyayı etkileyen sistemler ve uygulamalara başarılı şekilde entegre edilmesini sağlamak için, YZ ile güvenliğin kesişiminde bilimsel araştırmaların hızlandırılmasına ve yeni buluşlara dayalı gelişmelere ihtiyaç vardır. Bu amaçla karşılaşılan sorunları çözmek için kapsamlı ve kucaklayıcı diyalog oluşturulması gerekmektedir.
Yapay Zeka Renkleri’ nin bu sayısında Rapor’ da yer alan konuların bir kısmı özetlenmiş olup, gelecek sayıda ML’ nin kritik sistemlerde uygulanması halinde oluşturacağı yararlar ile yarattığı riskler, sistem mühendisliği, üzerinde çalışılması gereken araştırma konuları, bu konuda kamuoyunun güvenini kazanmak için yapılması gerekenler üzerinde durulacaktır.
Kaynak: National Academies-Sciences-Engineering-Medicine, Computer Science and Telecommunication Board, Machine Learning for Safety-Critical Applications: Opportunities, Challenges, and a Research Agenda (2025), prepublication copy, The National Academies Press, https://nap.nationalacademies.org/27970