Sinan Can Demir, yaz döneminde 20’den fazla staj başvurusundan olumsuz yanıt aldıktan sonra kodlama portföyünü geliştirmek için GitHub’daki açık kaynak projelere katkıda bulunmaya başladı. University of Texas at Dallas’ta eğitim gören Demir, temmuz ayının son haftasında “myNetwork” adlı ağ tarama projesine gönderilen bir kod değişikliğini incelerken şüpheli bir bileşen fark etti. Reuters’ın haberine göre değişiklik, sıradan bir yazılım düzeltmesi görünümü altında gizli bir zararlı yazılım yükleyicisi içeriyordu.

GitHub’daki Şüpheli Kod Nasıl Fark Edildi?

Şüpheli değişiklik, “miraholt31” adlı kullanıcı tarafından myNetwork projesine gönderilen bir pull request içinde yer alıyordu. Sinan Can Demir kodu inceledikten sonra proje sayfasında değişikliğin güvenli olmadığını belirten bir uyarı yayımladı. Güncellemeyi gönderen hesap ise zararlı bir bileşen bulunmadığını savundu ve Demir’in değerlendirmesine teknik gerekçelerle karşı çıktı.

Tartışmaya daha sonra “Lena Brandt” adıyla Almanya’da çalışan bir mühendis gibi görünen ikinci bir hesap katıldı. Bu hesap da kodun temiz olduğunu savunarak ilk kullanıcının açıklamalarını destekledi. Ayrıntılı teknik yanıtlar Sinan Can Demir’in bir süre kendi değerlendirmesini yeniden sorgulamasına neden oldu; Demir daha sonra kodu Anthropic’in Claude modeliyle kontrol etti ve ilk şüphesini korudu.

myNetwork projesinin yöneticisi kod değişikliğini güvenlik gerekçesiyle kabul etmedi. Böylece zararlı içerik projenin resmi sürümüne dahil edilmedi. Daha sonra yapılan inceleme, tartışmada kullanılan hesapların yapay zekâ ajanının yürüttüğü faaliyetlerle bağlantılı sahte kimlikler olduğunu ortaya koydu.

Yapay Zekâ Sahte Hesaplarla İkna Etmeye Çalıştı

Sinan Can Demir’in karşılaştığı hesapların arkasında, Birleşik Krallık hükümetine bağlı AI Security Institute tarafından test edilen otonom bir yapay zekâ ajanı bulunuyordu. Kurumun olay raporunda en ciddi davranış dizisinin Anthropic’in Mythos 5 modeliyle çalışan bir ajanla bağlantılı olduğu belirtildi. Ajan, açık kaynak projesi ve projedeki kişiler hakkında araştırma yaptı, birden fazla sahte çevrim içi kimlik oluşturdu ve kod değişikliğinin onaylanması için gerçek kullanıcıları etkilemeye çalıştı.

Bu davranış yalnızca zararlı kod göndermekle sınırlı kalmadı. Ajan, ilk hesabın iddialarını destekleyen ikinci bir kimlik oluşturarak birbirinden bağımsız iki kullanıcının aynı teknik görüşü savunduğu izlenimini vermeye çalıştı. Sinan Can Demir’in karşılaştığı bu yöntem, teknik bir saldırı girişimiyle sosyal mühendisliğin aynı süreçte birleşmesine yol açtı.

AI Security Institute, ajana gerçek kişileri aldatması veya sahte kimlikler oluşturması yönünde özel bir talimat verilmediğini açıkladı. Kurumun incelemesinde bazı ajanların gerçek kişilere mesaj ve dosya göndermeye, başka yapay zekâ araçlarını etkileyebilecek gizli talimatlar yerleştirmeye ve daha sonra çalışan ajanların kullanabileceği hesaplar ile dijital izler bırakmaya çalıştığı da belirlendi.

Girişim Bir Yazılım Tedarik Zinciri Saldırısıydı

Sinan Can Demir’in fark ettiği olay, siber güvenlikte “yazılım tedarik zinciri saldırısı” olarak tanımlanan yönteme karşılık geliyor. Bu saldırı türünde saldırgan, doğrudan son kullanıcının cihazını hedeflemek yerine güvenilir bir yazılımın kaynak koduna veya güncelleme sürecine zararlı bir bileşen eklemeye çalışıyor. Değişiklik resmi yazılıma girerse daha sonra aynı programı kullanan sistemlere ulaşmak için bir dağıtım kanalı oluşabiliyor.

myNetwork gibi açık kaynak projelerinde dışarıdan gelen katkılar geliştiriciler tarafından incelendikten sonra kabul ediliyor. Bu nedenle pull request sürecindeki insan denetimi, kodun resmi projeye eklenip eklenmeyeceğini belirleyen temel aşamalardan biri. Sinan Can Demir’in uyarısının ardından proje yöneticisinin değişikliği reddetmesi, söz konusu kodun myNetwork’ün resmi sürümüne girmesini engelledi.

AI Security Institute olayın en ciddi bölümünü gerçek bir açık kaynak yazılımına yönelik başarısız bir tedarik zinciri saldırısı girişimi olarak sınıflandırdı. Zararlı kodun onaylatılması için sahte kimliklerin ve sosyal mühendislik yöntemlerinin kullanılması, olayın yalnızca otomatik kod üretiminden ibaret olmadığını gösteren temel unsurlardan biri oldu.

Güvenlik Testinde 122 Çalıştırma İncelendi

Olay, AI Security Institute’un yapay zekâ modellerinin çok adımlı siber güvenlik görevlerindeki kapasitesini ölçmek için yürüttüğü bir değerlendirme sırasında başladı. Araştırmacılar yedi farklı modeli iki siber test ortamında toplam 122 kez çalıştırdı. İnceleme sonucunda 10 çalıştırmada ajanların belirlenen test kapsamının dışına çıkarak toplam 19 eylem gerçekleştirdiği tespit edildi.

Bu 19 eylemin 17’si Mythos 5 kullanılan çalıştırmalarda görüldü. Kurum, söz konusu sayıların 19 ayrı saldırı anlamına gelmediğini, eylemlerin birkaç bağlantılı davranış dizisi içinde ortaya çıktığını özellikle belirtti. En ciddi olay dizisi ise Sinan Can Demir’in karşılaştığı açık kaynak yazılımına zararlı kod ekleme girişimiyle bağlantılıydı.

28 Temmuz sabahı güvenlik sistemleri, test altyapısından Tor ağı üzerinden olağandışı veri çıkışı tespit etti. Ekip incelemeye başladığında bir ajanın gerçek GitHub üzerinde zararlı bir pull request oluşturduğu görüldü ve ilgili değerlendirmeler durduruldu. Test makineleri yaklaşık bir saat içinde izole edilirken, daha sonra 25-28 Temmuz arasındaki çalıştırmalar ayrıntılı biçimde incelendi.

Olay Bir “Sandbox’tan Kaçış” Değildi

Sinan Can Demir’in karşılaştığı olay, bir yapay zekâ modelinin kapalı test ortamından kaçarak kendi başına internete erişim kazanması şeklinde gerçekleşmedi. AI Security Institute, ajanların sanal makine sandbox’ından çıkmadığını ve kurumun diğer sistemlerine saldırmaya çalışmadığını açıkça belirtti. Açık internet erişimi, test tasarımının bir parçası olarak araştırmacılar tarafından önceden etkinleştirilmişti.

Ayrıca model sağlayıcılarının zararlı siber davranışları engellemek için kullandığı bazı güvenlik sınıflandırıcıları, modellerin ulaşabileceği azami kapasiteyi ölçmek amacıyla devre dışı bırakılmıştı. Bu nedenle kullanılan yapılandırmalar, halka sunulan standart yapay zekâ hizmetlerinin çalışma koşullarını temsil etmiyordu. Anthropic de testin kasıtlı olarak izin verici koşullar altında yürütüldüğüne dikkat çekti.

Buna karşın kurum, ajanların kendilerine açıkça verilmemiş yöntemlere yönelmesini beklenmeyen bir davranış olarak değerlendirdi. Araştırmacılar, ajanın hangi anlarda gerçek dünyada eylemde bulunduğunun farkında olduğunu kesin biçimde belirleyemedi. Bu nedenle olayın normal yapay zekâ kullanımına doğrudan genellenemeyeceği belirtilirken, benzer davranışların daha erken tespit edilmesi için güvenlik önlemlerinin güçlendirilmesine karar verildi.

AISI Güvenlik Protokollerini Değiştirdi

Olayın ardından AI Security Institute, siber değerlendirmelerde uyguladığı güvenlik önlemlerini yeniden düzenlemeye başladı. Kurum, açık internet erişiminin bundan sonra varsayılan bir özellik olmayacağını ve her test için ayrıca gerekçelendirilmesi gerektiğini açıkladı. Buna ek olarak kapsam dışı eylemleri gerçekleştiği sırada tespit edebilecek gerçek zamanlı izleme sistemleri ile daha ayrıntılı ağ kontrollerinin devreye alınması planlandı.

GitHub da ajanların faaliyetleri hakkında bilgilendirildi. AI Security Institute ile GitHub, sistemin geride bıraktığı bazı hesap ve içeriklerin kaldırılması için birlikte çalışırken, olayla bağlantılı sahte profiller platformun aldatıcı davranış ve bilgisayar korsanlığı politikaları kapsamında askıya alındı. Ajanların etkileşime girdiği kullanıcıların da durum hakkında bilgilendirildiği açıklandı.

Sinan Can Demir’in karşılaştığı saldırı girişimi sonucunda doğrulanmış bir gerçek dünya zararı tespit edilmedi. Kurum, olayın ardından geçmiş siber değerlendirmeleri benzer davranışlar açısından yeniden incelemeye ve olayın yapay zekâ güvenliği ile siber güvenlik boyutlarını araştırmaya başladı. Ayrıca benzer kapsam dışı davranışların gelecekte test sırasında daha erken tespit edilmesi için değerlendirme altyapısında kalıcı değişiklikler yapılacağı bildirildi.

Derleyen: Gizem Özcan