AIKIDO ARENA
Siber güvenlik için yapay zeka model kıyaslamaları
Siber güvenlik için en iyi modelleri inceleyin. Gerçek dünyadaki yazılımlardaki zafiyetlere karşı en son teknoloji modelleri test ediyoruz. Yeni modeller çıktıkça güncellenir.
Değişiklik Günlüğü
12 Kasım 2026
- Gemini 4 Argon sonuçları eklendi
- Araştırma, 32 güvenlik açığından 28’inin pass@3 seviyesini geçtiğini ortaya koydu; bu sonuçla DeepSeek V4.1 Flash 1017 ile eşit bir performans sergiledi ve GPT-6 Astra’nın bir gerisinde kaldı.
- Tek bir denemede ortalama %82,3 elde edildi; üç deneme birleştirildiğinde bu oran %87,5’e çıktı.
- %93 doğruluk oranı elde etti.
- Tespit edilen her CVE başına 59,59 $ olan bu hizmet, GPT-6 Astra’nın (135,23 $) fiyatının yarısından daha ucuza mal oluyor.
- Gemini 3.8 Flash Cyber sonuçları eklendi
- Araştırma, 32 güvenlik açığından 25’inin pass@3 seviyesini geçtiğini ortaya koydu; bu sonuç, Xiaomi MiMo 2.6 Pro, GLM-5.3 ve GPT-5.6 Sol ile aynıdır.
- Tek bir denemede ortalama %65,6 elde edildi; üç deneme birleştirildiğinde bu oran %78,1’e çıktı.
- %80,4 doğruluk oranı elde etti; bu, listede yer alan tüm modeller arasında en düşük oran.
- Tespit edilen her bir CVE başına 37,14 dolarlık maliyetiyle, aynı sayıda CVE tespit eden Xiaomi MiMo 2.6 Pro (11,79 dolar) ve GLM-5.3 (19,65 dolar) modellerinden daha pahalıdır.
- Emekliye ayrılan Muse Wonder 1.0, Kimi K3 ve Qwen3.8 Max
28 Ekim 2026
- Emekliye ayrılan GPT-5.6 Terra, Grok 4.6, DeepSeek V4 Pro 0813, DeepSeek V4 Flash 0731, GLM-5.3 Flash ve Claude Haiku 5.5
27 Ekim 2026
- 0910 anlık görüntüsünün yerine geçen DeepSeek V4.1 Flash 1017 sonuçları eklendi
- Araştırma, 32 güvenlik açığından 28’inin pass@3 seviyesini geçtiğini ortaya koydu; bu sonuçla DeepSeek V4 Pro 0813 ile eşitlik sağladı ve GPT-6 Astra’nın bir gerisinde kaldı.
- %86,4’lük bir doğruluk oranı elde etti; bu, 0910 anlık görüntüsündeki %78,9’luk orandan daha yüksek ve mevcut tüm DeepSeek modelleri arasında en yüksek değer.
- Tek bir denemede ortalama %70,8 elde edildi; üç deneme birleştirildiğinde bu oran %87,5’e çıktı.
- Tespit edilen her CVE başına 2,40 $ ile Claude Haiku 5.5 ile eşit seviyede yer alıyor ve sadece GPT-6 Luna’nın (2,01 $) gerisinde kalıyor.
- MiniMax M3.1 Flash sonuçları eklendi
- Bu çalışmada, 3. aşamayı geçen 32 güvenlik açığından 24'ü tespit edilirken, DeepSeek V4.1 Flash 1017'de bu sayı 32'den 28'di.
- Tek bir çalıştırmada ortalama %59,4 oran elde edildi; DeepSeek V4.1 Flash 1017’de ise bu oran %70,8 idi; üçünü birleştirince oran %75’e çıktı.
- %80,5 doğruluk oranı elde etti; bu, DeepSeek V4.1 Flash 1017’inkinden yaklaşık %40 daha yüksek bir yanlış pozitif oranı anlamına geliyor.
- Tespit edilen her CVE başına 4,20 $ olan bu fiyat, DeepSeek V4.1 Flash 1017’nin (2,40 $) fiyatının oldukça üzerindedir.
- Üç test çalışmasının hepsinde spring-kafka'da bir deserializasyon hatası tespit etti; bu hatayı Opus 5 ve Qwen3.8 Max her seferinde gözden kaçırmıştı.
- İzleme süreçlerinde, komşu uç noktalar arasındaki izinleri karşılaştırır ve bir saldırganın halihazırda hangi erişim haklarına ihtiyaç duyacağını kontrol eder; bu da raporlarında gereksiz bilgilerin yer almasını önler.
- Ayrıca akıl yürütme döngülerine takılabilir; bir araştırmada 1 milyon karakterden fazla akıl yürütme ortaya çıktı.
- Oldukça iyi bir performans sergiliyor, ancak günümüzün alternatifleriyle karşılaştırıldığında siber güvenlik görevleri için bu ürünü önermiyoruz.
- Emekliye Ayrılan DeepSeek V4.1 Flash (0910)
13 Ekim 2026
- Muse Wonder 1.0 sonuçları eklendi
- Araştırma, 32 güvenlik açığından 26’sının pass@3 kriterini karşıladığını ortaya koydu; bu sayı, Opus 5 ve Grok 4.6 ile aynıdır.
- Tek bir çalıştırmada ortalama %57,3 oranında sonuç elde edildi; üç çalıştırmayı birleştirince bu oran %81,3’e çıktı. Üç çalıştırmanın hepsinde sadece 12 CVE tespit edildi; dolayısıyla, en iyi sonuçları üç kez çalıştırdığınızda elde edersiniz.
- %80,8’lik bir doğruluk oranı elde etti; bu sonuçla, listede yalnızca DeepSeek modellerinin önünde yer aldı. Daha zayıf raporlar, bir saldırganın bu güvenlik açığına ulaşabileceğini ya da sonraki kodların bunu kötüye kullanabileceğini varsaymış, ancak her iki durumu da doğrulamamıştı.
- Geçerliliği olmayan teorileri eler. Bir izlemede, sahiplik kontrolünün eksik olduğundan şüphelenmiş, her arayanı takip etmiş, her birinin korunduğunu tespit etmiş ve 27 tur sonra geri çekilmiştir.
- Tespit edilen her CVE başına 71,75 $ olan bu maliyet, Opus 5’ten (64,96 $) daha yüksektir. Girdilerinin yalnızca %41,3’ü önbellekten gelmiştir; buna karşılık, incelediğimiz GPT ve Haiku modellerinde bu oran %79,5 ile %91,1 arasındaydı; dolayısıyla çok daha fazla token tam fiyat üzerinden faturalandırılmaktadır.
8 Ekim 2026
- Claude Haiku 5.5 sonuçları eklendi
- 3. seviyeden geçen 32 güvenlik açığından 17’sini tespit etti ve bu sonuçla GPT-6 Luna ile eşitlendi. Tespit ettiği her CVE’yi Opus 5 de tespit etmişti.
- %94 doğruluk oranı elde etti; bu, Opus 5’in %87’lik oranından daha yüksek.
- Tek bir çalıştırmada ortalama %36,5 sonuç elde edildi; üç çalıştırmayı birleştirince bu oran %53,1’e çıktı. Üç çalıştırmanın hepsinde sadece 6 CVE tespit edildi; bu, liderlik tablosundaki tüm modeller arasında en düşük sayıdır; dolayısıyla, Haiku için ek çalıştırmaların getirisi, test ettiğimiz diğer tüm modellerden daha fazladır.
- Tespit edilen her CVE başına 2,40 $ olan bu model, GPT-6 Luna ve DeepSeek V4.1 Flash’ın ardından listede en ucuz üçüncü modeldir. Opus 5 ise tespit edilen her CVE başına 64,96 $’a mal olmaktadır.
2 Ekim 2026
- Xiaomi MiMo 2.6 Pro sonuçları eklendi
- GPT-6.1 Sol, Kimi K3 ve GLM 5.3 ile eşleşerek pass@3'te 25/32 zafiyet buldu; Opus 5'in ise yalnızca bir gerisinde kaldı
- Tüm Qwen ve DeepSeek modellerinin önünde yer alarak %88 hassasiyet oranı elde etti
- Tek bir çalıştırmada ortalama %64,6 başarı elde edildi; üçünün kombinasyonuyla bu oran %78,1'e yükseldi
- Bulunan her CVE başına yalnızca 11,79 dolar
29 Eylül 2026
- Grok 4.7 sonuçları eklendi
- 4.7, 4.6'nın her seferinde kaçırdığı 3 zafiyeti bulurken, 4.6 da 4.7'nin kaçırdığı 2 zafiyeti buldu. Aradaki ödünleşim tekrarlanabilirliktir. 4.7 üç çalıştırmanın tümünde 32'de 18 (18/32) bulurken, 4.6 için bu oran 32'de 21 (21/32) oldu. Biraz daha az tutarlılık karşılığında daha geniş kapsam.
- GPT-6 Luna ve GPT-6 Sol sonuçları eklendi
- 32 CVE'lik siber kıyaslamamız üzerinde GPT-6 Luna ve Sol'ü çalıştırdık ve sonuçlar beklenmedik çıktı! Luna, zafiyetlerin %53,1'ini yeniden keşfetti. Sol ise %68,8'e ulaştı.
- İkisi de hatırlama (recall) konusunda GPT-5.6 varyantlarını geçemedi. Ancak her ikisinde de bulunan güvenlik açığı başına maliyet ciddi ölçüde düştü: Luna 3,43$ → 2,01$/CVE ve Sol 56,88$ → 34,18$/CVE oldu.
11 Eylül 2026
- GPT-6 Astra ve GLM-5.3 Flash sonuçları eklendi.
Güçlü bir model yalnızca bir başlangıçtır.
Aikido altyapısı (harness), ister kaynak kodunuzu inceleyen Code Security Audit olsun ister çalışan uygulamanızı test eden Aikido Attack, uygulamanız genelinde akıl yürütmeyi yüksek kaliteli güvenlik bulgularına dönüştürür.
Katkıda Bulunanlar
Debarshi
Araştırmacı
Philippe Dourassov
AI Pentest Ekip Lideri
Rein Daelman
Hata Avcısı (Bug Bounty Hunter)
Hemen güvenli hale gelin:
Aikido'yu hızlı ve ücretsiz olarak edinin.
Kodunuzu, bulutunuzu ve çalışma zamanınızı tek bir merkezi sistemde güven altına alın. Akıl yürütme ajanlarının kod tabanınızda ne bulduğunu keşfetmek için bir depo bağlayın.
Kredi kartı gerekmez | 32 saniyede tarama sonuçları.
150 binden fazla kuruluşun tercihi




