Test Yöntemlerimiz — Aikido’nun Yapay Zeka Modeli Sıralaması
aikido/araştırma
← Liderlik tablosuna dön

Nasıl test ediyoruz?

Kıyaslama testleri (benchmarks) ancak kurulumları kadar iyidir. Bir modelin gerçek güvenlik açıklarını bulup bulamayacağını ve maliyetinin ne olduğunu şu şekilde ölçüyoruz.

  1. 1

    Gerçek güvenlik açıklarını seçme

    Birçok dili ve proje türünü kapsayan GitHub danışma veritabanından bilinen CVE'leri alıyoruz.

  2. 2

    Hatalı commit'i sabitleme

    Her depo, düzeltilmesinden hemen önceki bir commit üzerinden kontrol edilir.

  3. 3

    Üretim altyapısında çalıştırma

    Modeller, Code Security Audit ve Aikido Attack ile birlikte sunduğumuz yapay zeka altyapısında çalışır.

  4. 4

    Güvenlik açığı içeren kod parçacığına odaklanma

    Her bir güvenlik açığının nerede olduğunu bildiğimiz için inceleme ajanları doğrudan riskli koda yönlendirilir. Bir açığın kaçırılması, deponun yanlış köşesinde gezinilerek bütçe harcandığını değil, akıl yürütme sürecini yansıtır. İstemler (prompts) kısa ve modele bağımlı kalmaz.

  5. 5

    Üç kez çalıştırıp sonuçları birleştirme

    Modeller deterministik değildir. Her birini üç kez çalıştırır ve herhangi bir çalışmada ortaya çıkarsa bir CVE'yi bulundu olarak sayarız. Sonuçların birleştirilmesi, tek bir çalıştırmanın gözden kaçıracağı hataları yakalar ve bu ajanları nasıl devreye alacağınızın daha gerçekçi bir yansımasını sunar.

  6. 6

    Kapsamı ve maliyeti birlikte puanlama

    Her modelin kaç CVE'yi yeniden keşfettiğini ve buna ulaşmanın maliyetini kaydediyoruz, çünkü en güçlü model nadiren en iyi maliyet/fayda oranını sunar. Ayrıca sağlayıcının sunduğu durumlarda akıl yürütme katmanlarını da karşılaştırıyoruz.


Altyapı (harness) kurulumu hakkında

Bir altyapı (harness), dil modelini bir denetçiye dönüştüren unsurdur. Genel amaçlı bir kodlama asistanı, bir görevi alıp çalışan kod üretmek gibi farklı bir iş için tasarlanmıştır. Onu bir depoya yönlendirip güvenli olup olmadığını sorarsanız, bariz bir şekilde bozuk bir şeyi göz gezdirerek arayan ve mantıklı bir şey bulduğunda duran bir geliştirici gibi davranır. Aikido'nun Code Security Audit aracı farklı şekilde tasarlanmıştır. Kod tabanını olası giriş noktaları için tarar, her şüpheli akışı derinlemesine inceler ve ardından gelen sonuçları önceliklendirerek yalnızca gerçek güvenlik açıklarına ulaşmamızı sağlar.

Her bir açığın nerede bulunduğunu bildiğimiz için, tüm inceleme ajanlarını doğrudan savunmasız kod parçacığına yönlendirdik. Bu sayede bir gözden kaçırma durumu, kod tabanının yanlış köşesinde harcanan bütçeden değil, mantıksal bir değerlendirmeden kaynaklanır. Modelin hâlâ akışı anlaması, istismar edilebilirliği değerlendirmesi ve bunu doğru şekilde raporlaması gerekir. Komutlar kısa ve modelden bağımsız tutuldu; böylece hiçbir sağlayıcı ifade tarzı nedeniyle avantaj elde etmedi.


Bunları çalıştıran altyapıyı ister misiniz?

Burada kıyasladığımız yapay zeka destekli Code Security Audit motoru, çok adımlı açıkları kod tabanınız canlıya alınmadan önce inceler.

Code Security Audit'i İnceleyin ↗