← Sıralamaya geri dön

Nasıl test ediyoruz?

Performans testlerinin kalitesi, kurulumlarına bağlıdır. Bir modelin gerçek güvenlik açıklarını tespit edip edemediğini ve bunun ne kadara mal olduğunu nasıl ölçtüğümüzü aşağıda açıklıyoruz.

1. 1

   Gerçek güvenlik açıklarını seçin

   GitHub danışma veritabanından, birçok programlama dili ve proje türünü kapsayan bilinen CVE’leri derliyoruz.

2. 2

   Hassas commit’i sabitle

   Her bir repo, düzeltilmesinden hemen önceki bir commit anında kontrol edilir.

3. 3

   Üretim donanımı içinde çalıştırın

   Modeller, Code Security Audit ve Aikido Attack ile birlikte sunduğumuz aynı yapay zeka platformu içinde çalışır.

4. 4

   Sorunlu kod parçasını işaretleyin

   Her bir güvenlik açığının nerede bulunduğunu bildiğimiz için, araştırma ajanları doğrudan bu güvenlik açığı bulunan kodlara yönelir. Bir ıskalama, mantıksal bir hatayı yansıtır — deponun yanlış köşesinde dolaşarak boşa harcanan bir bütçe değil. Komut satırları kısa tutulur ve modelden bağımsızdır.

5. 5

   Üç kez çalıştırın, ardından sonuçları birleştirin

   Modeller belirsizdir. Her bir modeli üç kez çalıştırıyoruz ve herhangi bir çalıştırmada ortaya çıkarsa o CVE’yi bulunmuş olarak sayıyoruz. Verilerin birleştirilmesi, tek bir çalıştırmada gözden kaçabilecek hataları ortaya çıkarır ve bu, bu ajanları nasıl devreye alacağınızın daha gerçekçi bir yansımasıdır.

6. 6

   Puan kapsamı ve maliyeti bir arada

   Her modelin kaç tane CVE’yi yeniden tespit ettiğini ve buna ulaşmanın ne kadara mal olduğunu kaydediyoruz; zira en güçlü model nadiren en uygun maliyetli model olur. Ayrıca, satıcıların açıkladığı durumlarda akıl yürütme kademelerini de karşılaştırıyoruz.

---

Kablo demeti kurulumuyla ilgili olarak

Bir dil modelini denetçiye dönüştüren şey, bir denetim çerçevesidir. Genel amaçlı bir kodlama asistanı ise farklı bir iş için tasarlanmıştır: bir görevi alıp çalışır durumda bir kod üretmek. Bir depoya yönlendirip güvenli olup olmadığını sorarsanız, açıkça bozuk olan bir şeyi gözden geçiren bir geliştirici gibi davranır ve makul bir şey bulduğunda durur. Aikido'nun Kod Güvenliği Denetimi ise farklı bir şekilde tasarlanmıştır. Kod tabanını potansiyel giriş noktaları açısından tarar, şüpheli her akışı derinlemesine inceler ve ardından elde edilen sonuçları sınıflandırır; böylece yalnızca gerçek güvenlik açıklarını görürüz.

Her bir güvenlik açığının nerede bulunduğunu bildiğimiz için, her bir araştırma ajanını doğrudan güvenlik açığı bulunan kod parçasına yönlendirdik. Böylelikle, bir gözden kaçma durumu, kod tabanının yanlış bir köşesinde boşa harcanan bütçeden ziyade, mantıksal bir hatayı yansıtıyor. Modelin yine de akışı anlaması, istismar edilebilirliği değerlendirmesi ve bunu doğru bir şekilde raporlaması gerekiyor. Komut satırları kısa tutuldu ve modelden bağımsız hale getirildi; böylece hiçbir satıcı, kullanılan ifadelerden dolayı avantaj elde etmedi.

---