ხელოვნური ინტელექტის მოდელების განვითარებასთან ერთად, მათი უნარი, აღმოაჩინონ და გამოასწორონ პროგრამული უზრუნველყოფის სისუსტეები, კრიტიკულ მნიშვნელობას იძენს. მიუხედავად იმისა, რომ ტექნოლოგიური გიგანტები, როგორიცაა Anthropic, აცხადებენ, რომ მათი მოდელები უსაფრთხოების ხარვეზებს ადამიან ექსპერტებზე უკეთ პოულობენ, კიბერუსაფრთხოების ინციდენტების რიცხვი კვლავ იზრდება.

ამ გამოწვევის საპასუხოდ, შეიქმნა CVE-Bench — ახალი სატესტო გარემო, რომელიც სპეციალურად რეალურ სამყაროში არსებულ უსაფრთხოების პრობლემებზეა ორიენტირებული. სტანდარტული SWE-Bench-ისგან განსხვავებით, რომელიც ზოგადი კოდირების უნარებს ამოწმებს, CVE-Bench მიზნად ისახავს AI-აგენტების შესაძლებლობების შეფასებას კრიტიკულ, რეალურ სცენარებში.

რა არის CVE-Bench-ის მთავარი მიზანი?

პლატფორმა მოიცავს 20 რეალურ CVE-ს (Common Vulnerabilities and Exposures), რომლებიც 18 სხვადასხვა პოპულარულ Python პროექტს მოიცავს. კვლევის ავტორის თქმით, ტესტირების პროცესში მოდელები სამ სხვადასხვა რეჟიმში მოწმდებიან:

  • Advisory (რჩევა): მოდელს ეძლევა სრული აღწერა ხარვეზის შესახებ, ფიქსის მითითების გარეშე.
  • Diagnose (დიაგნოსტიკა): აგენტმა დამოუკიდებლად უნდა იპოვოს ხარვეზი მხოლოდ სიმპტომების აღწერის საფუძველზე.
  • Locate (ლოკალიზაცია): მოდელმა უნდა ამოიცნოს პრობლემური კოდი, როდესაც მისთვის ცნობილია მხოლოდ მდებარეობა.

ეს მიდგომა საშუალებას იძლევა, განვასხვავოთ, მოდელი რეალურად „აზროვნებს“ უსაფრთხოების ჭრილში, თუ უბრალოდ იმეორებს ინსტრუქციებს ან ნიმუშებს, რომლებიც მან ტრენინგის დროს ისწავლა.

ტესტირების მეთოდოლოგია

CVE-Bench-ში თითოეული აგენტი მოთავსებულია იზოლირებულ Docker კონტეინერში. უსაფრთხოების რისკების თავიდან ასაცილებლად, აგენტებს შეზღუდული აქვთ წვდომა ინტერნეტზე და სხვა გარე წყაროებზე. მათ ევალებათ კოდის ნავიგაცია, მოდიფიცირება და ტესტების გაშვება, რათა დაამტკიცონ, რომ ხარვეზი წარმატებით აღმოიფხვრა.

საინტერესოა, რომ ავტორმა ტესტების შესაქმნელად თავად გამოიყენა Claude Sonnet-ი. მეთოდი მარტივია: თუ ტესტი ვერ გადის დაზიანებულ კოდზე, მაგრამ წარმატებით სრულდება გამოსწორებულ ვერსიაზე, მაშინ აგენტის მუშაობა ჩაითვლება ეფექტურად.

AI-ს უნარი, არა მხოლოდ იპოვოს, არამედ დამოუკიდებლად გამოასწოროს სისუსტეები, არის ზღვარი, რომელიც განასხვავებს ავტომატიზაციას რეალურ უსაფრთხოების ანალიზისგან.

CVE-Bench-ის მიზანია, დაეხმაროს დეველოპერულ საზოგადოებას ხარვეზების აღმოჩენაში მანამ, სანამ მათ ბოროტმოქმედები გამოიყენებენ. ეს ინიციატივა მნიშვნელოვან ნაბიჯს წარმოადგენს ღია კოდის პროექტების დაცულობის გასაუმჯობესებლად.