წლების განმავლობაში პროგრამული უზრუნველყოფის ინდუსტრიამ ისწავლა, რომ კოდის ხაზების რაოდენობა დეველოპერის ეფექტიანობის გაზომვის ყველაზე ცუდი გზაა. დღეს კი, ხელოვნური ინტელექტის ეპოქაში, ტექნოლოგიური კომპანიები სწორედ ამ მეთოდს უბრუნდებიან და მას AI-ის წარმატების მთავარ დასტურად გვთავაზობენ.

Google აცხადებს, რომ მათი კოდის 75% AI-ით არის გენერირებული, Anthropic და OpenAI კი მსგავს მაჩვენებლებზე საუბრობენ. Cursor-ი კი ამტკიცებს, რომ დღეში 100 მილიონზე მეტ კოდის ხაზს წერს. ეს არის წმინდა წყლის მოცულობითი მონაცემები, რომლებიც რეალურ შედეგებს არ ასახავს.

შედეგები თუ რაოდენობა?

ადრე ინდუსტრია შედეგებზე ორიენტირებულ მეტრიკებს იყენებდა. მაგალითად, GitHub-ის კვლევა ირწმუნებოდა, რომ AI-ის გამოყენებით დეველოპერები დავალებებს 55%-ით უფრო სწრაფად ასრულებდნენ. ეს იყო კონკრეტული, შემოწმებადი მონაცემი. დღევანდელი „75%-ით AI-ის მიერ დაწერილი კოდი“ კი ისეთი მაჩვენებელია, რომელიც ვერასდროს „ჩავარდება“, რადგან ის არაფერს ამბობს იმაზე, გაუმჯობესდა თუ არა საბოლოო პროდუქტი.

რას გვეუბნება რეალური კვლევები?

კვლევების შედეგები ურთიერთგამომრიცხავია. METR-ის ადრინდელი კვლევები მიუთითებდა, რომ გამოცდილი დეველოპერები AI-ის გამოყენებისას რეალურად უფრო ნელა მუშაობდნენ. მოგვიანებით, მონაცემების ინტერპრეტაცია შეიცვალა, რადგან დეველოპერები AI-ის გარეშე მუშაობაზე უარს ამბობენ, რაც გაზომვას ართულებს.

NBER-ის კვლევამ, რომელიც 6 000-მდე აღმასრულებელს მოიცავდა, აჩვენა, რომ კომპანიების 69% აქტიურად იყენებს AI-ს, თუმცა 90%-მა ვერ დააფიქსირა პროდუქტიულობის რაიმე საგრძნობი ზრდა. კონსენსუსი ამჟამად დაახლოებით 10%-იან ორგანიზაციულ მოგებაზე ჩერდება.

რატომ არის ეს საშიში?

როდესაც კომპანიები, როგორიცაა Block-ი ან Atlassian-ი, თანამშრომლებს ამცირებენ და ამას AI-ის ეფექტიანობით ამართლებენ, ისინი ეყრდნობიან მეტრიკებს, რომლებიც არ ასახავს რეალურ პროცესებს. თუკი ბიზნესი პროდუქტიულია, მას ყოველთვის აქვს შესაძლებლობა, ეს რესურსი მეტი ღირებულების შესაქმნელად გამოიყენოს, ვიდრე უბრალოდ გაათავისუფლოს ხალხი.

მნიშვნელოვანია, რომ ტექნოლოგიურმა კომპანიებმა და მენეჯერებმა AI-ის მიღწევები გაზომონ არა „ტოკენებით“ ან კოდის ხაზებით, არამედ კლასიკური მეთოდებით: DORA მეტრიკებით, პროდუქტის საიმედოობით და მომხმარებლისთვის მოტანილი რეალური სარგებლით. წინააღმდეგ შემთხვევაში, ჩვენ ვიღებთ გადაწყვეტილებებს, რომლებიც ეფუძნება ლამაზად შეფუთულ სტატისტიკას და არა რეალობას.