Reflex-ის AI-ზე დაფუძნებულ აპლიკაციების მშენებელ პლატფორმაში Python-ის კოდის მასიური გენერაცია ხდება. პროცესის დროს ხშირად წარმოიქმნება წვრილმანი შეცდომები, როგორიცაა არასწორი პარამეტრები ან მოძველებული სინტაქსის გამოყენება. ამ ხარვეზების გამოსასწორებლად გუნდს საკუთარი linter-ის შექმნა დასჭირდა.

პრობლემის სათავე: რატომ არის ast.walk ნელი?

საკუთარი ინსტრუმენტის შემუშავებისას, დეველოპერებმა აღმოაჩინეს, რომ პროცესს ყველაზე მეტად ast.walk ანელებდა. სტანდარტული მიდგომა, რომელიც Python-ის გენერატორებს ეყრდნობა, ძალიან არაეფექტური აღმოჩნდა. თითოეული კვანძის დამუშავებას დაახლოებით 285 ნანოწამი სჭირდებოდა, რაც ათასობით CPU ციკლს უტოლდება.

პირველ ეტაპზე, გუნდმა სცადა გენერატორების ჩანაცვლება სიებით და კოდის ოპტიმიზაცია Python-ის დონეზე. ამან მცირე, დაახლოებით 50%-იანი გაუმჯობესება გამოიღო, თუმცა ეს საკმარისი არ იყო. დეველოპერებმა გააცნობიერეს, რომ Python-ის შეზღუდვების გამო, საჭირო იყო უფრო რადიკალური მიდგომა.

გარღვევა: Rust-ის გამოყენება და მეხსიერების ოპტიმიზაცია

გადაწყვეტილება Rust-ზე გადასვლა გახდა. მანქანურ კოდში ლოგიკის გადატანამ და PyO3-ის გამოყენებამ, ტიპების ზედმეტი შემოწმების გარეშე, შედეგები მკვეთრად გააუმჯობესა.

  • პირდაპირი წვდომა: Python-ის __dict__-ზე პირდაპირი წვდომით დეველოპერებმა თავიდან აიცილეს ზედმეტი გამოძახებები.
  • ქეშირება: ast.AST-ის ქვეკლასების მეხსიერების მისამართების შენახვამ და isinstance-ის ჩანაცვლებამ 93%-იანი ეფექტურობა მოიტანა.
  • წინასწარი გამოთვლები: 2KB ზომის ცხრილის გამოყენებამ, რომელიც L1 ქეშში თავსდება, პროცესი კიდევ უფრო დააჩქარა.

საბოლოო ჯამში, ყველა ამ ოპტიმიზაციამ, მათ შორის _fields-ის წინასწარ გამოთვლამ და ზედმეტი ატრიბუტების იგნორირებამ, 220-ჯერადი აჩქარება უზრუნველყო. ეს მიღწევა იმის დასტურია, რომ კრიტიკულ ადგილებში დაბალი დონის პროგრამირების ენების ინტეგრაციას შეუძლია Python-ის მუშაობა რადიკალურად შეცვალოს.