ხელოვნური ინტელექტის ოპტიმიზაციის მიმართულებით მნიშვნელოვანი პროგრესი დაფიქსირდა. Fable 5-ის გამოყენებით, Gemma 4 მოდელმა WebGPU-ზე წამში 255 ტოკენის (tok/s) სიჩქარეს მიაღწია. ეს შედეგი ნათლად აჩვენებს, თუ რამდენად ეფექტური შეიძლება იყოს ვებ-ტექნოლოგიები კომპლექსური მოდელების მუშაობისას.

პროექტი, რომელიც WebML-ის საზოგადოებამ Hugging Face-ის პლატფორმაზე განახორციელა, მიზნად ისახავს მაღალი სიჩქარის მიღწევას ბრაუზერის გარემოში. Gemma 4-ის ბირთვების (Kernels) ოპტიმიზაციამ შესაძლებელი გახადა გამოთვლითი რესურსების მაქსიმალური ათვისება.

3 ფოტო — დააჭირე გასადიდებლად

ეს მიღწევა პირდაპირ უკავშირდება „Fast Gemma Challenge“-ის ინიციატივას. აღნიშნული პლატფორმა აერთიანებს დეველოპერებს, რომლებიც მუშაობენ მოდელების მუშაობის აჩქარებაზე. მრავალაგენტიანი თანამშრომლობა უზრუნველყოფს, რომ Gemma-ს ტიპის მოდელები მომხმარებლისთვის ხელმისაწვდომი გახდეს მინიმალური დაყოვნებით.

WebGPU-ს გამოყენება გადამწყვეტია, რადგან ის საშუალებას აძლევს ვებ-აპლიკაციებს, პირდაპირ დაუკავშირდნენ გრაფიკულ პროცესორს (GPU). შედეგად, ბრაუზერში გაშვებული მოდელები აღარ საჭიროებენ მძლავრ სერვერულ ინფრასტრუქტურას, რაც ინდუსტრიისთვის ახალი შესაძლებლობების კარია.

აღნიშნული პროექტები, როგორიცაა „Gemma 4 WebGPU Kernels“, ღია კოდის საზოგადოების ძალისხმევის შედეგია. დეველოპერები აქტიურად ცვლიან გამოცდილებას, რათა AI-მოდელების ინფერენსის სიჩქარე კიდევ უფრო გაზარდონ.

3 ფოტო — დააჭირე გასადიდებლად

ტექნოლოგიური პროგრესი ამ მიმართულებით კვლავ გრძელდება. Hugging Face-ის სივრცეებში მიმდინარე აქტივობები ადასტურებს, რომ ბრაუზერზე დაფუძნებული AI ხდება რეალობა და არა მხოლოდ ექსპერიმენტული მიმართულება.

საბოლოო ჯამში, Fable 5-ის შედეგი 255 tok/s, არის დასტური იმისა, რომ ოპტიმიზაციის სწორი მეთოდებით შესაძლებელია არსებული აპარატურული რესურსების გაცილებით ეფექტურად გამოყენება.