SubQ 1.1 Small: ხელოვნური ინტელექტის ახალი ეტაპი 12 მილიონი ტოკენის დამუშავებით

ხელოვნური ინტელექტის სფეროში არსებული ერთ-ერთი მთავარი გამოწვევა დიდი მოცულობის ინფორმაციის — კოდების, ფინანსური ანგარიშების თუ იურიდიული დოკუმენტების — ერთიანად გააზრებაა. ტრადიციული მოდელები ამისთვის დამხმარე სტრატეგიებს იყენებდნენ, თუმცა SubQ-მ ეს შეზღუდვა ახალი ტექნოლოგიით დაძლია.

კომპანიამ ოფიციალურად წარადგინა SubQ 1.1 Small, რომელიც Subquadratic Sparse Attention (SSA) არქიტექტურას ეფუძნება. ეს მოდელი შექმნილია იმისთვის, რომ გამოთვლითი სიმძლავრის კვადრატული ზრდის პრობლემა გადაჭრას.

მუშაობის პრინციპი და ეფექტურობა

SubQ 1.1 Small-ის მთავარი უპირატესობა ეფექტურობაშია. 1 მილიონი ტოკენის დამუშავებისას მოდელი 64.5-ჯერ ნაკლებ გამოთვლით რესურსს მოითხოვს, ვიდრე სტანდარტული მოდელები, ხოლო სიჩქარე 56-ჯერ აღემატება FlashAttention-2-ის მაჩვენებელს.

ტესტირებებმა აჩვენა, რომ მოდელი შესანიშნავად უმკლავდება „ნემსი თივის ზვინში“ (Needle-In-A-Haystack) ტიპის დავალებებს 12 მილიონ ტოკენამდე კონტექსტის პირობებშიც კი. ეს იმას ნიშნავს, რომ მას შეუძლია ზუსტად იპოვოს და დააკავშიროს ფაქტები უზარმაზარ დოკუმენტებში.

გამოყენების სფეროები

• ფინანსური ანალიზი: მოდელი აანალიზებს ფინანსურ ანგარიშებსა და კონტრაქტებს მთლიანობაში, ნაცვლად ცალკეული ნაწილების შეჯამებისა.
• იურიდიული საქმიანობა: საუბარია დოკუმენტის სტრუქტურულ გააზრებაზე, სადაც პირობები და გამონაკლისები სხვადასხვა გვერდზეა გაბნეული.
• პროგრამული უზრუნველყოფა: მთლიანი კოდის ბაზის ჩატვირთვა ერთ კონტექსტურ ფანჯარაში, რაც არქიტექტურულ დაგეგმვასა და რეფაქტორინგს ამარტივებს.

SubQ-ის გუნდმა მოდელის მომზადებისას გამოიყენა ეტაპობრივი გაფართოების მეთოდი და დაახლოებით ერთი ტრილიონი ტოკენის დამატებითი წვრთნა ბუნებრივად გრძელ ტექსტებზე, როგორიცაა წიგნები და პროგრამული კოდები. შედეგები დამოუკიდებლად გადამოწმდა კომპანია Appen-ის მიერ.

სამომავლოდ, დეველოპერები გეგმავენ მოდელების უფრო ფართო ხაზის გამოშვებას, რომელიც 2-დან 12 მილიონამდე ტოკენის მხარდაჭერას უზრუნველყოფს. პირველი პარტნიორები უკვე იწყებენ ტექნოლოგიის ტესტირებას.