ხელოვნური ინტელექტის სფეროში ერთ-ერთი ყველაზე აქტუალური საკითხი ჰიპერპარამეტრების ოპტიმიზაციაა (HPO). მკვლევარებმა შეისწავლეს, შეუძლიათ თუ არა დიდ ენობრივ მოდელებს (LLM) ჩაანაცვლონ კლასიკური ალგორითმები, როგორიცაა CMA-ES და TPE, ამ პროცესში.

კვლევისთვის გამოყენებულ იქნა autoresearch-ის საცავი, რომელიც მოდელებს კოდის პირდაპირი რედაქტირების საშუალებას აძლევს. შედეგებმა აჩვენა, რომ დაფიქსირებულ საძიებო სივრცეში კლასიკური მეთოდები სტაბილურად აჯობებენ LLM-ებს. მთავარი პრობლემა ისაა, რომ ენობრივი მოდელები ხშირად ვერ ახერხებენ ოპტიმიზაციის პროცესის მდგომარეობის ზუსტად თვალყურის დევნებას.

აღსანიშნავია, რომ მაშინაც კი, როდესაც მოდელებს კოდის პირდაპირი რედაქტირების უფლება მისცეს, მათ ვერ შეძლეს კლასიკური ალგორითმების შედეგების გაუმჯობესება. ექსპერიმენტებში მონაწილეობდნენ ისეთი მოწინავე მოდელები, როგორებიცაა Claude Opus 4.6 და Gemini 3.1 Pro Preview, თუმცა მათაც გაუჭირდათ კონკურენცია.

ჰიბრიდული მიდგომა: Centaur-ის დაბადება

მკვლევარებმა შექმნეს ჰიბრიდული სისტემა, სახელწოდებით Centaur. ის აერთიანებს კლასიკური ალგორითმების ინტერპრეტირებად შიდა მდგომარეობას (საშუალო ვექტორი, ნაბიჯის ზომა, კოვარიანტული მატრიცა) ენობრივი მოდელების ცოდნასთან.

Subjects:Machine Learning (cs.LG); Machine Learning (stat.ML)
Cite as:arXiv:2603.24647 [cs.LG]
(or arXiv:2603.24647v5 [cs.LG] for this version)
https://doi.org/10.48550/arXiv.2603.24647 arXiv-issued DOI via DataCite

Centaur-მა აჩვენა საუკეთესო შედეგები. საინტერესოა, რომ 0.8B პარამეტრის მქონე მოდელიც კი საკმარისი აღმოჩნდა იმისთვის, რომ აჯობოს როგორც სუფთა LLM მეთოდებს, ისე ტრადიციულ ალგორითმებს.

დასკვნის სახით, მკვლევარები მიუთითებენ, რომ LLM-ები ყველაზე ეფექტური სწორედ კლასიკური ოპტიმიზატორების დამატებად და არა მათ შემცვლელად არის. სრულად ავტონომიური კოდის რედაქტირება კვლავ მოითხოვს უფრო დიდ მოდელებს, რათა მათ კონკურენცია გაუწიონ კლასიკურ მიდგომებს.