ტექნოლოგიურ სამყაროში მოულოდნელი ამბავი გავრცელდა: TensorZero, ერთ-ერთი ყველაზე პერსპექტიული ღია კოდის მქონე LLMOps პლატფორმა, მოულოდნელად გაქრა საჯარო სივრციდან. კომპანიამ, რომელმაც ახლახან 7.3 მილიონი დოლარის საწყისი კაპიტალი მოიზიდა, საკუთარი საცავი დაარქივა და საჯარო წვდომა შეზღუდა.

TensorZero წარმოადგენდა პლატფორმას, რომელიც კომპანიებს ეხმარებოდა დიდი ენობრივი მოდელების (LLM) მართვაში, მონიტორინგსა და ოპტიმიზაციაში. მისი ფუნქციონალი აერთიანებდა კარიბჭეს (Gateway), დაკვირვებადობას (Observability), შეფასებასა და ექსპერიმენტებს.

რა იყო TensorZero?

პლატფორმა მომხმარებლებს სთავაზობდა ერთიან API-ს, რომელიც ყველა მთავარ LLM პროვაიდერთან მუშაობდა. დეველოპერები მას იყენებდნენ მოდელების შესამოწმებლად, A/B ტესტირებისთვის და მონაცემთა ნაკადების ოპტიმიზაციისთვის. სისტემა, რომელიც Rust-ზე იყო აგებული, 1 მილიწამზე ნაკლებ ლატენტობას უზრუნველყოფდა.

პროექტის მასშტაბი იმაზე მეტყველებდა, რომ მას იყენებდნენ როგორც სტარტაპები, ისე Fortune 10-ის სიაში მყოფი გიგანტები. დღევანდელი მონაცემებით, ის გლობალური LLM API ხარჯების დაახლოებით 1%-ს ფარავდა, რაც საკმაოდ მაღალი მაჩვენებელია ასეთი ტიპის სერვისისთვის.

რა ბედი ელის მის ფუნქციონალს?

პლატფორმის შესაძლებლობები მოიცავდა ავტომატიზებულ AI ინჟინერს, TensorZero Autopilot-ს, რომელიც მონაცემების ანალიზით პრომპტებსა და მოდელებს ოპტიმიზებდა. მომხმარებლებს შეეძლოთ სისტემის გამოყენება როგორც დამოუკიდებელი, ისე სხვა ინსტრუმენტებთან კომბინაციაში.

კომპანიის გუნდი დაკომპლექტებული იყო გამოცდილი მკვლევრებით Stanford-იდან, CMU-დან და სხვა წამყვანი უნივერსიტეტებიდან. მიუხედავად ამისა, პროექტის მოულოდნელმა არქივირებამ გააჩინა კითხვები იმის შესახებ, თუ რა ხდება შიდა სამზარეულოში.

LLM შეფასება და მონიტორინგი

პლატფორმის ერთ-ერთი მთავარი ღირებულება იყო მისი უნარი, შეეფასებინა მოდელების მუშაობა ჰევრისტიკისა და AI მსაჯების საშუალებით. ეს მიდგომა დეველოპერებს საშუალებას აძლევდა, ეფექტურად გაეკონტროლებინათ AI აგენტების ქმედებები.

ამ დროისთვის გაურკვეველია, დარჩება თუ არა ტექნოლოგია ღია კოდის სახით, თუ კომპანია ბიზნეს მოდელის ცვლილებას გეგმავს. დეველოპერები, რომლებიც TensorZero-ზე იყვნენ დამოკიდებულნი, ახლა ალტერნატივების ძიებაში არიან.

Evaluation » UIEvaluation » CLI
docker compose run --rm evaluations \ --evaluation-name extract_data \ --dataset-name hard_test_cases \ --variant-name gpt_4o \ --concurrency 5 Run ID: 01961de9-c8a4-7c60-ab8d-15491a9708e4 Number of datapoints: 100 ██████████████████████████████████████ 100/100 exact_match: 0.83 ± 0.03 (n=100) semantic_match: 0.98 ± 0.01 (n=100) item_count: 7.15 ± 0.39 (n=100)