Data + AI Summit-ზე Databricks-მა წარადგინა Lake Transactional/Analytical Processing (LTAP) — მონაცემთა დამუშავების ახალი არქიტექტურა, რომელიც რადიკალურად ცვლის საწარმოო მონაცემთა მართვის პრინციპებს. სიახლე მიზნად ისახავს ტრანზაქციების, ანალიტიკის და რეალურ დროში მიმდინარე ნაკადების ერთიან, მართვად გარემოში გაერთიანებას.

მონაცემთა მართვის ახალი სტანდარტი

ბოლო ოთხი ათწლეულის განმავლობაში, ტრანზაქციული და ანალიტიკური დატვირთვები სხვადასხვა სისტემაში ნაწილდებოდა. ტრადიციული მოდელი მოითხოვდა რთულ და მყიფე ETL (Extract, Transform, Load) კონვეიერებს, რომლებიც მონაცემთა დუბლირებას და დამატებით ხარჯებს იწვევდა.

Databricks-ის აღმასრულებელი დირექტორის, ალი ღოდსის თქმით, ხელოვნური ინტელექტის აგენტების ეპოქაში ეს მიდგომა ვეღარ პასუხობს გამოწვევებს. აგენტები მონაცემებს ადამიანზე 50-ჯერ უფრო სწრაფად ამუშავებენ, რაც ინფრასტრუქტურას მთავარ შემაფერხებელ ფაქტორად აქცევს.

რა არის LTAP-ის უპირატესობა?

  • მონაცემთა გაერთიანება: LTAP უარს ამბობს მონაცემთა დუბლირებაზე და მათ ერთიან საცავში, პირდაპირი წვდომის რეჟიმში ათავსებს.
  • დამოუკიდებელი მასშტაბირება: ტრანზაქციული და ანალიტიკური პროცესები ერთმანეთისგან დამოუკიდებლად, სრული წარმადობით მუშაობს.
  • ღია სტანდარტები: არქიტექტურა თავსებადია Postgres-თან და ისეთ ღია ფორმატებთან, როგორიცაა Iceberg და Delta.

LTAP არ ცდილობს სხვადასხვა ტიპის დატვირთვა ერთ ძრავში ძალით მოაქციოს, როგორც ეს HTAP-ის შემთხვევაში იყო. ნაცვლად ამისა, ის მონაცემებს უშუალოდ საცავის დონეზე აერთიანებს, რაც უზრუნველყოფს მონაცემების მყისიერ ხელმისაწვდომობას ანალიტიკისთვის.

Lakebase-ის განვითარება

LTAP-ის ფუნდამენტს წარმოადგენს Lakebase, რომელიც გასულ წელს დაინერგა. ახალი განახლებები მას კიდევ უფრო მეტ ფუნქციონალს სძენს, მათ შორის:

  • კროს-ქლაუდ და კროს-რეგიონული აღდგენა: მონაცემთა მაღალი მდგრადობა კრიტიკული ოპერაციებისთვის.
  • Git-ის სტილის დატოტვა (branching): შესაძლებელს ხდის უსაფრთხო ექსპერიმენტებს პროდუქტიულ მონაცემებზე.
  • ავტონომიური ოპერაციები: აგენტებს შეუძლიათ მონიტორინგი, ინდექსების შეთავაზება და შეცდომების აღმოფხვრა.

ამ ცვლილებებით Databricks ცდილობს, საწარმოებს მისცეს საშუალება, ააშენონ უფრო მოქნილი და ეფექტური მონაცემთა ინფრასტრუქტურა, რომელიც მზად იქნება AI-ზე დაფუძნებული სამუშაო პროცესებისთვის.