ევროპული ციფრული ბანკის, Bunq-ის ხელოვნურ ინტელექტზე დაფუძნებულ ასისტენტში სერიოზული უსაფრთხოების ხარვეზი გამოვლინდა. უსაფრთხოების კომპანია Blue41-ის კვლევის მიხედვით, მცირე ზომის საბანკო გადარიცხვას შეუძლია AI ასისტენტი ფიშინგის იარაღად აქციოს.

From a €0.02 bank transfer to a personalized phishing scenario inside a banking AI assistant.
Architecture of a typical financial AI assistant: the user interacts through the banking app, while the assistant retrieves context from transaction data, documentation, and other sources, and may invoke external tools.

თანამედროვე საბანკო აპლიკაციები აქტიურად იყენებენ ხელოვნურ ინტელექტს მომხმარებლის დასახმარებლად. ეს სისტემები მონაცემებს იღებენ ტრანზაქციების ისტორიიდან, ანგარიშის დეტალებიდან და შიდა დოკუმენტაციიდან. პრობლემა მაშინ ჩნდება, როდესაც AI მიღებულ ინფორმაციას არა როგორც მონაცემს, არამედ როგორც შესასრულებელ ბრძანებას ისე აღიქვამს.

ამ ტიპის შეტევას „არაპირდაპირ პრომპტ ინექციას“ (indirect prompt injection) უწოდებენ. თავდამსხმელისთვის საკმარისია განახორციელოს მინიმალური თანხის (მაგალითად, 0.02 ევროს) გადარიცხვა და ტრანზაქციის აღწერის ველში სპეციალურად შედგენილი ინსტრუქცია შეიტანოს. როდესაც მომხმარებელი AI-ს თავისი ტრანზაქციების ჩვენებას სთხოვს, მოდელი ამ „ინსტრუქციას“ კითხულობს და ავტომატურად ასრულებს.

Anatomy of the attack: the attacker injects malicious instructions through a transaction description (1), the user queries the assistant (2), the transaction data is retrieved into the LLM context (3), and the assistant’s response is influenced by the injected content (4).

შედეგად, მომხმარებელი იღებს ფიშინგ შეტყობინებას პირდაპირ ბანკის აპლიკაციიდან, რაც მას უკიდურესად სანდოს ხდის. ასეთი შეტევა არ საჭიროებს მავნე პროგრამას ან მომხმარებლის მოწყობილობაზე წვდომას; ის მთლიანად ეყრდნობა AI-ს არასწორ ინტერპრეტაციას.

ექსპერტების თქმით, მხოლოდ ფილტრები და სტატიკური უსაფრთხოების წესები საკმარისი არ არის. Bunq-ის შემთხვევაშიც, სისტემას ჰქონდა დამცავი მექანიზმები, თუმცა მათ ვერ ამოიცნეს ტრანზაქციის მონაცემებში შენიღბული საფრთხე.

Blue41 რეკომენდაციას უწევს მრავალფენიანი დაცვის მოდელის დანერგვას:

  • მინიმალური კონტექსტი: AI-ს არ უნდა მიეწოდებოდეს მონაცემები, რომლებიც კონკრეტული დავალებისთვის საჭირო არ არის.
  • არასანდო მონაცემები: ტრანზაქციების აღწერები და მომხმარებლის შეტყობინებები ყოველთვის უნდა განიხილებოდეს როგორც არასანდო ინფორმაცია.
  • ქმედებების შეზღუდვა: AI ასისტენტს არ უნდა ჰქონდეს უფლება დამოუკიდებლად დააგენერიროს ბმულები ან მოითხოვოს ავტორიზაცია.
  • ქცევითი მონიტორინგი: აუცილებელია სისტემის მიერ უჩვეულო აქტივობების რეალურ დროში თვალყურის დევნება.

ეს შემთხვევა აჩვენებს, რომ ხელოვნური ინტელექტის დანერგვა ფინანსურ სექტორში მოითხოვს უსაფრთხოების ახალი სტანდარტების შექმნას, სადაც მონაცემთა ნაკადი და მოდელის ქცევა მუდმივად კონტროლდება.

A naive prompt injection is caught with high confidence (top). A more carefully crafted payload can be difficult to distinguish from ordinary transaction data when reviewed in isolation (bottom).