ინსტაგრამი აქტიურად ებრძვის ნებისმიერი ტიპის ავტომატიზაციას. პლატფორმის HTML სტრუქტურა ხშირად იცვლება, რაც ართულებს კლასიკური მეთოდებით, როგორიცაა DOM სელექტორები, პროცესების ავტომატიზაციას. ნებისმიერი სკრიპტი, რომელიც ამ მიდგომას ეყრდნობა, რამდენიმე კვირაში მწყობრიდან გამოდის.

Hearts move between posts. The positions are never the same

თუმცა, არსებობს ალტერნატივა. კოდი მანქანებისთვისაა, მაგრამ ინტერფეისი ადამიანებისთვისაა შექმნილი. ვიზუალური ელემენტები, როგორიცაა „მოწონების“ ღილაკი, ყოველთვის უნდა იყოს მკაფიო და ადვილად შესამჩნევი მომხმარებლისთვის. სწორედ ამიტომ, კომპიუტერულ ხედვას შეუძლია ინტერფეისთან ურთიერთობა ისე, როგორც ამას ადამიანი აკეთებს.

ტექნიკურად ეს პროცესი მარტივია: ვიღებთ ეკრანის ანაბეჭდს, კომპიუტერული ხედვის ალგორითმით ვპოულობთ სასურველ ობიექტს, განვსაზღვრავთ მის კოორდინატებს და ვაგზავნით კურსორს დაწკაპუნებისთვის.

პრობლემა ისაა, რომ ინტერფეისი დინამიურია. პოსტის წარწერა, ლოკაცია თუ ფოტოების რაოდენობა ცვლის „მოწონების“ ღილაკის პოზიციას. ამიტომ, ფიქსირებული კოორდინატების გამოყენება შეუძლებელია. გამოსავალი კომპიუტერული ხედვაა, რომელიც რეალურ დროში აანალიზებს ეკრანს.

თავდაპირველად, მთელი ეკრანის სკანირება რთულია, რადგან მილიონობით პიქსელში „ხმაურის“ გამო ბევრი ცრუ დადებითი შედეგი (false positive) ჩნდება. ძიების არეალის შესამცირებლად, აუცილებელია ეკრანზე ისეთი სტაბილური ნიშნულების პოვნა, როგორიცაა პოსტის ზედა მარჯვენა კუთხეში არსებული სამი წერტილი ან ქვედა პანელი. ამ ორი წერტილის დახმარებით, პროგრამა ზუსტად განსაზღვრავს იმ ზონას, სადაც „მოწონების“ ღილაკი უნდა იყოს.

შემდეგი ეტაპი „მოძრავი ფანჯრის“ (sliding window) ტექნიკაა, რომელიც კონკრეტულ სექტორში ეძებს გულის სიმბოლოს. მას შემდეგ, რაც სისტემა პოულობს ყველა პოტენციურ კანდიდატს, ხდება ფილტრაცია. ვინაიდან ინსტაგრამზე ყველა გული ერთ ვერტიკალურ ხაზზეა განლაგებული, ნებისმიერი ობიექტი, რომელიც ამ ხაზს სცილდება, ავტომატურად იგნორირებულია.

მიუხედავად ამ ტექნოლოგიური მიღწევისა, ექსპერიმენტმა აჩვენა, რომ ინსტაგრამის ავტომატური დაცვის სისტემები ძალიან ეფექტურია. მიუხედავად კურსორის მოძრაობის სიმულაციისა, დაწკაპუნებებს შორის შემთხვევითი პაუზებისა და სხვა დახვეწილი მეთოდებისა, ტესტირებისთვის გამოყენებული ანგარიში რამდენიმე დღეში დაიბლოკა. ინსტაგრამი დიდ რესურსს ხარჯავს ბოტების დეტექციაში, რაც მსგავსი ავტომატიზაციის მცდელობებს პრაქტიკულად შეუძლებელს ხდის.