Sharingan: Het extraheren van de gebruikersactiesequentie uit desktopopnames.

Sharingan: Extract User Action Sequence from Desktop Recordings

November 13, 2024

Auteurs: Yanting Chen, Yi Ren, Xiaoting Qin, Jue Zhang, Kehong Yuan, Lu Han, Qingwei Lin, Dongmei Zhang, Saravan Rajmohan, Qi Zhang

cs.AI

Samenvatting

Video-opnames van gebruikersactiviteiten, met name desktop-opnames, bieden een rijke bron van gegevens om gebruikersgedrag te begrijpen en processen te automatiseren. Ondanks vooruitgang in Vision-Language Modellen (VLM's) en hun toenemend gebruik in videoanalyse, blijft het extraheren van gebruikersacties uit desktop-opnames een onderbelicht gebied. Dit artikel adresseert deze lacune door twee nieuwe VLM-gebaseerde methoden voor het extraheren van gebruikersacties voor te stellen: de Directe Frame-Gebaseerde Benadering (DF), die bemonsterde frames rechtstreeks invoert in VLM's, en de Differentiële Frame-Gebaseerde Benadering (DiffF), die expliciete frameverschillen incorporeert die zijn gedetecteerd via computervisietechnieken. We evalueren deze methoden met behulp van een basiszelf samengestelde dataset en een geavanceerde benchmark aangepast van eerdere werken. Onze resultaten tonen aan dat de DF-benadering een nauwkeurigheid van 70% tot 80% behaalt bij het identificeren van gebruikersacties, waarbij de geëxtraheerde actiesequenties opnieuw af te spelen zijn via Robotic Process Automation. We constateren dat hoewel VLM's potentieel tonen, het incorporeren van expliciete UI-veranderingen de prestaties kan verminderen, waardoor de DF-benadering betrouwbaarder wordt. Dit werk vertegenwoordigt de eerste toepassing van VLM's voor het extraheren van gebruikersactiesequenties uit desktop-opnames, waarbij nieuwe methoden, benchmarks en inzichten worden bijgedragen voor toekomstig onderzoek.

English

Video recordings of user activities, particularly desktop recordings, offer a rich source of data for understanding user behaviors and automating processes. However, despite advancements in Vision-Language Models (VLMs) and their increasing use in video analysis, extracting user actions from desktop recordings remains an underexplored area. This paper addresses this gap by proposing two novel VLM-based methods for user action extraction: the Direct Frame-Based Approach (DF), which inputs sampled frames directly into VLMs, and the Differential Frame-Based Approach (DiffF), which incorporates explicit frame differences detected via computer vision techniques. We evaluate these methods using a basic self-curated dataset and an advanced benchmark adapted from prior work. Our results show that the DF approach achieves an accuracy of 70% to 80% in identifying user actions, with the extracted action sequences being re-playable though Robotic Process Automation. We find that while VLMs show potential, incorporating explicit UI changes can degrade performance, making the DF approach more reliable. This work represents the first application of VLMs for extracting user action sequences from desktop recordings, contributing new methods, benchmarks, and insights for future research.