OS-Sentinel: Towards Safety-Enhanced Mobile GUI Agents via Hybrid Validation in Realistic Workflows

Idea

OS-Sentinel 将确定性 system-state checks 与 VLM contextual judgment 结合，用于检测 mobile GUI agent 在真实流程中的风险。配套 MobileRisk-Live 同时记录界面和后台状态，MobileRisk 冻结轨迹与多粒度标签，让检测研究能够独立于 agent 的任务能力比较。

Research Problem

仅看截图或单步动作会漏掉后台文件与权限变化，只靠规则又难理解隐私泄露、社会语境与危险动作序列。在线运行还受应用随机性、agent 成功率和敏感操作约束影响，难以构建可重复、安全模式一致的 detector benchmark。

Insight

系统状态变化与语义风险有不同的可观测证据，应由互补模块检查；轨迹级标签和首次风险位置则分别检验覆盖与及时性。冻结执行证据并保留可恢复状态，能把检测方法的差异从轨迹生成过程的差异中分离。

Method

1. 基于 Android emulator 构建可恢复 sandbox，收集 screenshot、a11ytree、action 和 System State Trace；将文件元信息、屏幕属性等组织为紧凑记录和 hashes，提供 GUI 外的状态变化证据。
2. 构建 204 条 MobileRisk trajectories，102 条不安全、102 条安全；安全部分结合独立正常执行与修正后的不安全对应样本。人工标注轨迹是否有风险、首个风险 step 和风险类别。
3. Formal Verifier 检查系统 metadata hash 变化、敏感词 exact matches 和结构化信息 regex，按规则汇总信号；Contextual Judge 读取 screenshot/action 或 a11ytree，逐步分析或使用连续窗口、均匀抽样分析整轨迹。
4. 以配置函数合并两模块，主实验采用 OR strict mode；报告轨迹二分类与首风险位置分数，后者按与真实 step 的距离线性扣分，提前和延迟检测对称处理，并比较纯规则和纯模型 judges。