PersonalAlign: Hierarchical Implicit Intent Alignment for Personalized GUI Agent with Long-Term User-Centric Records

Idea

PersonalAlign 将个性化 GUI 分为两层 implicit intent：从含糊指令补齐稳定偏好，以及仅凭当前时间/场景提出惯例建议。AndroidIntent 提供长时用户记录与这两类标注，HIM-Agent 用持续更新的分层 memory 将原始记录压缩成偏好与 routine prototypes。

Research Problem

常规 GUI 测试给完整指令，短期动作个性化或 proactive suggestion 研究又彼此分离。长历史既含一次性意图也含稳定模式，直接检索所有记录易受噪声和长尾影响，无法确定哪些经验可补齐当前请求，哪些足以支持主动建议。

Insight

语义重复不足以代表稳定偏好，还应检查实际动作是否一致；稳定偏好又不自动构成 routine，还需频次和用户状态规律。故作者将 semantic/action aggregation 与 state-based filtering 分层处理，提取记忆后为原执行 Agent 提供上下文，无需替换其基础执行策略。

Method

1. 从 Fingertip20K 的 91 名用户两个月记录中，按时间以前 80% 为历史、后 20% 为待标注执行记录；每条包含指令、时间、场景、动作和截图，保证个性化依据来自此前行为。
2. 对候选检索 top-k 相似历史，结合语义相似及时间/场景分布筛选重复模式；人工对照历史复核 intent 类别，并从 GPT 生成的省略偏好指令中选择合理版本，最终形成 775 个 preference 与 215 个 routine 样本。
3. HIM-Agent 按天 streaming aggregation，将一致记录加入 Record Prototype。Execution-based Preference Filter 结合 embedding cosine、词项 Jaccard 与 action trajectory 的 DTW 对齐，选择与簇内记录平均距离最小的 intent/action 作为中心。
4. State-based Routine Filter 进一步考虑 prototype 的状态稳定度、记录频次和执行一致性，超过 proactive confidence 边界后纳入 Routine Memory；偏好查询返回中心 intent/action，主动建议返回中心意图及最常出现的时间/场景。
5. 比较完整与含糊指令下的 GUI Agent，离线用用户动作作 gold 计算 Type、SSR，并用更重早期错误的 CSR 近似关键偏好步骤失误；分别检验执行个性化与状态触发建议。