Ready Jurist One: Benchmarking Language Agents for Legal Intelligence in Dynamic Environments

Idea

J1-ENVS 将法律 agent 放入由多个角色互动的动态环境，覆盖 consultation、document drafting 和 judicial adjudication；J1-EVAL 同时评价最终输出与执行过程。任务要求 agent 主动获取角色持有的信息、推进规定程序并完成交付，从而检查法律知识能否转化为连续的行动能力。

Research Problem

静态法律 QA 容易把 statute recall 与实际 legal intelligence 混为一谈，但真实流程涉及信息不对称、不同当事人、文书结构和程序约束。论文研究如何构造有事实依据且能持续交互的环境，以及如何发现最终答案指标看不到的 procedural failures；研究场景主要依据中国法律实践。

Insight

Outcome correctness 与 procedural competence 是相关但不同的维度，最终判断看似合理并不证明中间询问、证据收集和程序推进完整。将同一案件的不同事实分配给不同 roles，能够测试 agent 是否真正通过 interaction 获取所需信息。与此同时，环境角色和部分 evaluator 仍由 LLM 驱动，模拟行为与评分 fidelity 是结论的边界，不能把 benchmark 分数等同于真实执业能力。

Method

1. Role construction：从裁判文书和法律材料提取当事人、claims、evidence、事实和法律依据，分别配置给 layperson 与 professional roles；为非专业角色加入基于 Big Five 的行为描述，形成相互关联而非独立虚构的角色。
2. Environment hierarchy：设置 knowledge questioning、consultation、complaint drafting、defence drafting、civil court 和 criminal court 六种场景，分别定义参与者、信息获取方式、输出目标及分阶段 interaction logic。
3. Dual-metric evaluation：Outcome-oriented metrics 检查回答、文书内容或裁判结果；process-oriented metrics 检查格式、程序阶段完成、reasoning 和法条引用，结合 exact match、rule-based checking 与 LLM scoring。
4. Agent comparison：让不同通用和法律专用 LLM 扮演被测角色，以 GPT-4o 或 Qwen3-32B 驱动环境，并分析跨场景难度和 stage failures；另外检查 environment behavior consistency，避免把模拟器偏差完全归因于被测 agent。