RSI-Anything 是一项关于递归自我改进(Recursive Self-Improvement, RSI)的方法研究,以 JEPA-Anything 作为跨领域的预测基础。
递归自我改进希望把每一轮交互得到的经验,变成系统在下一轮行动和学习时还能用上的持久改进。难点有两处:外部反馈的代价高,运行测试、做实验都要成本,能拿去真实检验的候选有限;策略一旦更新,它提出的候选就变了,世界模型原本可靠的预测未必还可靠。策略和世界模型各自变好,并不保证两者组合起来也变好。
RSI-Anything 的做法是:用世界模型的预测挑选候选,决定哪些值得拿去做外部评估、哪些经验用于学习;真实反馈回来后,用它改进策略或智能体工作流;只有当预测被判定为不可靠、且数据和预算都足够时,才尝试更新世界模型。两者可以按各自的节奏更新,新版本先通过各自的检查,组合起来还要在相同条件下与当前组合比较,达到预先设定的标准才保留。保留下来的这一组策略与世界模型,决定下一轮会提出什么候选、积累什么经验,改进由此一轮接一轮地延续。
论文在通用计算任务(代码修复、GUI 交互)、实验室操作规划和实验科学(反应条件优化)上做了评测,并给出一个免疫学的端到端应用,串起智能体工作流的演化、免疫世界模型的构建、带自我纠错的分析,以及前瞻性的治疗假设生成。
代码修复中,代码模型固定为 ReasonFlux-Coder-7B,每轮提出四个候选修改、只执行其中一个。在 200 道 CodeContests 题目、三个随机种子上,世界模型引导的选择把最终隐藏测试通过率从静态验证器的 26.3% 提高到 29.2%,再用执行反馈更新世界模型后达到 31.2%,每道题的在线测试调用次数基本相同。GUI 交互中,MiniWoB++ 勾选框任务的成功率从 51% 提高到 99%,平均操作步数减少 39.4%;在 OSWorld 上,任务成功率相对初始智能体提升 18.4%,相对 RLAnything 提升 5.5%(均为相对提升)。
实验室操作规划中,同一个 4B 策略在一次自我改进过程中先后产生的五个版本,在 LabHorizon F200 Level-2 上的得分从 21.80% 逐步提高到 46.01%。反应条件优化中,两组 Suzuki–Miyaura 偶联反应筛选在相同实验次数下的最佳产率都高于贝叶斯优化,其中流动化学 LC–MS 筛选在 40 次实验后的平均最佳产率为 96.15%,贝叶斯优化为 82.16%。免疫学应用最后提名了一个前瞻性的治疗假设:SIRPα 抑制联合 IL-36γ 轴调节,有待实验检验。
这些评测分别检验了框架的不同部分。策略与世界模型能否在同一任务中多轮持续地相互促进,还需要联合的多轮评测来确认;实验室结果评估的是与实验方案对齐的规划,真实执行需要在相应设备和流程上验证;化学结果限于报告的两组筛选和实验预算。以上是在论文选定的领域和任务上的观察。
技术报告、GitHub 代码仓库与 Hugging Face 上的模型均已公开。