DiscoveryRSI 是一项关于研究智能体如何从自己的研究经历中持续改进的方法研究。论文先给出“有价值、可检验的研究假设”的操作性定义:围绕重要的不确定性提出有证据支撑的主张,并配有可行的研究方案、明确的判定标准和备择解释。
难点有两处。把一个假设变成可以执行的研究,需要落实数据要求和验证标准,同时不改变原本的研究问题。从研究经历中学习,还要知道该强化哪些贡献:一个假设最后得到的评价,并不说明是哪一步起了作用。可能一个智能体提出了解释,另一个加了关键的对照,第三个根据新证据修改了研究方案;如果只保留最终的提案,这些贡献就看不见了。
DiscoveryRSI 用多智能体演化搜索发展研究假设树,保留每个提案和每次修订背后的证据与决策,选中的计算研究被编译成可执行的 Harbor 任务。这些研究记录支撑三种相互衔接的改进机制:假设贡献度优化(hypothesis credit optimization)把对研究质量的评估归到有记录的具体贡献上,用来训练 DiscoveryRSI-27B;harness 回放(harness replay)从记录中找出有效的策略和反复出现的失败,改进智能体的工作流;重新发现(rediscovery)把通过检验的更新用到新的研究问题上,产生下一轮学习所需的经验。论文同时提出 DFM-Bench,从假设、修订、发展路径和整轮研究几个层面评估研究质量和进展。
论文在临床与人群健康、治疗靶点优先排序、疾病机制和人群多组学四个生命科学领域上评测,另用一个电池领域检验方法能否用到生命科学之外。从研究经历中学到的,主要是把研究方案写得更能检验:两轮自我改进后,假设的平均质量分从 4.86 提高到 5.39,提高集中在可检验性上:可证伪性从 4.00 到 6.20,备择解释从 4.44 到 5.98,数据能否回答问题从 3.73 到 4.99。推进或修复已有假设的 episode 占比也从 77.5% 提高到 91.7%,另起新问题的从 21.7% 降到 5.0%。
专家指导下的人工评审中,27 名具有生物医学或临床研究背景的评审者盲评了 292 份提案。DiscoveryRSI-27B 每次修订平均提高 0.07 分,GPT-5.6 Sol 为 0.03,GPT-6 Luna 为 −0.01。与模型截止日期之后发表的研究对照,DiscoveryRSI-27B 有 6.3% 的假设能找到可据以继续研究的具体联系,例如可用的实验设计、对照、测量方法或可检验的证据缺口,在参与对照的模型中最高。
这些结果各有边界。两轮自我改进后,重要性和新颖性的自动评分有所下降,提高主要体现在研究方案的设计上;人工评审是初步结果,修订的比较在研究树内部进行;与已发表研究的对照是描述性比较,各组的样本量和截止日期不同,研究者是否会真的采纳这些假设,还需要前瞻性的追踪。
技术报告、GitHub 上的代码,以及 Hugging Face 上的模型和数据集均已公开;DiscoveryRSI 的直播也即将开始。