日期：2026-05-18 09:44:04
人类研究员做实验，从来不是把几句步骤随手拼起来。
一份真正可复现的实验 protocol，需要明确每一步做什么、对什么对象操作、用什么参数，以及步骤之间的先后依赖。
一旦顺序错了、剂量错了、对象错了，表面上看起来流畅的文本，也可能在实验台上直接失效。
然而，当前大模型虽然已经能回答大量生物医学问题，在真正生成实验方案时仍然容易出现问题：
步骤缺失、顺序混乱、操作冗余、参数幻觉，甚至把不能直接执行的建议包装成一段"看起来很专业"的说明。
更关键的是，传统文本指标如 BLEU、ROUGE、BERTScore 主要看词面相似度，难以判断一个 protocol 是否真的逻辑正确、语义忠实、可在实验中执行。
LLM-as-a-Judge 虽然更接近人类偏好，但用于强化学习训练时代价过高，也不够稳定。
针对这一问题，上海人工智能实验室、复旦大学、上海交通大学团队提出了Thoth：一个面向生物实验 protocol 生成的科学推理模型。
相关论文《Unleashing Scientific Reasoning for Bio-Experimental Protocol Generation via Structured Component-Based Reward Mechanism》已在 ICLR2026 正式发表。
一句话概括：Thoth 不是让模型"写得像 protocol "，而是让模型按照实验逻辑，生成可解析、可评估、可执行的 protocol。
现有 LLM 会写，但不一定能做
在生命科学研究中，protocol 并不是普通说明文，而是实验执行蓝图。
它需要同时满足三类要求：
粒度合适：步骤不能过粗导致关键信息丢失，也不能过细造成冗余；
顺序正确：前置处理、加入试剂、孵育、离心、检测等操作必须符合实验依赖；
语义准确：每个动作都要绑定正确的对象和参数。
举个简单例子：如果原 protocol 要求将 5mL 凝胶预混液与 25 µ L 10% APS、2.5 µ L TEMED 混合，那么缩放到 1mL 时，APS 应为 5 µ L，TEMED 应为 0.5 µ L。
在论文展示的案例中，Thoth 能给出简洁且顺序正确的结构化步骤；而对比模型虽然语言流畅，却把 TEMED 剂量写成了 5 µ L，出现了执行层面的事实错误。
剂量缩放任务中的定性案例
这类错误很难被普通文本相似度指标惩罚，因为模型可能"说得很像"，但实验上并不可靠。
因此，团队认为，要让 AI 真正辅助实验复现，需要把 protocol 生成从自由文本生成，推进到结构化科学推理。
从 12K 真实 protocol 构建 SciRecipe
为了解决数据基础不足的问题，团队首先构建了 SciRecipe。
该数据集来源于 Nature Protocols、Bio-protocol、Protocols.io 等标准化实验流程平台。
团队从超过 23K 份原始 protocol 中进行清洗、去重、结构化处理和质量控制，最终保留约 12K 条高质量数据，覆盖神经科学、分子生物学、癌症生物学等 27 个生物学子领域。
SciRecipe 不仅包含传统的 protocol 理解任务，还进一步覆盖真实实验工作流中的问题解决场景，包括：
overview：总结整体实验流程；
specific：分析局部实验步骤；
retrieval：检索所需实验信息；
planning：规划实验方案；
troubleshooting：处理实验异常；
constraint：满足约束条件；
scaling：进行剂量缩放；
safety：识别安全注意事项。
也就是说，SciRecipe 不是只让模型"读懂 protocol "，而是让模型在理解、规划、纠错、缩放、安全等环节形成完整的"理解—应用"闭环。
SciRecipe 数据构建流程核心方法：先打草稿，再填成可读步骤
Thoth 的第一个关键设计，是 Sketch-and-Fill 推理范式。
这个范式把 protocol 生成拆成三个阶段：
首先是 think，模型先分析任务目标、实验依赖和步骤必要性；
然后是 key，模型把实验方案抽象成机器可读的原子步骤，每一步都包含 action、objects、parameters 三个核心字段；
最后是 orc，模型再把这些结构化步骤改写成自然语言 protocol，保证人类研究员能够直接阅读和执行。
可以把它理解为：先让模型写"实验骨架"，再把骨架填充成完整操作说明。
这一设计的好处是，实验步骤不再是一整段难以检查的自由文本，而被拆解为可解析的结构单元。
每一步做什么、作用于什么对象、在什么条件下完成，都可以被自动检查。
更重要的是，key 和 orc 之间要求一一对应。
结构化步骤里出现的动作、对象和参数，必须在最终自然语言 protocol 中体现出来。这避免了模型只给出一个"空心框架"，却漏掉关键实验细节。
SCORE：不用 LLM 当裁判，也能判断 protocol 能不能执行
Thoth 的第二个关键设计，是 Structured COmponent-based REward，简称 SCORE。
传统评估指标往往只看生成文本和参考答案像不像。SCORE 则直接从实验可执行性的角度出发，评估三个维度：
第一是 Step Scale，判断步骤数量和粒度是否合理。步骤太少，可能漏掉关键操作；步骤太多，则可能引入冗余和噪声。
第二是 Action Order，判断动作顺序是否符合实验逻辑。对于实验来说，有些步骤即使都出现了，只要顺序错了，protocol 仍然不可执行。
第三是 Semantic Fidelity，判断动作、对象和参数是否匹配。例如" add "是否加到了正确试剂上，温度、浓度、时间等参数是否绑定到了正确对象。
Sketch-and-Fill 推理范式与 SCORE 奖励机制示意图
SCORE 还加入了两个门控机制：格式门控检查模型是否按照 think、key、orc、note 顺序输出；一致性门控检查 key 中的动作、对象、参数是否被 orc 充分覆盖。
只有通过这些基础检查的 protocol，才会进入后续奖励计算。
这样一来，模型优化目标就从"写得像参考答案"，变成了"生成结构合理、顺序正确、语义忠实、实验上更可执行的 protocol "。
三阶段训练：从知识到行动
在训练层面，Thoth 采用 Knowledge-to-Action 学习策略，让模型逐步从"掌握实验知识"过渡到"生成可执行实验方案"。
第一阶段是预训练，模型从大规模 protocol 文本中学习实验语言、材料、设备和流程逻辑。
第二阶段是监督微调，模型在 Sketch-and-Fill 格式数据上学习如何按照结构化范式组织输出，并完成参数填充、步骤排序、错误修正等任务。
第三阶段是强化学习，团队使用 GRPO 算法，并以 SCORE 作为奖励信号，引导模型在实验可执行性上继续优化。
这种训练路径与人类研究员的学习过程相似：先积累知识，再学习规范操作，最后通过反馈不断改进决策。
实验结果：小模型也超过一批大模型
实验中，团队在 SciRecipe-Eval 上评估了 Thoth，并与闭源模型、开源模型、推理模型和科学大模型进行对比。
结果显示，Thoth 在所有主要指标上取得 SOTA 表现。
相比基座模型 Qwen3-8B，Thoth 平均性能提升 17.78%；Thoth-mini 平均性能提升 22.01%。
即使面对更大规模的闭源模型，Thoth 仍然表现突出，平均分超过 ChatGPT-4o 3.69%。
在与最强开源模型 DeepSeek-V3 的对比中，Thoth 在 Semantic-Alignment、Order-S 和 Step-MATCH 上分别提升 4.88%、4.06% 和 11.29%，说明其优势主要体现在实验步骤对齐、逻辑顺序和动作保真上。
SciRecipe-Eval 主结果
不仅如此，在 HLE、LAB-Bench、PubMedQA 等更广泛的科学基准上，Thoth 同样能泛化到 protocol 生成之外的生物医学推理任务，相比同基座模型取得明显提升。
更广泛科学基准上的泛化结果
消融实验进一步证明，Sketch-and-Fill、SCORE 和 Knowledge-to-Action 三阶段训练都不是"锦上添花"。
三阶段 Knowledge-to-Action 训练策略消融
其中，去掉步骤粒度奖励后，模型的顺序严格匹配和步骤匹配大幅下降；去掉动作顺序约束后，模型更容易生成顺序混乱的方案；如果用普通语义相似度奖励替代 SCORE，虽然部分词面指标可能变好，但 protocol 可执行性明显下降。
这说明，对于科学实验生成来说，真正重要的不是"文本像不像"，而是"能不能照着做"。
让 AI 从"会答题"走向"会做实验"
这项工作将生物实验 protocol 生成从普通文本生成，推进到面向实验执行的结构化科学推理。
通过 SciRecipe，团队构建了覆盖 27 个生物学子领域、包含理解与问题解决任务的大规模数据基础；通过 Sketch-and-Fill，模型学会先组织实验骨架，再生成自然语言步骤。
通过 SCORE，训练和评估都直接对齐步骤粒度、动作顺序和语义保真。
通过 Knowledge-to-Action 训练，Thoth 进一步从实验知识走向可执行方案生成。
从更长远看，Thoth 代表了一类新的科学 AI 助手方向：它不只是回答"实验怎么做"，而是尝试把科学知识转化成可检查、可复现、可执行的实验行动。
对于生命科学研究来说，这意味着 AI 有机会从文献问答工具，进一步走向实验复现助手、protocol 规划助手，乃至未来自动化实验系统中的核心推理模块。
论文链接：https://arxiv.org/abs/2510.15600
代码链接：https://github.com/InternScience/Thoth
Thoth 模型 API：https://scphub.intern-ai.org.cn/detail/19
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
我们正在招聘一名眼疾手快、关注 AI 的学术编辑实习生 � �
感兴趣的小伙伴欢迎关注 � � 了解详情
� � 点亮星标 � �
科技前沿进展每日见
广升网提示：文章来自网络，不代表本站观点。
