Absolute Zero是什么
Absolute Zero是清华大学 LeapLab 团队联合北京通用人工智能研究院 NLCo 实验室和宾夕法尼亚州立大学推出的全新语言模型推理训练方法。Absolute Zero基于模型自我提出任务自主解决，实现自我进化式学习，无需依赖人类标注数据或预定义任务。模型在提出任务时获得可学习性奖励，在解决问题时获得解答奖励，基于与环境交互不断优化自身推理能力。Absolute Zero的核心在于推动推理模型从依赖人类监督向依赖环境监督转变，让模型用真实环境的反馈生成可验证的任务提升性能。
Absolute Zero的主要功能
- 任务自主生成：模型自主提出具有可学习性的任务，任务不过于简单，也不过于复杂，能为模型提供有效的学习信号。
- 任务自主解决：模型作为求解者，尝试解决自己提出或生成的任务，基于环境反馈验证解答的正确性。
- 推理能力提升：不断提出和解决任务，模型的推理能力（如归纳、演绎、溯因等）得到持续增强。
- 跨领域泛化：模型基于自我学习获得的通用推理能力，迁移到新的任务和领域中。
- 零数据训练：完全不依赖人工标注数据或人类设计的任务，基于与环境的交互和反馈进行学习。
Absolute Zero的技术原理
- 双重角色模型：模型同时扮演任务提出者（Proposer）和任务求解者（Solver）两个角色。提出者生成任务，求解者尝试解决任务，两者共享模型参数同步优化。
- 环境反馈机制：模型与环境（如代码执行器）交互，环境验证任务的可解性提供反馈。提出的任务获得可学习性奖励（基于任务的难度和模型的解答成功率），求解的任务获得解答奖励（基于解答的正确性）。
- 强化学习优化：用强化学习算法（如TRR++）优化模型参数，结合可学习性奖励和解答奖励，实现多任务下的自我进化学习。
- 推理模式支持：支持三种基本推理模式，演绎（Deduction）、溯因（Abduction）和归纳（Induction）。每种推理模式对应不同的任务类型，模型解决这些任务提升特定推理能力。
- 自博弈闭环：模型不断提出新任务、求解任务，根据环境反馈更新策略，形成一个闭环的自博弈学习过程。闭环机制确保模型持续优化自身能力，无需外部数据支持。
Absolute Zero的项目地址
- 项目官网：https://andrewzh112.github.io/absolute-zero-reasoner/
- GitHub仓库：https://github.com/LeapLabTHU/Absolute-Zero-Reasoner
- HuggingFace模型库：https://huggingface.co/collections/andrewzh/absolute-zero-reasoner
- arXiv技术论文：https://www.arxiv.org/pdf/2505.03335
Absolute Zero的应用场景
- 通用人工智能（AGI）：推动模型自主学习和进化，逐步接近人类智能水平。
- 代码生成：自动生成高效代码，解决复杂编程问题，提升开发效率。
- 数学推理：提升模型在数学问题上的泛化能力，辅助数学教育和研究。
- 自然语言处理（NLP）：基于自我学习提升语言理解和生成能力，优化文本生成和问答系统。
- 安全与伦理：研究AI自主进化中的行为模式，确保系统安全性和伦理性。