字节跳动Seed团队发现：AI智能体学习新任务的速度惊人增长

这项由字节跳动Seed团队完成的研究以预印本论文的形式于2026年7月7日公开发布论文编号为arXiv:2607.05155v1有兴趣深入了解的读者可以通过该编号在arXiv平台查询完整论文。通讯作者为钟树对应邮箱为zhongshubytedance.com项目主页为edge-bench.org。当我们谈论人工智能的进步时大多数人脑海中浮现的是一个画面工程师们往模型里塞进越来越多的数据用越来越强大的计算机训练然后模型就变聪明了。这种进步方式就像是提前把所有知识背进脑子里再去参加考试。但真实世界的工作方式并不是这样的。一个刚入职的新员工不可能在入职前就把公司内部所有的规章制度、私有代码库和客户档案都背下来——他必须在实际工作中边做边学从每一次成功和失败中积累经验。字节跳动Seed团队关心的正是后面这件事当AI智能体被部署到真实工作环境中之后它能不能像人一样通过与环境的互动来持续提升自己更关键的是这种边干边学的能力遵循某种可以预测的规律吗为了回答这个问题研究团队构建了一套名为EdgeBench的测试平台涵盖134个来自真实世界的超长时限任务让五款顶尖AI模型在这些任务上持续工作长达12小时总计积累了约38000小时的智能体与环境交互数据。最终他们发现了一个令人惊讶的结论AI智能体在环境中的学习进步曲线精确地遵循一种叫做对数S形曲线的数学形态拟合精度极高R?值达到0.998——几乎完美。与此同时他们还发现从2025年9月到2026年4月前沿AI模型从环境中学习的速度大约每三个月翻一倍。一、为什么要研究AI边干边学的能力在正式介绍这套测试平台之前有必要先解释清楚一件事为什么从环境中学习这件事对于AI在现实中的应用如此重要回到职场新人的比喻。一个哈佛毕业的高材生固然在校期间积累了大量通用知识但他第一天进入一家金融公司面对公司独有的内部交易系统、专属风控模型和尚未公开的市场数据时他之前学到的通用知识只是一个起点。接下来的进步来自于他在工作中不断尝试、犯错、获得反馈、然后修正。AI模型面临完全相同的困境。在训练阶段模型从互联网上海量的公开数据中学习但这些数据有三个天然的局限第一有些信息根本不存在于公开数据中比如某家公司的内部代码库或私有文档第二即便原始数据存在也缺少专家在获得这些知识过程中的中间过程——那些反复试错、根据反馈调整的过程第三世界在不停地变化新的工具、新的发现、新的问题层出不穷固定的训练数据永远无法完全覆盖。正因如此一个AI系统在被部署到真实工作场景后能不能主动从环境中获取信息并改进自己就变成了衡量其实用价值的核心指标之一。而在这项研究之前学界对于这种环境学习是否遵循某种可预测的规律几乎一无所知。二、一座容纳134个真实挑战的大型考场EdgeBench的设计理念可以用尽量贴近真实工作来概括。研究团队与来自各领域的领域专家合作从六大能力方向精心挑选了134个任务。这六个方向分别是科学研究与机器学习、系统软件工程、组合优化、专业知识工作、形式数学与定理证明以及互动游戏与模拟器。这些任务不是为AI专门设计的简化版练习题而是真实世界中真正困难的工作——比如用Lean 4语言形式化证明费马大定理的正则情形、重新实现FFmpeg的像素格式转换库、用物理模型重建引力波信号、为OpenTTD编写一个能让公司盈利的交通AI脚本。每个任务都被设计成至少需要AI持续工作12小时才能充分探索的挑战。作为对比此前另一个知名的AI评测平台Agents Last Exam平均每个任务只给模型大约一小时的时间。而EdgeBench中记录的人类专家完成这些任务所需的时间平均高达57.2小时最长的一个任务甚至需要320小时。这意味着这些任务对人类专家来说都是耗费大量精力的真实工作而不是随便找几个练习题塞进去。EdgeBench还专门排除了那些主要考察视觉理解能力的任务比如通过图形界面操作软件。这样做的原因很直接如果一个任务的关键在于能不能看懂图标那么模型的表现就很难区分到底是学习能力强还是视觉感知能力强。研究团队想要纯粹地测量从反馈中学习并改进这件事本身。三、双重反馈回路既有快速探索也有权威评判EdgeBench的评测机制设计是这整个研究中最值得细说的部分之一因为它直接决定了AI能否真正学到东西。现实中的工程师或研究员工作时其实天然地在使用两套反馈循环。第一套是快速的本地反馈写一段代码运行编译器看看有没有语法错误跑一下本地测试看看功能对不对在开发数据集上验证一下模型性能。这个过程很快几秒到几分钟就能完成可以反复迭代数十次甚至数百次。第二套是权威的外部反馈把代码提交到生产环境看真实用户会不会遇到问题把论文投稿给期刊看同行评审怎么说把模型提交给竞赛评测看隐藏测试集上的表现。这个过程慢得多但提供了第一套循环无法给出的真实校准。EdgeBench把这两套机制都复制进了评测平台。AI工作在一个隔离的工作容器中里面有全部的任务材料和本地验证工具但没有隐藏的评测数据。当AI认为自己准备好了可以把当前成果提交给一个独立的评测容器——这个容器里有隐藏的测试案例和打分标准会给出分数和诊断性反馈然后立刻销毁。提交之间有冷却时间限制不能无限刷分。此外平台后台还会定期对AI的当前状态进行快照评分这些分数只记录分析用不会告诉AI自己这样就可以追踪AI在两次主动提交之间的进步曲线。整套系统还支持AI在提交评测后继续工作不需要等待评测结果回来才能行动——这和真实的异步工作流程完全一致。四、那条几乎完美的S形曲线现在来到这项研究最核心的发现。研究团队评测了五款前沿模型Anthropic的Claude Opus 4.8、OpenAI的GPT-5.5和GPT-5.4、智谱的GLM-5.1以及DeepSeek-V4-Pro预览版。每个模型在每个任务上独立运行三次12小时的完整流程记录所有提交记录和性能轨迹。如果你盯着某一个具体任务的学习曲线来看你会看到一条凹凸不平的阶梯状折线——在某个时间点成绩突然跳升然后在一段平台期后再次跳升中间还可能夹杂着一些退步。每个任务、每个模型的曲线形态都各不相同有些是缓慢的线性积累有些是长时间停滞后的突然突破有些甚至会出现明显的倒退。但当研究团队把所有134个任务的性能曲线取平均之后奇迹般的事情发生了。那些嘈杂的锯齿状曲线全部消失了取而代之的是一条极其光滑、形态优雅的S形曲线。更令人惊讶的是这条曲线可以被一个仅有三个参数的数学公式精确描述S(t) Smax / (1 (tmid/t)^β)。在这个公式里t是已经花费的交互时间Smax是这个模型在这类任务上理论上能达到的最高分数上限tmid是达到一半最高分所需的时间β则控制着曲线在对数时间轴上的陡峭程度——β越大意味着模型的学习过程越集中在某个短暂的时间窗口内快速爆发β越小则意味着进步更加均匀地分布在整个学习周期中。研究团队用R?来衡量这个公式的拟合精度。R?等于1意味着完美拟合等于0意味着和随机猜测差不多。五个模型的平均R?达到了0.998——在实验科学中这个数字几乎是你能期待的最高值了。五种模型的具体参数各有差异。GPT-5.5的Smax最高达到0.60意味着它的理论成绩上限最高GLM-5.1的tmid最长达到4.8小时说明它需要更多时间才能开始快速进步Claude Opus 4.8和DeepSeek-V4-Pro的β都达到了0.93说明它们的学习曲线相对陡峭一旦开始爆发就比较集中。这个规律不只在全部134个任务的平均曲线上成立。研究团队还把任务按六个大类分别平均在每个类别上分别拟合结果同样成立R?最低的也达到0.972。他们还把时间窗口从12小时扩展到28小时覆盖80个任务和72小时覆盖18个任务规律依然成立拟合R?全部不低于0.993。五、能预测未来的曲线发现一个好的拟合公式是一回事但如果这个公式还有预测能力那就意味着它捕捉到了某种真实存在的规律而不只是事后凑数。研究团队做了一个验证实验只使用前6.5小时的数据来拟合公式然后用拟合出的参数预测接下来6.5到12小时的性能走势再把预测值和真实测量值对比。结果是五个模型的预测准确度都相当高拟合段的R?全部达到0.997以上而预测段即未被用来拟合的后半段的预测误差RMSE全部低于1个百分点。换句话说只要你观察一个模型在某类任务上学习的前一半时间你就能相当准确地预测出它在后半段会达到什么样的表现水平。六、这条S形曲线从哪里来一个来自图论的理论解释发现规律之后研究团队没有止步于描述现象他们还提出了一套理论来解释这条S形曲线为何会自然出现。这套理论的核心比喻是这样的把一个复杂任务想象成一张大地图地图上布满了各种得分节点每个节点代表一项可以解锁的子能力或成就。节点之间有边相连一条从节点A指向节点B的边意味着解锁A会帮助解锁B。一开始智能体只解锁了一小部分节点剩余的大部分处于锁定状态。每个时刻智能体能够尝试解锁的节点只有那些从已解锁区域有边指向的前沿节点。已经解锁的区域越大对前沿的推进力就越强但随着已解锁区域扩大剩余的锁定区域越来越小可以解锁的空间也越来越有限。这两个效果叠加在一起就自然产生了先慢后快再慢的S形进步节奏——就像一团墨水滴在水面上扩散一开始缓慢渗透然后快速扩散最后被边界约束而放慢。那么时间轴为什么是对数尺度的理论给出的解释是任务图的结构是近似自分形的self-similar难度每提高一个层次需要探索的图结构规模就会成倍增长。在这种情况下智能体每消耗一个固定量的计算资源在难度尺度上前进的距离就会以对数速度增长——于是在对数时间轴上进步速度自然呈现出线性整体曲线就是S形。研究团队还做了数学验证证明当你把足够多的独立任务的学习曲线做平均时单个任务曲线的锯齿和噪声会被消除浮现出一条平滑的整体S形——前提是这些任务的半程时间点tmid和进步速度β在统计上足够集中。这个数学条件在EdgeBench的134个任务中确实近似成立这才是整个规律能够浮现的根本原因。七、S形为何比其他形状更合适当研究团队宣称学习曲线符合对数S形时一个自然的质疑是也许任何S形曲线都能拟合得差不多好这个特定的形状并没有什么特殊意义为了回应这个质疑研究团队系统地比较了五种不同的增长模型对数S形Logistic、对数正态分布Log-Probit、对数Gompertz分布、Weibull累积分布以及简单的对数线性模型。拟合精度上对数S形的均方根误差最低0.390略优于Log-Probit0.398和对数Gompertz0.402明显优于Weibull0.404而对数线性模型0.717则差得多说明纯粹的越来越快模型无法描述这种有上限的饱和式进步。研究团队还给出了机制层面的理由来优先选择对数S形它的增长速度正比于已解锁进度×剩余空间前者代表可复用的已有能力后者代表仍有待攻克的剩余机会。这个双因子相乘的结构在理论上直接对应了前面介绍的任务图前沿扩张机制。其他几个模型虽然形状相似但背后的机制故事并不如此自然。八、从2025年9月到2026年4月学习速度每三个月翻倍除了曲线是什么形状这个问题研究团队还关心另一个问题随着时间推移前沿模型从环境中学习的速度是否在加快为了回答这个问题他们从EdgeBench中挑选了一个特殊的18任务子集这些任务有一个重要特性所有模型在第一次尝试时的表现都差不多平均分在6.87左右波动很小。这意味着起跑线基本一致之后的差异就主要来自于从环境中学习的效率而不是原有知识储量的多少。研究团队对2025年9月到2026年6月间发布的多款前沿模型都在这个子集上进行了测试记录每个模型在2小时内相比初始表现的提升幅度把这个提升幅度定义为学习速度。从GPT-5-Codex2025年9月发布到GPT-5.52026年4月发布学习速度在221天内增长了约8倍。用指数增长来拟合这段趋势对应的倍增周期大约是三个月。更有意思的是这种加速并非简单地靠提交更多次来实现的。研究团队对比了各模型的提交频率和有效提交率即每次提交真正提升了最佳分数的比例。结果发现新一代模型虽然提交频率参差不齐但有效提交率普遍在提升——也就是说更新的模型提交的每一次都更有针对性更少走弯路而不是单纯靠数量堆出来的。九、连续学习胜过反复重来一个看似合理的担忧是AI成绩随时间提升会不会只是因为它多尝试了几次而不是真正学到了什么毕竟即使是完全随机地猜测猜的次数多了偶尔也能猜对。研究团队专门设计了一个实验来排除这种可能性。他们给Claude Opus 4.8在17个任务上分配相同的总时间预算12小时然后以两种不同方式使用这个预算。第一种方式是有积累地连续工作AI从头到尾在同一个工作空间中持续运作前面的尝试、工具、文件、反馈历史全部保留后面的工作可以在前面的基础上继续。第二种方式是无积累的独立重试把12小时切成6份每份2小时每次从零开始完全清空之前的所有状态最后取6次结果中的最好成绩。这模拟了重复采样的极端情况——相当于抛了6次硬币取最好的那次。在相同的总预算下连续积累的方式在12小时后达到43.0分而重复重试方式只达到36.1分差距6.9分。这个差距证明了AI确实从历史经验中获得了实质性的收益而这些收益是单纯靠重复尝试无法获得的。十、更长的上下文记忆更强的学习能力既然积累经验很重要那么如何让AI记住更多的历史信息一个最直接的方法是扩大AI的记忆容量——也就是它能同时容纳在脑子里的信息量在技术上叫做上下文窗口长度。研究团队对比了Claude Opus 4.8在两种不同上下文长度下的表现200K词元tokens和100万词元。这两种配置在其他所有条件完全相同的情况下在42个任务组成的子集上分别运行了完整的12小时评测。结果显示1M上下文的Opus 4.8在所有时间节点上都稳定领先200k版本。在2小时时差距是5.8分在12小时时差距收窄到4.4分但始终存在。两种配置的学习曲线形态几乎平行说明更长的上下文不只是让初始表现更好而是在整个学习过程中持续提供更强的记忆支撑。这个结果说明即便系统已经有了外部文件存储、进度笔记等辅助记忆工具模型本身的上下文容量依然是一个独立的、不可替代的因素。十一、一个引力波任务的12小时解剖为了让上述所有规律更加具体可感研究团队对一个具体任务进行了细致的案例分析引力波信号重建。这个任务要求AI基于LIGO激光干涉引力波天文台在2015年首次探测到引力波时的公开论文从原始应变数据中重建出完整的引力波信号分析流程包括两个探测站各自的波形时序、时频谱图以及双黑洞合并过程中的速度和间距曲线。一个GPT-5.5智能体在这个任务上工作了整整12小时提交了224次其中平台后台还额外进行了23次定时快照评分。在这247次评分中只有27次真正提升了最佳成绩超过0.1个百分点。也就是说大约88%的提交都是无效的探索——这个比例看起来很低但实际上这正是真实科研工作的常态。从12小时的进步轨迹中研究团队识别出了七个关键里程碑每个里程碑都代表着一次质的跃迁。最初AI用前11次提交建立起一个可以被打分的完整分析流程拿到42.8分的初始成绩但此时源动力学黑洞轨道速度和间距部分的得分很低。在接下来约1小时内AI在稳定基础流程的同时把频率估计方法从粗糙的版本换成了更精确的将成绩提升到约50分。随后大约3小时内AI通过重新对齐时频窗口、改善探测站波形比对等信号处理改进把成绩推进到52.3分。然后在第4到第5小时发生了整个12小时运行中最大的单次跳跃AI识别出源动力学是得分最薄弱的环节转而专注于校准双体物理模型将源动力学得分从64.2提升到89.0带动总分从52.3跳升到59.7涨幅7.4分。在最后的几小时里AI主要集中于修复Hanford探测站的波形重建误差通过时移对齐和窄带修正把该分项从约47分提升到95分最终总分定格在67.0分。这个案例完美地展示了信息解锁信息的机制每一次有意义的提交所获得的反馈都改变了AI下一步搜索的方向让后续的尝试更有针对性。十二、数学定理证明这块硬骨头在六大任务类别中形式数学与定理证明是表现最值得关注的一类。这13个任务包括了用Lean 4语言证明费马大定理正则情形、卡尔森定理关于L?函数的Fourier级数逐点收敛性、多面体外翻定理Sphere Eversion等数学前沿成果的形式验证。这类任务的特殊性在于它采用严格的机器校验一个证明要么完全通过要么在某个步骤失败没有中间地带。而且评分规则是传递依赖的——如果证明B依赖于引理A但A还没有被证明那么B也不算成立不给分。在这个类别上模型之间的差异最为悬殊。Claude Opus 4.8在12小时后的平均得分是55.0GPT-5.5是50.0但GLM-5.1只有24.6DeepSeek-V4-Pro仅有14.1。GLM-5.1的tmid参数高达119.6小时意味着按照其学习曲线的参数外推它需要将近五天才能达到自己理论成绩上限的一半——这在12小时的评测窗口内显然远未实现。GPT-5.4的tmid更是外推到了17.3小时说明12小时对它来说刚刚进入开始快速进步的阶段。这些数据说明不同任务类型对不同模型的考验方式差异很大简单地说哪个模型更好远不如分析哪个模型在什么类型的任务上、在什么样的时间预算下学习效率最高来得有意义。十三、S形曲线在什么情况下会失效研究团队对自己发现的规律保持了相当的谨慎态度专门列出了这条S形规律的适用边界。当任务图存在严重的瓶颈节点——也就是必须先解锁某个特定能力才能继续前进的强依赖链——时进步曲线可能不再是平滑的S形而是出现长时间的停滞然后断崖式的跃升形成明显的多段结构。这在引力波任务的案例中已经可以部分看到源动力学部分的突破就是一个典型的瓶颈突破事件。当各任务之间的半程时间点tmid分布非常分散时简单取平均会产生一条被拉伸变形的宽S形其参数不再稳定反映任何单一机制而是成了任务分布的统计特性摘要。此外当某些任务有明确的时间节奏——比如每天固定一次数据更新或有固定的提交冷却周期——时对数时间轴的假设就不再成立应该考虑其他时间变换方式。研究团队还特别提醒公式中的Smax应该被理解为在当前时间窗口和当前评测条件下的可达分数上限而不是某个绝对的能力天花板。随着交互时间延长或者环境条件变化这个上限本身可能也会移动。说到底这项研究做的事情是第一次系统地证明了AI智能体在真实环境中边干边学这件事是有规律可循的而不是随机噪声。那条R?高达0.998的对数S形曲线不只是一个好看的拟合结果它背后是一套关于已掌握的能力如何帮助解锁新能力的机制理论。更值得关注的是每三个月学习速度翻倍这个趋势。如果这个趋势持续下去意味着一年后的AI智能体其在真实任务中的学习效率将是今天的约16倍。这不只是实验室里的数字它意味着越来越多的真实工作场景将有可能由AI自主完成——从复杂的软件工程项目到前沿数学定理的形式化验证到需要大量领域知识的金融分析。研究团队已经公开发布了EdgeBench中的51个任务和完整的评测框架为后续的研究者提供了一个标准化的研究平台。有兴趣深入了解的读者可以通过论文编号arXiv:2607.05155v1查阅完整的研究细节或者访问项目主页edge-bench.org获取开放的任务数据和工具。一个值得每个关注AI发展的人认真思考的问题是当AI从环境中学习的速度已经可以被精确预测和量化时我们应该如何规划AI与人类协作的工作方式一条可预测的学习曲线意味着对于特定类型的任务我们可以提前估算出给AI多少时间能期望它达到什么水平——这种可预测性或许正是大规模部署AI完成复杂工作的前提条件之一。QAQ1EdgeBench测试平台评测的是AI的什么能力AEdgeBench评测的不是AI在训练阶段学到的固有知识而是AI在被部署到真实任务环境后通过与环境交互、获取反馈来持续改进自己的能力。简单说就是边干边学的能力。平台设计了双重反馈机制既允许AI快速本地测试也通过权威评测容器给出隐藏测试数据上的真实成绩。Q2对数S形学习曲线的三个参数分别代表什么意思A公式S(t) Smax / (1 (tmid/t)^β)中Smax是这个模型在当前任务上理论可达的成绩上限tmid是达到这个上限一半所需的交互时间tmid越小说明模型越快进入爆发期β控制曲线的陡峭程度β越大说明进步越集中在某个时间段内越小说明进步更均匀地分布在整个学习过程中。Q3AI学习速度每三个月翻倍的结论是怎么得出的A研究团队从EdgeBench中选取了18个任务组成子集条件是所有模型在初次尝试时得分相近平均约6.87分以确保起跑线一致。然后对2025年9月到2026年4月间发布的多款模型分别测试记录每个模型在2小时内的得分提升幅度。从最早的GPT-5-Codex到GPT-5.5这个提升幅度在221天内增长了约8倍对应的指数倍增周期约为三个月。