推理成本降78%,API成本降97%,北大系创企开源4B上下文压缩模型

栏目:互联网 | 来源:智东西 | 2026-11-11 17:19
智东西作者   杨京丽编辑   李水青

智东西11月11日报道,今日,孵化自北京大学软件工程研究所的AI编程创企硅心科技(aiXcoder)开源上下文压缩专用模型aiXcompact-4B。该模型主要面向编程Agent的长程复杂研发任务场景,参数量仅4B,支持单张A100-40GB显卡私有化部署。

aiXcompact-4B进行上下文压缩时,能够针对编程Agent的历史轨迹进行结构化处理:保留关键原始信息,精简文件读取、代码搜索和测试运行等工具返回结果,删除重复或失去参考价值的中间记录,并生成结构化任务摘要,以较低成本减少后续重复输入带来的Token开销。

根据aiXcoder公布的数据,在Terminal-Bench基准测试中,将aiXcompact-4B接入OpenCode进行上下文压缩测试后,整体任务完成准确率与DeepSeek-V4-Pro持平。在私有化部署场景下,针对特定任务的单次GPU推理成本较DeepSeek-V4-Pro降低78%。

采用API调用方式时,根据公开API费用估算,aiXcompact-4B单次上下文压缩请求的Token费用约为0.019元,相比DeepSeek-V4-Pro、GLM-5.3和Qwen3.8-Max的参考费用,分别降低97.30%、97.08%和97.98%。aiXcompact-4B以单次API调用费用降低97%的成本优势,为高频上下文压缩提供了轻量化且经济的选择。

上下文压缩后,Agent需要反复读取的历史上下文也随之减少。在目标任务场景下,aiXcompact-4B可将历史上下文平均

压缩至原长度的25.89%,为下一轮Agent调用腾出足量的上下文空间。

开源地址:

https://github.com/aixcoder-plugin/aiXcompact-4B

一、智能体编程任务平均Token消耗417万,上下文压缩是成本控制关键

随着Claude Code、Codex等AI编程工具被用于更复杂的研发任务,Agent需要持续读取代码、调用工具、执行测试,Token开销也随之增长。

一项基于OpenHands框架、覆盖8个前沿模型的研究发现,在SWE-bench Verified实验中,一个完整的智能体编程任务平均Token消耗约417万,是单轮代码推理的3500倍、多轮代码对话的1200倍,其中输入Token占据绝大部分消耗。

这与Agent的工作方式密切相关。例如,给企业现有系统增加用户注册功能时,Agent需要先了解项目结构,查找用户管理和鉴权逻辑,再修改文件、运行测试,并根据报错继续调整。这一过程中,代码、检索结果和执行日志不断进入上下文,成为后续工作的依据。同一批历史信息可能在多轮推理中被反复输入,随着执行步骤增加,重复输入带来的Token开销也持续累积。

成本之外,早期需求、关键约束和已确认的技术决策混杂在大量中间记录中,也可能增加Agent遗漏重要信息、丢失调试线索的风险。

因此,上下文压缩成为控制Agent运行成本、支撑长任务持续执行的重要工程环节。其核心是从持续增长的Agent运行轨迹中保留关键信息、精简冗余内容,减少重复输入的Token消耗,将更多上下文空间留给当前代码、最新反馈和后续决策。

二、依靠结构化判别机制,信息筛选后形成摘要

编程Agent的工作流程中,开发者先提出需求,Agent分析问题、调用工具,工具再返回文件内容或执行结果。对于需要持续执行任务的Agent而言,上下文压缩需要在节省Token和保留关键信息之间取得平衡:压缩过少,难以有效减少上下文开销;压缩过多,则可能丢失历史关键步骤,破坏代码信息和工具调用之间的结构关系。

aiXcoder认为,有效的压缩既要理解信息内容,也要保留上下文之间的关系。aiXcompact-4B采用结构化判别机制,对历史轨迹生成三类处理决策。

第一类,保留关键原始信息。对于开发者的核心需求、关键约束和重要决策等可能影响后续代码修改方向的信息,aiXcompact-4B会完整保留原始消息,减少关键限定条件在改写过程中被弱化的风险。

第二类,精简工具返回结果。文件读取、代码搜索和测试运行往往会返回大量内容,但下一步工作可能只需要其中一部分。aiXcompact-4B会保留工具调用,用精简文本替换冗长的原始输出,既减少输入Token,也能留下继续定位问题、修改代码所需的线索。

第三类,删除失去参考价值的记录。对于重复内容或不再需要的中间输出,aiXcompact-4B会选择删除,并配套校验动作,检查其中的关键业务信息和调试信息是否已经保留在任务摘要中。

完成信息筛选后,模型还会生成结构化任务摘要,记录用户意图、关键技术信息、错误与修复过程,以及当前工作和待办事项。最终输出是一套可供Agent继续执行的消息序列,并维持工具调用与返回结果的配对关系。

从工作原理来看,aiXcompact-4B具备信息价值的判断能力,能够区分哪些信息不能丢、哪些信息可以精简、哪些信息已经没有必要,在减少重复Token消耗的同时,保留后续Agent完成任务所需的必要上下文与结构。

三、基于真实研发轨迹训练,4B模型上下文压缩评测接近DeepSeek-V4-Pro

aiXcompact-4B判断能力,来自教师大模型蒸馏、4B学生模型LoRA微调与结构化压缩决策相结合的训练技术路径。

aiXcoder称,其训练数据全部来自真实研发场景下的Agent运行轨迹。团队先对轨迹进行归一化处理、过滤筛选和压缩触发点采样,再由教师模型生成参考压缩决策。

这些参考结果经过样本校验与筛选后,用于学生模型的专项训练,使其学习如何结合研发进度处理历史上下文,以及如何在任务摘要中保留后续工作的依据。

从技术分工来看,蒸馏将教师大模型在这一任务上的处理能力迁移到专用学生模型中,LoRA微调则围绕压缩场景进行适配。结构化决策进一步约束模型的输出形式,使其能够对接Agent的消息与执行流程。

在aiXcoder公布的上下文压缩专项评测结果中,aiXcompact-4B的规则综合分为0.7012,接近DeepSeek-V4-Pro的0.7332;信息保留规则分为0.4981,与DeepSeek-V4-Pro的0.4968基本相当。评测还显示,aiXcompact-4B的平均保留率为25.89%,高于DeepSeek-V4-Pro的18.46%。

四、大小模型分工细化,适配企业级私有部署和工程落地

随着AI逐步深入企业软件研发流程,不同研发环节对模型能力的需求开始分化,也为模型分工进一步细化提供了空间。如何让不同模型承担更适合的任务,在保证任务完成质量的同时减少Token消耗、提高算力利用效率,成为企业落地AI研发需要持续解决的问题。

对此,aiXcoder推出“大模型+小模型”协同方案:让大模型聚焦需求拆解、复杂逻辑推演和架构设计,将边界相对清晰、调用频次较高的专项工作交给专用小模型,以降低企业算力使用成本。

在aiXcompact-4B之外,aiXcoder已推出多款参数规模较小的模型。在软件研发领域,aiXcoder已推出面向代码生成与补全的aiXcoder-7B、面向代码变更应用的aiXapply-4B,以及面向Token消耗优化的aiXpruner-4B等模型。此外,aiXcoder即将推出面向Agent决策环节的aiXdecision模型,专注于智能体执行过程中的判断与决策支持。

结语:上下文压缩模型拓宽复杂Agent任务边界

aiXcompact-4B通过保留关键原始信息、精简工具返回结果、删除无参考价值记录,压缩持续累积的历史上下文,并生成结构化任务摘要,降低上下文压缩成本。

随着Agent进入更长链路、更复杂的研发任务,上下文管理将直接影响Token成本和执行连续性。上下文压缩模型如果能够在减少冗余信息的同时保留需求、决策和调试线索,就有机会帮助Agent突破上下文开销带来的限制,承接更多复杂场景的任务。

了解更多

猜你想看

← 返回首页