AWS无服务器SageMaker上线全量微调:编码正确率达90%
2026年11月18日,Amazon Web Services 宣布为 SageMaker AI 无服务器模型定制 功能增加 全量微调(FFT) 支持。AWS 公布的一项编码实验使用了超过10万条训练样本,FFT 的语义正确率达到 90.0%;但 AWS 同时提醒,参数设置过于激进会导致模型通用知识大幅流失。
使用方式上,客户只需提供基础模型、数据集和超参数,计算资源分配和检查点管理都由服务自动完成,无需自行配置 GPU、搭建集群或设置分布式训练。在 AWS 的 SageMaker Python SDK 示例中,LoRA 与全量微调之间的切换只需修改 TrainingType 参数,其余作业配置保持不变。
FFT与LoRA:两种微调思路
- 全量微调(FFT):更新模型的全部权重;
- LoRA:冻结预训练权重,只插入低秩适配器矩阵进行训练,GPU 资源需求更低,但更新被限制在较小的表征空间内。
AWS 的解释是,数据集规模越大,全秩训练越能捕捉复杂的领域特征,其价值不只是“可训练参数更多”。
受控编码测试:3个轮次达到峰值
AWS 以 Qwen3-4B 为基础模型进行监督式微调(SFT),在相同的提示、目标和评估代码下对比不同方法。
训练数据来自 Magicoder-Evol-Instruct-110K 数据集,包含算法设计、调试、数据结构和系统编程等领域的编码指令与回答,划分为 9.9万条训练记录、5500条验证记录 和 5500条留出测试记录。
评估分为“任务表现”和“知识保留”两部分:
- Amazon Nova Pro 作为大模型评审,结合原始提示阅读生成代码,判断逻辑是否正确;
- PRIMECODE 用 BLEU、ROUGE-1/2/L 和 F1 等确定性指标,衡量生成结果与参考答案的相似度;
- MMLU 测试模型在57个学科上的通用知识。
结果显示,语义正确性在训练 3个轮次 时达到峰值,继续训练则所有受测变体的表现都会下滑。在 AWS 给出的雷达图中,FFT 在所有维度上都优于 LoRA 和基础模型,其中 BLEU 和 ROUGE-2 领先幅度最大,说明优势并非只来自单一指标。
AWS 表示,团队在多个基础模型上进行了数十组实验,调整了学习率、批量大小、预热比例、训练轮数和数据集规模,每次从提交作业到完成评估需要数小时。训练完成的模型会自动以带版本号的模型包注册到 SageMaker Model Registry,供审核或部署使用。
全量微调的代价:灾难性遗忘
AWS 也明确指出,FFT 并非在所有场景下都更优:
- 在 MATH 精确匹配 测试中,FFT 和 LoRA 的表现都不如基础模型;
- 在另一项大模型评审对比中,LoRA 得分 81.5%,反而高于 FFT 的 79.5%。
学习率过高时问题更加明显。当学习率达到 5e-5 或更高,MATH 得分跌至 2%–3%,MMLU 准确率降至 3.6%,即出现“灾难性遗忘”:领域训练覆盖了预训练知识,模型的通用能力随之丧失。
AWS 的风险分析给出的参考设置是:大型数据集下学习率 2e-5 较为安全;在受测配置中,搭配 5% 预热比例 和 全局批量大小8,对 MMLU 所衡量的通用知识保留效果最好。
批量大小同样影响知识保留。学习率固定时,批量越小,更新噪声越大,效果类似于调高学习率,遗忘风险随之上升;批量越大噪声越小,但优化步数减少,又可能导致欠拟合。
部署层面的取舍
根据 AWS 的支持模型列表,DeepSeek R1 Distill Qwen 1.5B、Google Gemma 4 26B A4B 和 NVIDIA Nemotron 3 Nano 30B (A3B) 等开放权重模型均支持以 FFT 方式进行 SFT。
与 LoRA 相比,FFT 有以下特点:
- 数据格式相同:沿用 LoRA 的数据集格式,无需重新准备数据;
- 成本更高:需要更多计算资源和更长训练时间;
- 产物更大:输出包含完整模型权重,存储和分发体积明显增加;
- 推理无适配器开销:部署时不再需要额外加载适配器;
- 不支持持续定制:无法在已有结果上继续增量定制。
需要注意的是,“无服务器”改变的只是由谁分配基础设施、管理检查点,并不会减少参与训练的权重数量。这次更新降低了深度定制的操作门槛,但是否划算,仍取决于特定任务上的收益能否覆盖更高的训练成本以及通用能力可能受到的损失。
对香港服务器与AI部署的影响
模型定制门槛持续降低。 无服务器微调让中小团队无需自建 GPU 集群就能训练专属模型,更多企业会从“调用通用大模型”转向“部署自有定制模型”,推理服务的部署需求随之增加。
全量权重带来更大的分发压力。 FFT 产出的是完整模型权重,而不是体积较小的适配器文件。模型在训练平台、存储和推理节点之间传输时,对带宽和网络稳定性的要求更高。
推理节点更贴近用户。 训练可以放在云端集中完成,推理则更适合部署在靠近终端用户的位置。面向亚太和跨境用户的 AI 应用,需要兼顾国际访问与回国线路的延迟。
AWS 这次更新的意义,不在于让训练更便宜,而在于让训练更容易。当越来越多团队拥有自己的定制模型,竞争焦点会逐步从“谁能训练出模型”转向“谁能把模型稳定、低延迟、安全地提供给用户”。
对于面向亚太用户的 AI 应用和跨境业务,香港服务器凭借国际出口带宽和低延迟回国线路等网络优势,成为部署推理网关、模型 API 和内容分发节点的理想选择。模型接口对外开放后容易遭受 CC 攻击和恶意调用,SellBGP 的 香港高防服务器 接入 Cloudflare 高级防护,覆盖 L3-4 至 L7 层;已有服务器的团队也可以通过 香港高防 IP 快速挂载防护。
声明:本文由 SellBGP 资讯中心编译整理,转载请注明出处。