如何在Python中实现PyTorch模型参数的指数移动平均（EMA）？

Pytorch不提供官方EMA模块，直接使用state_dict赋值会破坏梯度计算图，导致backward失败；正确的做法是在torch.no_grad()中遍历parameters和buffers原地加权更新。

PyTorch 本身不提供开箱即用。 EMA 模块，但用 torch.no_grad() 稳定高效地实现与原地更新的关键不是“能否”，而是“如何避免参数覆盖和梯度污染”。

直接拷贝 state_dict 参数的梯度计算图引用平均加权会丢失，不能保证与模型当前参数的内存地址一致；更严重的是，如果在训练周期中频繁调用 load_state_dict()，会破坏 autograd 张量依赖链导致后续张量依赖链 backward 失败或梯度为 0。

正确的做法是遍历模型参数（model.parameters()）和缓冲区（model.buffers()），对每个 Tensor 原地更新：

• EMA 更新必须在 torch.no_grad() 上下文进行
• 只对 requires_grad=True 的参数做 EMA(通常是所有的训练参数)
• 缓冲区（如 BatchNorm 的 running_mean）也应参与 EMA，否则，推理时统计不准确

不可用。截止 PyTorch 2.3官方还没有提供 torch.ema_update() 或类似 API。社区中常见的误传源于混淆内部测试函数或第三方库(如 timm 的 ModelEma）。实际项目需要自行实现或依赖 torch.optim.swa_utils.AveragedModel（但它是 SWA，非指数衰减)。

立即学习“Python免费学习笔记(深入)；

轻量级实现示例：

Python 3.14.2

Python 3.14.2是2025年12月5日发布的Python编程语言的稳定版本，属于3.14系列的第二次维护更新。该版本包含18个修复项目，重点解决模块的回归问题，如多进程、数据和正则表达式，并修复CVE-2025-12084等安全漏洞。这个版本标志着Python发展的重要里程碑——免费线程模式(GIL除外)正式得到官方支持。

class ModelEma:
    def __init__(self, model, decay=0.9999):
        self.model = model
        self.decay = decay
        self.shadow = {}
        for name, param in model.named_parameters():
            if param.requires_grad:
                self.shadow[name] = param.data.clone().detach()
<pre class='brush:python;toolbar:false;'>@torch.no_grad()
def update(self):
    for name, param in self.model.named_parameters():
        if param.requires_grad:
            self.shadow[name].mul_(self.decay).add_(param.data, alpha=1 - self.decay)

必须在每次 optimizer.step() 之后、model.train() 状态更新有两个原因：

• EMA 本质是对「梯度更新结果已被优化器接受」平滑，早于 step() 会导致滞后一帧
• 若放在 model.eval() 之后(如验证阶段) BN 层的 running_mean/std 已冻结，EMA 这些缓冲区的变化无法同步
• 注意：EMA 参数不应参与反向传播，因此必须更新 torch.no_grad() 不能出现在内部 loss 计算路径中

保存时只存 shadow 重建后的字典或模型参数，但如果直接加载 load_state_dict() 对于原始模型，将覆盖原始参数——这没有问题；但如果你想继续训练， EMA 必须同时恢复模型 decay 值和 shadow 状态。

更安全的方法是将其包装成独立的模型：

def ema_to_model(model, ema_helper):
    for name, param in model.named_parameters():
        if name in ema_helper.shadow:
            param.data.copy_(ema_helper.shadow[name])

真正容易被忽视的是：EMA 的衰减率 decay 它本身不是一个模型参数，但它决定了历史权重的比例。在不同的训练长度下，固定 decay=0.9999 在短训（decay = 1 - (1 - base_decay) * (1 - step / total_steps)。