nn.Parameter() 是 PyTorch 中的一个类，用于创建可训练的参数（权重和偏置），这些参数会在模型训练过程中自动更新。

nn.Parameter() 具有以下特点：

  • nn.Parameter() 继承自 torch.Tensor，因此它本质上也是一个张量（tensor），可以像普通张量一样进行各种张量操作，例如加法、乘法、索引等。
  • nn.Parameter() 具有额外的属性 requires_grad，用于指定参数是否需要计算梯度。默认情况下，requires_grad 的值为 False，即参数不会计算梯度。当设置为 True 时，参数会在反向传播过程中计算梯度，并且可以通过优化器进行自动更新。
  • nn.Parameter() 对象可以作为模型的成员变量，例如通过类的属性进行定义，这样在模型的前向传播和反向传播过程中可以自动识别并更新这些参数。

使用 nn.Parameter() 创建可训练参数的一般流程如下：

  1. 定义一个 nn.Parameter() 对象，可以通过 nn.Parameter(torch.randn(size)) 构造函数传入初始化的张量，其中 size 是参数的形状。
  2. 将定义的 nn.Parameter() 对象作为模型的成员变量，例如通过类的属性进行定义，这样在模型的前向传播和反向传播过程中可以自动识别并更新这些参数。
  3. 在优化器中指定需要优化的参数，例如使用 optim.SGD、optim.Adam 等优化器的 params 参数，传入模型的可训练参数列表，例如 model.parameters()。

总的来说，nn.Parameter() 可以方便地定义和管理模型的可训练参数，并且在模型训练过程中可以自动计算梯度并更新参数值，是构建神经网络模型时常用的工具。