python教程—如何在PyTorch中初始化权重?-Python实用宝典

python教程—如何在PyTorch中初始化权重?

如何在PyTorch中初始化网络中的权重和偏差(例如,使用He或Xavier初始化)?

如何在PyTorch中初始化网络中的权重和偏差(例如,使用He或Xavier初始化)?

回答

单层

要初始化单层的权重,可以使用torch.nn.init中的一个函数。例如:

    conv1 = torch.nn.Conv2d(...) torch.nn.init.xavier_uniform(conv1.weight)

或者,您也可以将参数修改为conv1.weight。数据(它是一个 torch.张量)。例子:

    conv1.weight.data.fill_(0.01)

偏见也是如此:

    conv1.bias.data.fill_(0.01)

神经网络。顺序或自定义n.模块

将初始化函数传递给torch.nn.Module.apply。它将初始化整个nn中的权重。递归地模块。

apply(fn):递归地将fn应用于每个子模块(由.children()和self返回)。典型的用法包括初始化模型的参数(也参见torch-n -init)。

例子:

    def init_weights(m): if type(m) == nn.Linear: torch.nn.init.xavier_uniform(m.weight) m.bias.data.fill_(0.01) net = nn.Sequential(nn.Linear(2, 2), nn.Linear(2, 2)) net.apply(init_weights)

​Python实用宝典 (pythondict.com)
不只是一个宝典
欢迎关注公众号:Python实用宝典

本文由 Python实用宝典 作者:Python实用宝典 发表,其版权均为 Python实用宝典 所有,文章内容系作者个人观点,不代表 Python实用宝典 对观点赞同或支持。如需转载,请注明文章来源。
0

发表评论