【TORCH】神经网络权重初始化和loss为inf

文章目录

    • 数据输入范围和权重初始化
      • 数据范围对权重初始化的影响
      • 示例代码
        • 输入数据标准化
      • 说明
      • 其他注意事项
    • 常见初始化方法
      • 常见的权重初始化方法
      • 示例代码
      • 说明
    • 模型默认初始化方法，会不会导致Loss为inf
      • 示例
      • 说明
      • 初始化权重导致 Loss 为 `inf`
      • 避免 Loss 为 `inf` 的建议
      • 示例：检查损失是否为 `inf`

数据输入范围和权重初始化

是的，初始化权重和数据范围之间确实有关系。输入数据的范围和分布会影响神经网络的训练过程，因此权重初始化需要与之配合，以确保模型能够有效地学习和收敛。

数据范围对权重初始化的影响

  1. 输入数据归一化/标准化：

    • 归一化/标准化输入数据可以确保所有特征具有相似的尺度，从而防止某些特征主导模型的学习过程。
    • 例如，将输入数据归一化到 [0, 1] 或标准化到均值为 0、标准差为 1 的分布。

  2. 权重初始化方法的选择：

    • 不同的初始化方法适用于不同的激活函数和数据范围。
    • 例如，使用 ReLU 激活函数时，He 初始化通常效果更好；使用 tanh 或 sigmoid 激活函数时，Xavier 初始化通常效果更好。

示例代码

以下是如何根据输入数据范围进行权重初始化的示例：

输入数据标准化
import torch
import torch.nn as nn
import torch.optim as optim
from sklearn.preprocessing import StandardScaler

# 生成示例数据
x_data = torch.randn(100, 10)
y_data = torch.randn(100, 1)

# 标准化输入数据
scaler = StandardScaler()
x_data = torch.tensor(scaler.fit_transform(x_data), dtype=torch.float32)

# 定义简单的神经网络
class SimpleModel(nn.Module):
    def __init__(self, input_dim, output_dim):
        super(SimpleModel, self).__init__()
        self.linear1 = nn.Linear(input_dim, 50)
        self.linear2 = nn.Linear(50, output_dim)
        self._initialize_weights()

    def _initialize_weights(self):
        nn.init.kaiming_normal_(self.linear1.weight, nonlinearity='relu')
        nn.init.kaiming_normal_(self.linear2.weight, nonlinearity='relu')
        nn.init.constant_(self.linear1.bias, 0)
        nn.init.constant_(self.linear2.bias, 0)

    def forward(self, x):
        x = torch.relu(self.linear1(x))
        x = self.linear2(x)
        return x

# 初始化模型
input_dim = x_data.shape[1]
output_dim = y_data.shape[1]
model = SimpleModel(input_dim, output_dim)

# 定义损失函数和优化器
criterion = nn.MSELoss()
optimizer = optim.SGD(model.parameters(), lr=0.01)

# 训练步骤
output = model(x_data)
loss = criterion(output, y_data)

print(f"Loss: {loss.item()}")

说明

  1. 数据标准化：使用 StandardScaler 将输入数据标准化，使其均值为 0，标准差为 1。这样可以确保数据范围在一个合适的尺度上。
  2. 权重初始化：使用 He 初始化（nn.init.kaiming_normal_）来初始化权重，这是因为 ReLU 激活函数通常与 He 初始化配合得很好。
  3. 模型定义：定义了一个简单的神经网络模型，并在构造函数中调用了 _initialize_weights 方法来初始化权重。

其他注意事项

  • 数据归一化：如果输入数据的范围在 [0, 1] 或 [-1, 1]，可以考虑使用 MinMaxScaler 进行归一化。
  • 特征缩放：如果不同特征的范围差异较大，特征缩放可以帮助加速梯度下降算法的收敛。
  • 权重初始化的选择：根据输入数据范围和激活函数选择合适的权重初始化方法，可以有效地防止梯度消失或梯度爆炸问题，提高模型的训练效果。

通过合理选择权重初始化方法和对输入数据进行适当的预处理，可以确保模型更稳定和高效地训练。如果您有更多问题或需要进一步的帮助，请告诉我！

常见初始化方法

神经网络的权重初始化对于模型的训练效果至关重要。在 PyTorch 中，有多种常见的权重初始化方法，可以根据具体情况选择最适合的方法。以下是一些常见的初始化方法：

常见的权重初始化方法

  1. 零初始化 (Zero Initialization)

    • 将所有权重初始化为零。
    • 这种方法一般不推荐，因为所有神经元的输出将是相同的，导致梯度更新也是相同的，从而破坏了模型的学习能力。

  2. 正态分布初始化 (Normal Initialization)

    • 从均值为0，标准差为指定值的正态分布中采样。
    • 通常使用 torch.nn.init.normal_ 方法。

  3. 均匀分布初始化 (Uniform Initialization)

    • 从指定区间的均匀分布中采样。
    • 通常使用 torch.nn.init.uniform_ 方法。

  4. Xavier 初始化 (Xavier Initialization)

    • 适用于激活函数为 tanh 或 sigmoid 的网络。
    • 使得每一层的输入和输出的方差尽可能相同。
    • 使用 torch.nn.init.xavier_normal_ 或 torch.nn.init.xavier_uniform_ 方法。

  5. He 初始化 (He Initialization)

    • 适用于激活函数为 ReLU 的网络。
    • 使用 torch.nn.init.kaiming_normal_ 或 torch.nn.init.kaiming_uniform_ 方法。

示例代码

以下示例展示了如何使用这些初始化方法：

import torch
import torch.nn as nn

class SimpleModel(nn.Module):
    def __init__(self, input_dim, output_dim):
        super(SimpleModel, self).__init__()
        self.linear1 = nn.Linear(input_dim, 50)
        self.linear2 = nn.Linear(50, output_dim)
        self._initialize_weights()

    def _initialize_weights(self):
        # 正态分布初始化
        nn.init.normal_(self.linear1.weight, mean=0, std=0.01)
        nn.init.normal_(self.linear2.weight, mean=0, std=0.01)
        
        # 均匀分布初始化
        # nn.init.uniform_(self.linear1.weight, a=-0.01, b=0.01)
        # nn.init.uniform_(self.linear2.weight, a=-0.01, b=0.01)
        
        # Xavier 初始化
        # nn.init.xavier_normal_(self.linear1.weight)
        # nn.init.xavier_normal_(self.linear2.weight)
        
        # He 初始化
        # nn.init.kaiming_normal_(self.linear1.weight, nonlinearity='relu')
        # nn.init.kaiming_normal_(self.linear2.weight, nonlinearity='relu')
        
        # 偏置初始化为零
        nn.init.constant_(self.linear1.bias, 0)
        nn.init.constant_(self.linear2.bias, 0)

    def forward(self, x):
        x = torch.relu(self.linear1(x))
        x = self.linear2(x)
        return x

# 初始化模型
input_dim = 10
output_dim = 1
model = SimpleModel(input_dim, output_dim)

# 打印网络每层参数
for name, param in model.named_parameters():
    print(f"Layer: {name} | Size: {param.size()} | Values: {param[:2]}\n")

说明

  1. 正态分布初始化：使用 nn.init.normal_ 方法将权重初始化为从正态分布中采样的值。
  2. 均匀分布初始化：可以使用 nn.init.uniform_ 方法，将权重初始化为从均匀分布中采样的值。
  3. Xavier 初始化：可以使用 nn.init.xavier_normal_ 或 nn.init.xavier_uniform_ 方法，根据输入和输出层的大小调整初始化值。
  4. He 初始化：可以使用 nn.init.kaiming_normal_ 或 nn.init.kaiming_uniform_ 方法，根据激活函数（如 ReLU）调整初始化值。
  5. 偏置初始化：将偏置初始化为零，使用 nn.init.constant_ 方法。

通过这些方法，您可以灵活地初始化神经网络的权重，从而提高模型的训练效果和收敛速度。如果您有更多问题或需要进一步的帮助，请告诉我！

模型默认初始化方法，会不会导致Loss为inf

在 PyTorch 中，如果不显式设置权重初始化，模型层会使用默认的初始化方法。具体的默认初始化方法取决于层的类型。以下是一些常见层的默认初始化方法：

  1. 线性层 (nn.Linear)

    • 权重：使用均匀分布 U(-sqrt(k), sqrt(k)) 初始化，其中 k = 1 / input_features。
    • 偏置：初始化为零。

  2. 卷积层 (nn.Conv2d)

    • 权重：使用均匀分布 U(-sqrt(k), sqrt(k)) 初始化，其中 k = 1 / (in_channels * kernel_size * kernel_size)。
    • 偏置：初始化为零。

示例

以下示例展示了 PyTorch 默认的权重初始化方法：

import torch
import torch.nn as nn

class SimpleModel(nn.Module):
    def __init__(self, input_dim, output_dim):
        super(SimpleModel, self).__init__()
        self.linear1 = nn.Linear(input_dim, 50)
        self.linear2 = nn.Linear(50, output_dim)

    def forward(self, x):
        x = torch.relu(self.linear1(x))
        x = self.linear2(x)
        return x

# 初始化模型
input_dim = 10
output_dim = 1
model = SimpleModel(input_dim, output_dim)

# 打印网络每层参数
for name, param in model.named_parameters():
    print(f"Layer: {name} | Size: {param.size()} | Values: {param[:2]}\n")

说明

  1. 线性层默认初始化：在上面的 SimpleModel 中，self.linear1 和 self.linear2 的权重会默认使用均匀分布进行初始化，偏置初始化为零。

初始化权重导致 Loss 为 inf

权重初始化不当确实可能导致损失（loss）为 inf 或 NaN。常见原因包括：

  1. 权重过大：权重初始化值过大，导致前向传播时激活值过大，从而在计算损失时产生溢出。
  2. 不适当的激活函数和初始化方法：例如，使用 ReLU 激活函数时，权重初始化值过大可能导致梯度爆炸。
  3. 数值不稳定：例如，在使用对数或指数运算时，输入值过大可能导致数值溢出。

避免 Loss 为 inf 的建议

  1. 使用适当的初始化方法：根据激活函数选择合适的权重初始化方法，例如使用 He 初始化与 ReLU 激活函数配合，使用 Xavier 初始化与 tanh 或 sigmoid 激活函数配合。
  2. 梯度剪裁：在训练过程中对梯度进行剪裁，防止梯度爆炸。
  3. 检查输入数据：确保输入数据没有异常值，例如过大的数值或缺失值（NaN）。
  4. 调整学习率：学习率过大也可能导致数值不稳定，可以尝试减小学习率。

示例：检查损失是否为 inf

import torch
import torch.nn as nn
import torch.optim as optim

class SimpleModel(nn.Module):
    def __init__(self, input_dim, output_dim):
        super(SimpleModel, self).__init__()
        self.linear1 = nn.Linear(input_dim, 50)
        self.linear2 = nn.Linear(50, output_dim)

    def forward(self, x):
        x = torch.relu(self.linear1(x))
        x = self.linear2(x)
        return x

# 初始化模型
input_dim = 10
output_dim = 1
model = SimpleModel(input_dim, output_dim)

# 定义损失函数和优化器
criterion = nn.MSELoss()
optimizer = optim.SGD(model.parameters(), lr=0.01)

# 生成示例数据
x = torch.randn(16, input_dim)
y = torch.randn(16, output_dim)

# 前向传播
output = model(x)
loss = criterion(output, y)

# 检查损失是否为 inf
if torch.isinf(loss):
    print("Loss is infinite. Please check the initialization and input data.")
else:
    print(f"Loss: {loss.item()}")

通过这些方法，您可以确保模型的权重初始化适当，并避免损失为 inf 的情况。如果您有更多问题或需要进一步的帮助，请告诉我！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/777528.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

极简通俗VAE

极简通俗VAE

一、VAE 背景：VAE什么变分自编码器，听起来起名都头大，用大白话告诉你。 把一个复杂图片压缩成两个参数，用这个参数采样再复原。 这个简单的东西是两个参数，均值和方差，用（0，1&…
阅读更多...
C语言_练习题

C语言_练习题

求最小公倍数 思路：假设两个数，5和7，那么最小至少也要7吧，所以先假定最小公倍数是两个数之间较大的，然后看7能不能同时整除5和7，不能就加1继续除 int GetLCM(int _num1, int _num2) {int max _num1>_n…
阅读更多...
web学习笔记（八十）

web学习笔记（八十）

目录 1.小程序实现微信一键登录 2. 小程序的授权流程 3.小程序配置vant库 4.小程序配置分包 5.小程序配置独立分包 6.小程序分包预下载 1.小程序实现微信一键登录 要先实现小程序一键登录首先我们需要给按钮设置一个绑定事件，然后在绑定事件内部通过wx.login…
阅读更多...
phpexcel导入导出

phpexcel导入导出

前言&#xff1a; 如果你到处的excel软件打开有问题&#xff0c;下面有介绍解决办法 导入 1. composer init 初始化 2. 下载phpspreadsheet 这里需要注意php版本&#xff0c;需要大于7.2 composer require phpoffice/phpspreadsheet3. 编写代码 <?php require vendo…
阅读更多...
Vue3+.NET6前后端分离式管理后台实战(二十七)

Vue3+.NET6前后端分离式管理后台实战(二十七)

1&#xff0c;Vue3.NET6前后端分离式管理后台实战(二十七)
阅读更多...
017-GeoGebra基础篇-微积分函数求解圆弧面积问题

017-GeoGebra基础篇-微积分函数求解圆弧面积问题

基础篇慢慢的走进尾声&#xff0c;今天给大家带来一个小项目&#xff0c;是关于高中数学微积分部分的展示&#xff0c;这个项目主要包含了函数的介绍、函数与图形绘制的区别、区域函数图像的绘制、积分函数的应用、动态文本的调用、嵌套滑动条的应用等等&#xff0c;以及其他常…
阅读更多...
代理模式的实现

代理模式的实现

1. 引言 1.1 背景 代理模式&#xff08;Proxy Pattern&#xff09;是一种常用的设计模式&#xff0c;它允许通过一个代理对象来控制对另一个对象的访问。在面向对象编程的框架中&#xff0c;代理模式被广泛应用&#xff0c;尤其在Spring框架的AOP&#xff08;面向切面编程&am…
阅读更多...
Python的招聘数据分析与可视化管理系统-计算机毕业设计源码55218

Python的招聘数据分析与可视化管理系统-计算机毕业设计源码55218

摘要 随着互联网的迅速发展&#xff0c;招聘数据在规模和复杂性上呈现爆炸式增长&#xff0c;对数据的深入分析和有效可视化成为招聘决策和招聘管理的重要手段。本论文旨在构建一个基于Python的招聘数据分析与可视化管理系统。 该平台以主流招聘平台为数据源&#xff0c;利用Py…
阅读更多...
arm架构安装chrome

arm架构安装chrome

在ARM架构设备上安装谷歌软件或应用通常涉及到几个步骤&#xff0c;这取决于你要安装的具体谷歌产品&#xff0c;比如谷歌浏览器、Google Play服务或者是其他谷歌开发的软件。下面我会给出一些常见的指导步骤&#xff0c;以安装谷歌浏览器为例&#xff1a; 在Linux ARM64上安装…
阅读更多...
平价蓝牙耳机推荐有哪些？四大超值平价蓝牙耳机品牌盘点

平价蓝牙耳机推荐有哪些？四大超值平价蓝牙耳机品牌盘点

市面上的蓝牙耳机品牌繁多&#xff0c;价格差异巨大&#xff0c;对于预算有限但又不想牺牲音质和使用体验的消费者来说&#xff0c;寻找到既平价又性能出色的蓝牙耳机无疑是一项挑战&#xff0c;那么在平价蓝牙耳机推荐有哪些&#xff1f;面对这个疑问&#xff0c;作为真无线蓝…
阅读更多...
【图解大数据技术】Hive、HBase

【图解大数据技术】Hive、HBase

【图解大数据技术】Hive、HBase Hive数据仓库Hive的执行流程Hive架构数据导入Hive HBaseHBase简介HBase架构HBase的列式存储HBase建表流程HBase数据写入流程HBase数据读取流程 Hive Hive是基于Hadoop的一个数据仓库工具&#xff0c;Hive的数据存储在HDFS上&#xff0c;底层基于…
阅读更多...
CSS - 深入理解选择器的使用方式

CSS - 深入理解选择器的使用方式

CSS基本选择器 通配选择器元素选择器类选择器id 选择器 通配选择器 作用&#xff1a;可以选中所有HTML元素。语法&#xff1a; * {属性名&#xff1b;属性值; }举例&#xff1a; /* 选中所有元素 */ * {color: orange;font-size: 40px; }在清除样式方面有很大作用 元素选择器…
阅读更多...
实现桌面动态壁纸（二）

实现桌面动态壁纸（二）

目录 前言 一、关于 WorkerW 工作区窗口 二、关于窗口关系 2.1 窗口以及窗口隶属关系 2.2 桌面管理层窗口组分简析 2.3 厘清两个概念的区别 2.4 关于设置父窗口 三、编写代码以供在 Vista 上实现 3.1 方法二&#xff1a;子类化并自绘窗口背景 四、初步分析桌面管理层…
阅读更多...
【音视频 | RTSP】RTSP协议详解 及 抓包例子解析（详细而不赘述）

【音视频 | RTSP】RTSP协议详解 及 抓包例子解析（详细而不赘述）

&#x1f601;博客主页&#x1f601;&#xff1a;&#x1f680;https://blog.csdn.net/wkd_007&#x1f680; &#x1f911;博客内容&#x1f911;&#xff1a;&#x1f36d;嵌入式开发、Linux、C语言、C、数据结构、音视频&#x1f36d; &#x1f923;本文内容&#x1f923;&a…
阅读更多...
免密ssh和自定义服务器名字【远程连接服务器】

免密ssh和自定义服务器名字【远程连接服务器】

免密ssh和自定义服务器名字【远程连接服务器】 免密ssh和自定义服务器名字【远程连接服务器】服务器添加本地公钥ssh-copy-id使用别名登录config 免密ssh和自定义服务器名字【远程连接服务器】 原理 实现免密登录需要 本地的公钥id_rsa.pub放在服务器上的 authorized_keys 文件…
阅读更多...
NTP协议格式解析

NTP协议格式解析

1. NTP时间戳格式 SNTP使用在RFC 1305 及其以前的版本所描述标准NTP时间戳的格式。与因特网标准标准一致&#xff0c; NTP 数据被指定为整数或定点小数&#xff0c;位以big-endian风格从左边0位或者高位计数。除非不这样指定&#xff0c;全部数量都将设成unsigned的类型&#…
阅读更多...
边缘概率密度、条件概率密度、边缘分布函数、联合分布函数关系

边缘概率密度、条件概率密度、边缘分布函数、联合分布函数关系

目录 二维随机变量及其分布离散型随机变量连续型随机变量边缘分布边缘概率密度举例边缘概率密度 条件概率密度边缘概率密度与条件概率密度的区别边缘概率密度条件概率密度举个具体例子 参考资料 二维随机变量及其分布 离散型随机变量 把所有的概率&#xff0c;都理解成不同质量…
阅读更多...
【Rust入门】生成随机数

【Rust入门】生成随机数

文章目录 前言随机数库rand添加rand库到我们的工程生成一个随机数示例代码 总结 前言 在编程中&#xff0c;生成随机数是一种常见的需求&#xff0c;无论是用于数据分析、游戏开发还是模拟实验。Rust提供了强大的库来帮助我们生成随机数。在这篇文章中&#xff0c;我们将通过一…
阅读更多...
huggingface笔记：gpt2

huggingface笔记：gpt2

0 使用的tips GPT-2是一个具有绝对位置嵌入的模型&#xff0c;因此通常建议在输入的右侧而不是左侧填充GPT-2是通过因果语言建模&#xff08;CLM&#xff09;目标进行训练的&#xff0c;因此在预测序列中的下一个标记方面非常强大 利用这一特性&#xff0c;GPT-2可以生成语法连…
阅读更多...
并发编程中常见的锁

并发编程中常见的锁

一、锁的分类 1.1 悲观锁和乐观锁 乐观锁&#xff1a; 定义: 假设在绝大多数情况下&#xff0c;对共享资源的访问是不会发生冲突的,所以不会对资源上锁。 实现方式&#xff1a;当线程要对资源进行更新时&#xff0c;它会先获取资源的版本号或者标识符&#xff0c;并在执行更新…
阅读更多...
最新文章

Copyright @ 2022~2023