Torch中的梯度裁剪技术有何作用

lewis 5年前 (2020-04-25) 阅读数 12 #大数据

文章标签 Torch

梯度裁剪技术在深度学习中起到了限制梯度大小的作用，可以防止梯度爆炸的问题。在训练神经网络时，梯度通常会随着反向传播的过程而不断累积，导致梯度值变得非常大，从而造成网络训练的不稳定性。梯度裁剪技术可以限制梯度的大小，防止梯度爆炸的问题发生，提高训练的稳定性和收敛速度。

本文仅代表作者观点，不代表米安网络立场。

◎欢迎参与讨论，请在这里发表您的看法、交流您的观点。