pytorch反向传播算法

目录

• 1. 链式法则复习
• 2. 多输出感知机
• 3. 多层感知机
• 4. 多层感知机梯度推导
• 5. 反向传播的总结

  1. 链式法则复习

  

  
  （图片来源网络，侵删）

  2. 多输出感知机

  

  3. 多层感知机

  如图：

  

  4. 多层感知机梯度推导

  简化式子把( O k O_k Ok​ - t k t_k tk​) O k O_k Ok​(1 - O k O_k Ok​)起个别名叫 δ k K \delta^K_k δkK​

  

  

  

  
  （图片来源网络，侵删）

  5. 反向传播的总结

  

  

  个人认为所谓的反向传播就是从输出层->到第一层输入一层一层计算梯度的过程，然后不断迭代达到优化W的目的。注意输出层和隐藏层是不一样的。

  
  （图片来源网络，侵删）