「DL」 反向传播

反向传播的实质是链式求导

1 特殊环节

1.1 卷积

参数共享

反卷积操作：权重转置然后对梯度卷积；为啥

1.2 Pooling

造成维度变化

将 1 个像素的梯度传给多个像素即可：

• mean pooling：梯度/n，然后复制 n 份就可以；
• max pooling：梯度赋值给最大的那个像素，其他置 0；

1.3 Relu

不可导

将不可导处 $x = 0$ 的导数设置为 1；0 也可以吧

---

TOP

附录

A 参考资料

1. CNN中一些特殊环节的反向传播