$$ \sigma(x) = \cfrac{1}{1+e^{-x}} $$
导函数：
$$ \begin{aligned} \frac { \mathrm { d } y } { \mathrm {~d} x } & = - \left( 1 + e ^ { - x } \right) ^ { - 2 } \cdot \left( 1 + e ^ { - x } \right) ^ { \prime } \\ & = - \left( 1 + e ^ { - x } \right) ^ { - 2 } \cdot 1 \cdot \left( e ^ { - x } \right) ^ { \prime } \\ & = - \left( 1 + e ^ { - x } \right) ^ { - 2 } \cdot 1 \cdot \left( e ^ { - x } \right) \cdot ( - x ) ^ { \prime } \\ & = - \left( 1 + e ^ { - x } \right) ^ { - 2 } \cdot 1 \cdot \left( e ^ { - x } \right) \cdot ( - 1 ) \\ & = \left( 1 + e ^ { - x } \right) ^ { - 2 } \cdot \left( e ^ { - x } \right) \\ & = \frac { e ^ { - x } } { \left( 1 + e ^ { - x } \right) ^ { 2 } } \end{aligned} $$
$$ \frac { \mathrm { d } y } { \mathrm {~d} x } = y [ 1 - y ] $$
2、Tanh 函数
$$ y = \tanh ( x ) = \frac { e ^ { x } - e ^ { - x } } { e ^ { x } + e ^ { - x } } = 2 \operatorname { sigmoid } ( 2 x ) - 1 $$
导函数：
$$ \frac { \mathrm { d } y } { \mathrm {~d} x } = \left( \frac { e ^ { x } - e ^ { - x } } { e ^ { x } + e ^ { - x } } \right) ^ { \prime } = = \frac { 4 } { \left( e ^ { x } + e ^ { - x } \right) ^ { 2 } } $$
$$ ( 1 - y ) ( 1 + y ) = 1 - y ^ { 2 } = \frac { 4 } { \left( e ^ { x } + e ^ { - x } \right) ^ { 2 } } = \frac { \mathrm { d } y } { \mathrm {~d} x } $$
$$ y = \tanh ^ { \prime } ( x ) = 1 - \tanh ^ { 2 } ( x ) $$
$$ y = f ( x ) = \max ( 0 , x ) $$
$$ y ^ { \prime } = f ^ { \prime } ( x ) = \left\{ \begin{array} { l l } 1 , & x > 0 \\ 0 , & x \leq 0 \end{array} \right. $$
$$ y = f ( x ) = \left\{ \begin{array} { l l } x , & x > 0 \\ \alpha \cdot x , & x \leq 0 \end{array} \right. $$
$$ y ^ { \prime } = f ^ { \prime } ( x ) = \left\{ \begin{array} { l l } 1 , & x > 0 \\ \alpha , & x \leq 0 \end{array} \right. $$
$$ y = f ( x ) = \log \left( 1 + e ^ { x } \right) $$
$$ y ^ { \prime } = f ^ { \prime } ( x ) = \frac { \left( 1 + e ^ { x } \right) ^ { \prime } } { 1 + e ^ { x } } = \frac { e ^ { x } } { 1 + e ^ { x } } = \frac { 1 } { 1 + e ^ { - x } } = \operatorname { sigmoid } ( x ) $$