Funkcyjo ReLU

Graficzno reprezentacyjo funkcyje

Funkcyjo ReLU, tyż mjanowano Rectifier - zorta aktywacyjnyj funkcyje we neuronowych necach. Dowo uůna wert 0 lo argumyntu majszego jak 0, a we inkszym przipadku uoddowo przidany wert. Używano m. in. we necach zbajstlowanych do rozpoznawańo mowy. Matymatyczno definicyjo to je:

$f(x)=x^{+}=\max (0,x)=\frac{x+|x|}{2}=\{\begin{array}{cc}x& \text{eli }x>0,\\ 0& \text{we inkszym przipadku}.\end{array}$

Pochodno uod funkcyje ReLU: $f^{\prime }(x)=\{\begin{array}{cc}1& \text{eli }x>0,\\ 0& \text{eli }x<0.\end{array}$