Aktivasyon fonksiyonu

Yapay sinir ağındaki bir nöronun aktivasyon fonksiyonu, nöronun girdilerinden gelen değerlerin toplamını kullanarak nöronun çıktısını hesaplamaya yardımcı olan matematiksel fonksiyondur. Aktivasyon fonksiyonu doğrusal olmadığı sürece, sadece birkaç nöron kullanılarak bile karmaşık problemler çözülebilir.

Aktivasyon Fonksiyonları Tablosu

İsmi	Grafik	Fonksiyon, ${\displaystyle g(x)}$	${\displaystyle g}$'nin türevi, ${\displaystyle g'(x)}$	Değer Kümesi	Süreklilik Sırası
Birim Fonksiyon (identity)		${\displaystyle x}$	${\displaystyle 1}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{\infty }}$
Heaviside basamak fonksiyonu (binary step)		${\displaystyle {\begin{cases}0&{\text{if }}x<0\\1&{\text{if }}x\geq 0\end{cases}}}$	${\displaystyle 0}$	${\displaystyle \{0,1\}}$	${\displaystyle C^{-1}}$
Lojistik fonksiyon (sigmoid, softstep)		${\displaystyle \sigma (x)\doteq {\frac {1}{1+e^{-x}}}}$	${\displaystyle g(x)(1-g(x))}$	${\displaystyle (0,1)}$	${\displaystyle C^{\infty }}$
Hiperbolik tanjant (tanh)		${\displaystyle \tanh(x)\doteq {\frac {e^{x}-e^{-x}}{e^{x}+e^{-x}}}}$	${\displaystyle 1-g(x)^{2}}$	${\displaystyle (-1,1)}$	${\displaystyle C^{\infty }}$
Soboleva eklentili hiperbolik tanjant (smht)		${\displaystyle \operatorname {smht} (x)\doteq {\frac {e^{ax}-e^{-bx}}{e^{cx}+e^{-dx}}}}$		${\displaystyle (-1,1)}$	${\displaystyle C^{\infty }}$
Doğrultulmuş Lineer birim (ReLU)		${\displaystyle {\begin{aligned}(x)^{+}\doteq {}&{\begin{cases}0&{\text{if }}x\leq 0\\x&{\text{if }}x>0\end{cases}}\\={}&\max(0,x)=x{\textbf {1}}_{x>0}\end{aligned}}}$	${\displaystyle {\begin{cases}0&{\text{if }}x<0\\1&{\text{if }}x>0\end{cases}}}$	${\displaystyle [0,\infty )}$	${\displaystyle C^{0}}$
Gaussian Error Lineer birim (GELU)		${\displaystyle {\begin{aligned}&{\frac {1}{2}}x\left(1+{\text{erf}}\left({\frac {x}{\sqrt {2}}}\right)\right)\\{}={}&x\Phi (x)\end{aligned}}}$	${\displaystyle \Phi (x)+x\phi (x)}$	${\displaystyle (-0.17\ldots ,\infty )}$	${\displaystyle C^{\infty }}$
Softplus		${\displaystyle \ln \left(1+e^{x}\right)}$	${\displaystyle {\frac {1}{1+e^{-x}}}}$	${\displaystyle (0,\infty )}$	${\displaystyle C^{\infty }}$
Üstel lineer birim (ELU)		${\displaystyle {\begin{cases}\alpha \left(e^{x}-1\right)&{\text{if }}x\leq 0\\x&{\text{if }}x>0\end{cases}}}$ ${\displaystyle \alpha }$ parametresi ile	${\displaystyle {\begin{cases}\alpha e^{x}&{\text{if }}x<0\\1&{\text{if }}x>0\end{cases}}}$	${\displaystyle (-\alpha ,\infty )}$	${\displaystyle {\begin{cases}C^{1}&{\text{eğer }}\alpha =1{\text{ ise}}\\C^{0}&{\text{değilse}}\end{cases}}}$
Ölçeklenmiş üstel lineer birim (SELU)		${\displaystyle \lambda {\begin{cases}\alpha (e^{x}-1)&{\text{if }}x<0\\x&{\text{if }}x\geq 0\end{cases}}}$ ${\displaystyle \lambda =1.0507}$ ve ${\displaystyle \alpha =1.67326}$ parametreleri ile	${\displaystyle \lambda {\begin{cases}\alpha e^{x}&{\text{if }}x<0\\1&{\text{if }}x\geq 0\end{cases}}}$	${\displaystyle (-\lambda \alpha ,\infty )}$	${\displaystyle C^{0}}$
Leaky doğrultulmuş lineer birim (Leaky ReLU)		${\displaystyle {\begin{cases}0.01x&{\text{if }}x\leq 0\\x&{\text{if }}x>0\end{cases}}}$	${\displaystyle {\begin{cases}0.01&{\text{if }}x<0\\1&{\text{if }}x>0\end{cases}}}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{0}}$
Parametrik doğrultulmuş lineer birim (PReLU)		${\displaystyle {\begin{cases}\alpha x&{\text{if }}x<0\\x&{\text{if }}x\geq 0\end{cases}}}$ ${\displaystyle \alpha }$ parametresi ile	${\displaystyle {\begin{cases}\alpha &{\text{if }}x<0\\1&{\text{if }}x\geq 0\end{cases}}}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{0}}$
Sigmoid lineer birim (SiLU, Sigmoid shrinkage, SiL, or Swish-1)		${\displaystyle {\frac {x}{1+e^{-x}}}}$	${\displaystyle {\frac {1+e^{-x}+xe^{-x}}{\left(1+e^{-x}\right)^{2}}}}$	${\displaystyle [-0.278\ldots ,\infty )}$	${\displaystyle C^{\infty }}$
Üstel lineer sigmoid squashing (ELiSH)		${\displaystyle {\begin{cases}{\frac {x}{1+e^{-x}}}&{\text{if }}x\geq 0\\{\frac {e^{x}-1}{1+e^{-x}}}&{\text{if }}x<0\end{cases}}}$
Gauss Fonksiyonu		${\displaystyle e^{-x^{2}}}$	${\displaystyle -2xe^{-x^{2}}}$	${\displaystyle (0,1]}$	${\displaystyle C^{\infty }}$
Sinusoid		${\displaystyle \sin x}$	${\displaystyle \cos x}$	${\displaystyle [-1,1]}$	${\displaystyle C^{\infty }}$
Softmax		${\displaystyle {\frac {e^{x_{i}}}{\sum _{j=1}^{J}e^{x_{j}}}}}$ ; i = 1, …, J	${\displaystyle g_{i}\left({\vec {x}}\right)\left(\delta _{ij}-g_{j}\left({\vec {x}}\right)\right)}$	${\displaystyle (0,1)}$	${\displaystyle C^{\infty }}$
Maxout		${\displaystyle \max _{i}x_{i}}$	${\displaystyle {\begin{cases}1&{\text{if }}j={\underset {i}{\operatorname {argmax} }}\,x_{i}\\0&{\text{if }}j\neq {\underset {i}{\operatorname {argmax} }}\,x_{i}\end{cases}}}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{0}}$

^ Yukarıdaki ${\displaystyle \delta _{ij}}$, Kronecker Deltası'dır.

^ Örneğin; ${\displaystyle j}$ önceki sinir ağı katmanının çekirdekleri (kernel) arasında yineleme yaparken, ${\displaystyle i}$ mevcut katmanın çekirdekleri arasında yineleme yapıyor olabilir.

Ayrıca Bakınız

• Yapay sinir ağları
• Lojistik fonksiyon

Kaynakça

1. ^ Neural Networks (PDF) (İngilizce). Knut Hinkelmann. 6 Ekim 2018 tarihinde kaynağından (PDF) arşivlendi. Erişim tarihi: 7 Ekim 2024. 
2. ^ Nair, Vinod; Hinton, Geoffrey E. (2010), "Rectified Linear Units Improve Restricted Boltzmann Machines", 27th International Conference on International Conference on Machine Learning, ICML'10, ABD: Omnipress, ss. 807-814, ISBN  
3. ^ ^{a b} Kaynak hatası: Geçersiz <ref> etiketi; ReferenceA isimli refler için metin sağlanmadı (Bkz: )
4. ^ Glorot, Xavier; Bordes, Antoine; Bengio, Yoshua (2011). "Deep sparse rectifier neural networks" (PDF). International Conference on Artificial Intelligence and Statistics. 17 Mayıs 2017 tarihinde kaynağından (PDF) arşivlendi. 
5. ^ Clevert, Djork-Arné; Unterthiner, Thomas; Hochreiter, Sepp (23 Kasım 2015). "Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs)". arXiv:1511.07289 $2. 
6. ^ Klambauer, Günter; Unterthiner, Thomas; Mayr, Andreas; Hochreiter, Sepp (8 Haziran 2017). "Self-Normalizing Neural Networks". Advances in Neural Information Processing Systems. 30 (2017). arXiv:1706.02515 $2. 
7. ^ Maas, Andrew L.; Hannun, Awni Y.; Ng, Andrew Y. (June 2013). "Rectifier nonlinearities improve neural network acoustic models". Proc. ICML. 30 (1). 
8. ^ He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (6 Şubat 2015). "Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification". arXiv:1502.01852 $2. 
9. ^ Atto, Abdourrahmane M.; Pastor, Dominique; Mercier, Grégoire (2008), "Smooth sigmoid wavelet shrinkage for non-parametric estimation" (PDF), , ss. 3265-3268, doi:10.1109/ICASSP.2008.4518347, ISBN  
10. ^ Elfwing, Stefan; Uchibe, Eiji; Doya, Kenji (2018). "Sigmoid-Weighted Linear Units for Neural Network Function Approximation in Reinforcement Learning". Neural Networks. Cilt 107. ss. 3-11. arXiv:1702.03118 $2. doi:10.1016/j.neunet.2017.12.012. (PMID) 29395652. 
11. ^ Ramachandran, Prajit; Zoph, Barret; Le, Quoc V (2017). "Searching for Activation Functions". arXiv:1710.05941 $2. 
12. ^ Basirat, Mina; Roth, Peter M. (2 Ağustos 2018), The Quest for the Golden Activation Function, doi:10.48550/arXiv.1808.00783, 28 Mart 2023 tarihinde kaynağından arşivlendi, erişim tarihi: 5 Ekim 2024 
13. ^ Goodfellow, Ian J.; Warde-Farley, David; Mirza, Mehdi; Courville, Aaron; Bengio, Yoshua (2013). "Maxout Networks". JMLR Workshop and Conference Proceedings. 28 (3). ss. 1319-1327. arXiv:1302.4389 $2.