Tehisnärvivõrk: erinevus redaktsioonide vahel
Eemaldatud sisu Lisatud sisu
P tekstisisesed muutujad kaldkirjas |
|||
3. rida:
==Närvivõrgu mudel==
Tehisnärvivõrgu struktuur koosneb tavaliselt omavahel ühendatud kihtidest. Kõige tähtsamad kihid närvivõrgus on sisendkiht, varjatud kiht ja väljundkiht. Iga kiht sisaldab sõlmesid oma sisendite ja väljunditega, millel on [[Aktivatsioonifunktsioon|aktivatsioonifunktsioonid]]. Kihtides olevate sõlmede ja varjatud kihtide arv sõltuvad närvivõrgu lahendatavast probleemist<ref name="mudelid" />. Klassikalisel närvivõrgul on lisaks sisend-, väljund- ja varjatud sõlmedele ka [[Vabaliige|vabaliikme]] sõlmed, mis jooksevad väljund- ja peidetud kihtidesse<ref name="narvivorgud" /><ref name="mustrituvastus" /><ref name="4ksZO" />. Üksikute sõlmede vahelistel ühendustel on kaalud ja need määravad, kui suur osa ühe sõlme väljundist jõuab teise sõlme sisendisse.
[[Pilt:Närvivõrgu mudel.png|pisi|Tehisnärvivõrk koosneb omavahel ühendatud sõlmedest, mida kutsutakse ka neuroniteks. Sellel pildil on kujutatud ringikestena üksikud sõlmed ja nooltega nendevahelised ühendused.|
===Sisendkiht===
11. rida:
Varjatud kiht võib sisaldada üht või enamat varjatud sõlme, mis võtavad sisse endast kõrgemal asuvate sõlmede ja vabaliikme sõlmede väljundi korrutatuna läbi ühenduse kaaluga. Sõltuvalt närvivõrgust võib varjatud kiht närvivõrgust puududa. Klassikaliselt ühe varjatud kihi sõlme väljund leitakse valemiga
<math> \sigma \left(\sum_{j = 1}^{N} V_{ij} x_j+T_i^{hid} \right),</math>
kus ''σ''() kutsutakse aktivatsioonifunktsiooniks, ''N'' on sisendsõlmede arv, ''V<sub>ij</sub>'' on kaalud, ''x<sub>j</sub>'' on sisendid sisendsõlmedele ja ''T<sub>i</sub><sup>hid</sup>'' on vabaliige, mis määrab varjatud sõlme [[lävend|lävendi]] <ref name="bCuVv" />.
Aktivatsioonifunktsiooni eesmärk on piirata sõlme väljundit ette määratud vahemikku, et selle väljund ei üleküllastaks järgnevaid sõlmi. Tihti rakendatakse käivitusfunktsioonina kas [[Lineaarfunktsioon|lineaarseid]], [[Sigmoidfunktsioon|sigmoid]] või [[Normaaljaotus|Gaussi jaotusel]] põhinevaid funktsioone<ref name="MJ1im" />.
Kaalud määravad, kui suur mõju on igal sisendil sõlme lõppväljundi arvutamisel. Närvivõrgu treenimise käigus muudetakse ainult kaalude väärtuseid.
36. rida ⟶ 35. rida:
Närvivõrgu genereeritud väljundit võrreldakse soovutatakse väljundiga ja arvutatakse viga valemiga
<math> E= \sum_P\sum_p(y_i-t_i)^2
kus ''t<sub>i</sub>'' on soovitud väljundi väärtus, ''y<sub>i</sub>'' on närvivõrgu genereeritud väljund, ''p'' on väljundsõlmede arv ja ''P'' on treeningpunktide arv. Iga iteratsiooniga liigub viga närvivõrgus tagurpidi tagasi ja selle abil muudetakse kaalude väärtuseid<ref name="mudelid" />.
====Tagasilevi====
49. rida ⟶ 47. rida:
\delta_{j_p} = \alpha_{j_q} (1 - \alpha_{j_q} )( t_{j_q } - \alpha_{j_q} ) \text{ kui on väljund neuron} \\
\delta_{j_p} = \alpha_{j_q} (1 - \alpha_{j_q} )\sum_{x=0}^{n} \delta_{k_x} w_{jk_x} \text{ kui on peidetud neuron}
\end{cases},
</math>
kus ''i'' on eelnev sõlm, ''j'' on järgnev sõlm, ''k'' on kihtide arv, mis järgnevad sõlmele ''j''; ''ij'' on kaal sõlmede ''i'' ja ''j'' vahel, ''jk'' on kaal sõlmede ''j'' ja ''k'' vahel, ''w'' on kaalud, ''α'' on sõlmede aktivatsioonid ja ''ε'' on õpisamm.<ref name="narvivorgud" /> Kuna tagasilevi parandab kaalusid lähtudes [[gradientlaskumine|gradiendist]], siis see on äärmiselt tundlik lokaalsete miinimumide suhtes ja ei lähene alati [[Ekstreemum|globaalsele miinimumile]]<ref name="loomutamine" />.
====Simuleeritud lõõmutamine====
[[Pilt:Simuleeritud lõõmutamine tõlgitud.gif|pisi|390x390px|Simuleeritud lõõmutamismeetodi kasutamine globaalse maksmumi leidmiseks.]]
Simuleeritud lõõmutamine on analoogne [[Lõõmutamine|lõõmutamisele]], mis on füüsikaline protsess, kus teras kuumutatakse üle kriitilise punkti ja siis aeglaselt jahutamise käigus moodustub kristalne struktuur. Simuleeritud lõõmutamise käigus algoritm alustab tegevust kõrgel temperatuuril (''T'') ja iga iteratsiooniga ''T'' langeb ette määratud miinimumini. Iga ''T'' juures määratakse uued suvalised kaalud ja parimad tulemused jäetakse alles.<ref name="loomutamine" /> Alternatiivina seotakse ''T'' juhusliku sammu pikkusega ja algoritm astub järjest väiksema sammuga juhuslikus suunas. Lokaalsete miinimumide vältimiseks valib simuleeritud lõõmutamise algoritm ette määratud tõenäosusega ka halvemaid juhtumeid, kuid seni läbitud juhtumite seast parimad jäetakse ikkagi alles.<ref name="geneetiline" /> Simuleeritud lõõmutamise suur eelis teiste otsingumeetodite ees on selle suur juhuslik otsinguruum, mille tõttu jääb see palju harvem lokaalsete miinimumide taha kinni<ref name="loomutamine" />.
====Geneetiline algoritm====
78. rida ⟶ 76. rida:
<ref name="36U51">2016, Supervised learning , http://www.saylor.org/site/wp-content/uploads/2011/11/CS405-6.2.1.2-WIKIPEDIA.pdf</ref>
<ref name="hfd7T">Cios, K. J., Swiniarski, R. W., Pedrycz, W., & Kurgan, L. A. (2007). Supervised Learning: Neural Networks. In Data Mining (lk. 419–451). Springer US.</ref>
<ref name="M4imw">Sutton, R. S., & Barto, A. G. (1998). Reinforcement learning: An introduction (Vol. 1, No. 1). Cambridge: MIT press.</ref>
}}
| |||