== Rozsah látky ==
Oficiální seznam otázek ([http://www.mff.cuni.cz/studium/bcmgr/ok/i3b51.htm] léto 2011):
:Neurofyziologické minimum: struktura neuronu, typy synapsí, hlavní části mozku.
:Modely pro učení s učitelem: perceptron, algoritmus zpětného šíření, strategie pro urychlení učení, interní reprezentace znalostí, generalizace, regularizační techniky. Asociativní paměti; Hebbovské učení, BAM, Hopfieldův model, energetická funkce a hledání suboptimálních řešení. Stochastické modely; simulované žíhání, Boltzmannův stroj.
:Klastrovací techniky a samoorganizace; k-means algoritmus, hierarchické shlukování, evoluční stromy.
:Umělé neuronové sítě založené na principu učení bez učitele; Ojův algoritmus učení, laterální inhibice, Kohonenovy mapy a jejich varianty pro učení s učitelem, sítě typu ART.
:Modulární, hierarchické a hybridní modely neuronových sítí; adaptivní směsi lokálních expertů, vícevrstvé Kohonenovy mapy, sítě se vstřícným šířením, RBF-sítě, kaskádová korelace. Genetické algoritmy, věta o schématech.
:Aplikace umělých neuronových sítí a evolučních technik (analýza dat, bioinformatika, zpracování obrazové informace, robotika a další).
==Materiály==
Zejména slajdy Mrázových. Viz [[Neuronové sítě]] (stránka předmětu) - http://ksvi.mff.cuni.cz/~mraz/nn/ http://ksvi.mff.cuni.cz/~mraz/atns/
Pro stručnější nakopávačku na rozjezd můžete zkusit dataminingovou přednášku http://ksvi.mff.cuni.cz/~mraz/datamining/lecture/Dobyvani_Znalosti_Prednaska_Neuronove_site.pdf
[[Category: Státnice Informatika Mgr.]]
== Neurofyziologické minimum ==
* http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_Uvod.pdf
* Wikipedie (mozek, neuron, synapse)
* Informatika a kognitivní vědy
== Učení s učitelem ==
=== Perceptron ===
http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_Perceptron.pdf
==== Algoritmus zpětného šíření ====
http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_BP.pdf
==== Strategie pro urychlení učení ====
Viz slajdy výše. Volba počátečních vah, zpětné šíření s momentem.
Adaptivní parametr učení: Silva & Almeida (zrychluj, zůstává-li znaménko chybového gradientu stejné, zpomal, když se změnilo), Delta-bar-delta (testuj znaménko s momentem), Super SAB (urychluje, při změně znaménka chyby se vrátí a rychle zpomalí).
Algoritmy druhého řádu (druhá derivace chybového gradientu): Newtonova metoda (Hessovská matice), QuickProp (dívá se na poslední dvě parciální derivace), Levenberg-Marquart (kombinace předchozích).
Relaxační metody - náhodná perturbace vah, možná to bude lepší.
==== Interní reprezentace znalostí ====
http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_IR.pdf
Reprezentace neuronu je v zásadě množina výstupních stavů přes všechny vstupy. Chceme, aby neurony dávaly jednoznačné výstupy (0, 0.5, 1), rozličnou reprezentaci vnitřních neuronů pro různé výstupy sítě, a vůbec unikátní nekonstantní reprezentaci.
==== Generalizace ====
http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_BP_analyza.pdf
==== Regularizační techniky ====
Metody prevence přeučení
??? Možná PCA? Karhunen-Loevův rozvoj? ( http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_Uvod.pdf )
http://www.cedar.buffalo.edu/~srihari/CSE574/Chap5/Chap5.5-Regularization.pdf
== Asociativní paměti ==
http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_AM.pdf
Heteroasociativní sítě, autoasociativní, sítě pro rozpoznávání vzorů. Bez zpětné vazby, rekurentní (dynamický systém, atraktory), vlastní automaty (co jsou pevné body systému? vlastní vektory váhové matice), asociativní učení (vzory jsou atraktory).
==== Hebbovské učení ====
http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_AM.pdf
What fires together wires together. Korelační matice, perturbační člen, crosstalk. Vhodná ortogonálnost vstupů. Omezená kapacita $0.18n$.
==== BAM ====
http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_BAM_HM.pdf
Bidirektivní asociativní paměť.
==== Hopfieldův model ====
==== Energetická funkce a hledání suboptimálních řešení ====
Použití Hopfieldova modelu pro řešení optimalizačních úloh (n věží, TSP). Postavíme energetickou funkci a pak podle ní nastavíme váhy neuronů.
== Stochastické modely ==
=== Simulované žíhání ===
=== Boltzmannův stroj ===
== Klastrovací techniky a samoorganizace ==
=== k-means algoritmus ===
http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_UBU.pdf
=== hierarchické shlukování ===
=== evoluční stromy ===
== Učení bez učitele v ANN ==
http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_UBU.pdf
=== Ojův algoritmus učení ===
=== laterální inhibice ===
=== Kohonenovy mapy ===
...a jejich varianty pro učení s učitelem.
=== Sítě typu ART ===
http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_KH_HM.pdf
== Modulární, hierarchické a hybridní modely neuronových sítí ==
http://ksvi.mff.cuni.cz/~mraz/atns/ATNS_Prednaska_Modular.pdf
=== adaptivní směsi lokálních expertů ===
=== vícevrstvé Kohonenovy mapy ===
http://ksvi.mff.cuni.cz/~mraz/atns/ATNS_Prednaska_Self-Organizing.pdf
Slajdy čerpají z tohoto článku, kde je to, jako vždy, konečně pochopitelně vysvětlené: http://www.cs.uga.edu/~suchi/pubs/suchi-nn-1995.pdf
=== sítě se vstřícným šířením ===
http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_KH_HM.pdf
=== RBF-sítě ===
http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_KH_HM.pdf
=== kaskádová korelace ===
http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_KH_HM.pdf
== Genetické algoritmy ==
http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_GA.pdf
=== věta o schématech ===
== Aplikace umělých neuronových sítí a evolučních technik ==
=== analýza dat ===
=== bioinformatika ===
=== zpracování obrazové informace ===
=== robotika ===
