== Rozsah látky ==
Oficiální seznam otázek ([http://www.mff.cuni.cz/studium/bcmgr/ok/i3b51.htm] léto 2011):
:Neurofyziologické minimum: struktura neuronu, typy synapsí, hlavní části mozku.
:Modely pro učení s učitelem: perceptron, algoritmus zpětného šíření, strategie pro urychlení učení, interní reprezentace znalostí, generalizace, regularizační techniky. Asociativní paměti; Hebbovské učení, BAM, Hopfieldův model, energetická funkce a hledání suboptimálních řešení. Stochastické modely; simulované žíhání, Boltzmannův stroj.
:Klastrovací techniky a samoorganizace; k-means algoritmus, hierarchické shlukování, evoluční stromy.
:Umělé neuronové sítě založené na principu učení bez učitele; Ojův algoritmus učení, laterální inhibice, Kohonenovy mapy a jejich varianty pro učení s učitelem, sítě typu ART.
:Modulární, hierarchické a hybridní modely neuronových sítí; adaptivní směsi lokálních expertů, vícevrstvé Kohonenovy mapy, sítě se vstřícným šířením, RBF-sítě, kaskádová korelace. Genetické algoritmy, věta o schématech.
:Aplikace umělých neuronových sítí a evolučních technik (analýza dat, bioinformatika, zpracování obrazové informace, robotika a další).
==Materiály==
Zejména slajdy Mrázových. Viz [[Neuronové sítě]] (stránka předmětu) - http://ksvi.mff.cuni.cz/~mraz/nn/ http://ksvi.mff.cuni.cz/~mraz/atns/
Pro stručnější nakopávačku na rozjezd můžete zkusit dataminingovou přednášku http://ksvi.mff.cuni.cz/~mraz/datamining/lecture/Dobyvani_Znalosti_Prednaska_Neuronove_site.pdf
Lehce dohledatelna [http://page.mi.fu-berlin.de/rojas/neural/index.html.html na webu](v knihovne jich taky par je) je kniha Neural Networks - A Systematic Introduction, Raul Rojas. Struktura slajdu kopiruje dost presne tuhle knihu, doporucuju otevrit, kdykoliv nerozumite vecem ve slajdech.
[[Category: Státnice Informatika Mgr.]]
== Neurofyziologické minimum ==
* http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_Uvod.pdf
* Wikipedie (mozek, neuron, synapse)
* Informatika a kognitivní vědy
== Učení s učitelem ==
=== Perceptron ===
http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_Perceptron.pdf
==== Algoritmus zpětného šíření ====
http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_BP.pdf
==== Strategie pro urychlení učení ====
Viz slajdy výše. Volba počátečních vah, zpětné šíření s momentem.
Adaptivní parametr učení: Silva & Almeida (zrychluj, zůstává-li znaménko chybového gradientu stejné, zpomal, když se změnilo), Delta-bar-delta (testuj znaménko s momentem), Super SAB (urychluje, při změně znaménka chyby se vrátí a rychle zpomalí).
Algoritmy druhého řádu (druhá derivace chybového gradientu): Newtonova metoda (Hessovská matice), QuickProp (dívá se na poslední dvě parciální derivace), Levenberg-Marquart (kombinace předchozích).
Relaxační metody - náhodná perturbace vah, možná to bude lepší.
==== Interní reprezentace znalostí ====
http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_IR.pdf
Reprezentace neuronu je v zásadě množina výstupních stavů přes všechny vstupy. Chceme, aby neurony dávaly jednoznačné výstupy (0, 0.5, 1), rozličnou reprezentaci vnitřních neuronů pro různé výstupy sítě, a vůbec unikátní nekonstantní reprezentaci.
==== Generalizace ====
http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_BP_analyza.pdf
==== Regularizační techniky ====
Metody prevence přeučení
??? Možná PCA? Karhunen-Loevův rozvoj? ( http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_Uvod.pdf )
http://www.cedar.buffalo.edu/~srihari/CSE574/Chap5/Chap5.5-Regularization.pdf
== Asociativní paměti ==
http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_AM.pdf
Heteroasociativní sítě, autoasociativní, sítě pro rozpoznávání vzorů. Bez zpětné vazby, rekurentní (dynamický systém, atraktory), vlastní automaty (co jsou pevné body systému? vlastní vektory váhové matice), asociativní učení (vzory jsou atraktory).
==== Hebbovské učení ====
http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_AM.pdf
What fires together wires together. Korelační matice, perturbační člen, crosstalk. Vhodná ortogonálnost vstupů. Omezená kapacita $0.18n$.
==== BAM ====
http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_BAM_HM.pdf
Bidirektivní asociativní paměť.
==== Hopfieldův model ====
==== Energetická funkce a hledání suboptimálních řešení ====
Použití Hopfieldova modelu pro řešení optimalizačních úloh (n věží, TSP). Postavíme energetickou funkci a pak podle ní nastavíme váhy neuronů.
== Stochastické modely ==
=== Simulované žíhání ===
=== Boltzmannův stroj ===
== Klastrovací techniky a samoorganizace ==
=== k-means algoritmus ===
http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_UBU.pdf
=== hierarchické shlukování ===
=== evoluční stromy ===
== Učení bez učitele v ANN ==
http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_UBU.pdf
=== Ojův algoritmus učení ===
=== laterální inhibice ===
=== Kohonenovy mapy ===
...a jejich varianty pro učení s učitelem.
=== Sítě typu ART ===
http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_KH_HM.pdf
== Modulární, hierarchické a hybridní modely neuronových sítí ==
http://ksvi.mff.cuni.cz/~mraz/atns/ATNS_Prednaska_Modular.pdf
=== adaptivní směsi lokálních expertů ===
=== vícevrstvé Kohonenovy mapy ===
http://ksvi.mff.cuni.cz/~mraz/atns/ATNS_Prednaska_Self-Organizing.pdf
Slajdy čerpají z tohoto článku, kde je to, jako vždy, konečně pochopitelně vysvětlené: http://www.cs.uga.edu/~suchi/pubs/suchi-nn-1995.pdf
=== sítě se vstřícným šířením ===
http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_KM_HM.pdf
=== RBF-sítě ===
http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_KM_HM.pdf
=== kaskádová korelace ===
http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_KM_HM.pdf
== Genetické algoritmy ==
http://ksvi.mff.cuni.cz/~mraz/nn/Neuronove_Site_Prednaska_GA.pdf
=== věta o schématech ===
== Aplikace umělých neuronových sítí a evolučních technik ==
Na tuhle otázku se Mrázová ptá opravdu málokdy, ale předpokládám, že přednáška [http://ksvi.mff.cuni.cz/~mraz/atns/ ATNS] ji bude docela dobře pokrývat.
=== analýza dat ===
Nejčastěji se používá asi klasická lineární/logistická regrese (což není neuronová síť) pro predikci nějaké cílové proměnné(resp. třídy). Perceptron s logistickou aktivační funkcí je stejný model, jako logistická regrese, rozdíl je v tom jak se trénují parametry.
Jinak obecně pro analýzu dat se používají prakticky všechny metody, které jsou v okruzích, asi je tu od zkoušeného vyžadován nějaký příklad, tak si vyberte nějakou metodu a najděte si k ní článek co se zabývá aplikací.
'''Např:''' V bance mají kopu indikátorů o klientech:
* statistiky o jejich účtech
* behaviorální indikátory - jak často vybírají z bankomatu, ..
* sociální indikátory - věk, jestli žijou v rodině, ...
* indikátory o splácení půjček - jak často jsou po splatnosti, insolvence (nesplatí půjčku), ...
Cíl je, když přijde klient tak určit, s jakou pravděpodobností splatí půjčku. Součástí úlohy je: vybrat relevantní indikátory, natrénovat různé modely (klasické vrstevnaté ANN s různými architekturami), otestovat modely a vybrat ten s nejlepší prediktivní schopností.
=== bioinformatika ===
V bioinformatice data co analyzujeme budou asi primárně DNA a RNA sekvence. Aplikace je, že vezmeme nejakou anotovanou datovou sadu sekvencovaných DNA/RNA a vyvíjíme nějaký prediktivní model (predikujeme něco z anotací).
=== zpracování obrazové informace ===
Určitě zmínit [https://en.wikipedia.org/wiki/Convolutional_neural_network konvoluční neuronové sítě]. V dnešní době se prakticky nic jiného nepoužívá. V 2015-2016 relativně populární obor NN, je hodně zajímavých článků, např http://arxiv.org/abs/1508.06576 a články z tohoto vycházející.
=== robotika ===
Zpracování visual feedu robota spadá pod zpracování obrazové informace. Nějaký prediktivní model o rozhodování akcí robota může být neuronová síť. Možná se kouknout na přednášku [Evoluční robotika http://ksvi.mff.cuni.cz/~mraz/EvoRob/]
