Dobývání znalostí

From ωικι.matfyz.cz

Dobývání znalostí

Kód předmětu:	NDBI023 (http://is.cuni.cz/studium/predmety/index.php?do=predmet&kod=NNDBI023)
Přednáší:	Doc. RNDr. Mrázová Iveta, CSc.

Table of contents

1 Obecné informace k předmětu

2 Termíny písemek

2.1 Okruhy otázek na první písemku 8. 4. 2008

3 Příklady ze cvičení

3.1 Algoritmus TDIDT

3.1.1 vitamín
3.1.2 rodina
3.1.3 cvičil
3.1.4 Bypass
3.1.5 B
3.1.6 C
3.1.7 D

3.2 Perceptron

[edit]

Obecné informace k předmětu

Stránky předmětu (http://ksvi.mff.cuni.cz/~mraz/datamining/index.html)
Shrnutí na zkoušku

Wikipedia:Datamining
Statistics Tutorials (http://home.okstate.edu/homepages.nsf/toc/onlinetutorialsstatistics)
How to choose a statistical test (http://www.graphpad.com/www/book/choose.htm)
Statistical Data Mining Tutorials (http://www.autonlab.org/tutorials/)

[edit]

Termíny písemek

8. 4. 2008
13. 5. 2008

[edit]

Okruhy otázek na první písemku 8. 4. 2008

Transformace do intervalu <0,1>, směrodatná odchylka, chi kvadrát test a Fisherův test
Rozhodovací stromy - popsat některý algoritmus, rozhodnout který algoritmus je vhodný
MBA - jednoduchá tabulka - pravidla, které je nejlepší a proč, algoritmus generování pravidel

[edit]

Příklady ze cvičení

[edit]

Algoritmus TDIDT

Povedzme že budeme rozdeľovať podľa atribútu vitamín...

1 level, vetva pre...

[edit]

vitamín

B (2+, 3-)

$-\frac{n_+(Vit(B))}{m(Vit(B))}.log_2\frac {n_+(Vit(B))}{n(Vit(B))} - \frac{n_-(Vit(B))}{n(Vit(B))}.log_2\frac {n_-(Vit(B))}{n(Vit(B))} = 0.97$

C (4+, 0-)

$\dots = 0.0$ (z "definície"...)

D (3+, 2-)

$\dots = 0.97$

Entropia: $H(Vit) = \frac{0.971*5 + 0*4 + 0.971*5}{14} = 0.6936$ (vážený priemer)

[edit]

rodina

veľká (2+, 2-)

$-\frac{n_+(Rod(velka))}{m(Rod(velka))}.log_2\frac {n_+(Rod(velka))}{n(Rod(velka))} - \frac{n_-(Rod(velka))}{n(Rod(velka))}.log_2\frac {n_-(Rod(velka))}{n(Rod(velka))} = 1$

stredná (4+, 2-)

$\dots = 0.9183$

malá (3+, 1-)

$\dots = 0.8113$

Entropia: $H (R o d) = 0.9111$

[edit]

cvičil

Entropia: $H (C v i c i l) = 0.7885$

[edit]

Bypass

Entropia: $H (B y p a s s) = 0.8922$

... budeme teda pokračovať podľa atribútu Vitamín (najmenšia entropia).

Množinu rozdelíme na 3 skupiny (B,C,D). C-čko všetci prežili, máme dve skupiny pre Bcomplex a D - spočítame znovu strednú entropiu (aby sme vedeli, podľa čoho ďalej štiepiť).

[edit]

B

vyberieme riadky s Bcomplex a robíme to isté :)

$H (R o d) = 0.4$ $H (C v i c i l) = 0$ $H (B y p a s s) = 0.9183$

[edit]

C

...je jasné, tam nik nezomrel... :)

[edit]

D

$H (R o d) = 0.9183$ $H (C v i c i l) = 0.9183$ $H (B y p a s s) = 0$

...ďalej sa teda bude štiepiť v Bčku podľa "Cvicil" a v Dčku podľa "Bypass"

[edit]

Perceptron

uloha: naucit perceptron rozoznavat body v 2D na 2 skupiny...

popis perceptronu v matlabe:
- vyhodnoti sa potom... $x=[\begin{matrix} x_1 & x_2 \end{matrix} ]$ => $p e r c r e c a l l = w 1 * x 1 + w 2 * x 2 + p r a h * 1$
- ...rozsireny vstupny vektor $x_1'=[\begin{matrix} x_1 & x_2 & 1 \end{matrix} ]$
- $v y s t u p = h a r d l i m 1(p * x 1')$ (hardlim1(<=0)=0; hardlim1(>0)=1)

inicializacia : $p=[ \begin{matrix} 1 1 1 \end{matrix} ]$
vstup: $A=\left[ \begin{matrix} 1 & 1 & 2 & 3 \\ 1 & 3 & 2 & 1 \end{matrix} \right]$
vystup (chceme): $c = [ \begin{matrix} 1 & 1 & 0 & 0 \end{matrix} ]$

uciaca konstanta $a = 0.2$
ucenie prebieha takto:
- vezme sa vzor, ak sedi, nic nerobime
- ak najdeme chybu - pricitame/odcitame (pozadovany-skutocny vystup - napr. v priklade y = hardlim1(p * AA);dif = c(3) − y(3)) dany vektor k vaham... (c(3) − y(3)) * AA(:,3)
  - dostavam novy perceptron $p 1 = p + a * ((c (3) - y (3)) * A A (:,3))'$
- - to je zla matica (ma byt samozrejme [1 1 0 0])- znovu zopakujeme postup...
    - $p1=[ \begin{matrix} 0.6 & 0.6 & -0.2 \end{matrix} ] => y1=[ \begin{matrix} 1 & 1 & 1 & 1 \end{matrix} ]$
    - - teraz budeme skusat prvy vektor (ktory je nespravny)
    - - ... N iteracii (N=?)