[NPFL067] Stat. NLP – Condtitonal Cross Entropy

Nevíte někdo, jestli je správně vzorec pro conditional coss entropy v Hajičových slidech:
$$H_{p'}(p) = -\frac{1}{T'}\sum_{i = 1...|T'|} \mathrm{log}_2 \left( \mathsf{p}(y_i | x_i) \right)$$
Pokud ano, co přesně znamená $y_i$a$x_i$ ?

Jak by se tedy měl řešit příklad 2 ze zadání http://ufal.mff.cuni.cz/~hajic/courses/ ... swers.html?

vzorec nevím, ale H = - 1/|T| * (pL(b)+p(a|b)+p(a|a)+p(a|a)) = - 1/4 * (-3 + 0 -1 -1) = 5/4

edit: nevím, jestli jistě pL(b), možná pR(b), ale obojí je stejný, tak tady to nevadí.

Díky moc. Já to pořád počítal, až od toho prvního „opravdového bigramu“, tj. $\mathsf p(a|b)$ a pak to dělil třema, proto mi to nevycházelo. (Chybí ti tam logaritmy před těmi pravděpodobnostmi. :) )

Jinak ten vzorec je nejspíš správně, akorát se musím smířit s tím že $x_i$ je historie $y_i$.