Skip to content
This repository was archived by the owner on Jun 4, 2024. It is now read-only.

Commit

Permalink
docs: notace
Browse files Browse the repository at this point in the history
  • Loading branch information
ondrej-salat committed Mar 25, 2024
1 parent 91a7148 commit 3f7b0a2
Show file tree
Hide file tree
Showing 4 changed files with 28 additions and 1 deletion.
Binary file added docs/images/bias_a_neuron.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added docs/images/vaha_v_siti.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
5 changes: 5 additions & 0 deletions docs/literature.bib
Original file line number Diff line number Diff line change
Expand Up @@ -11,4 +11,9 @@ @online{umely_neuron
@online{sit,
title = {Neuronová síť, obrázek},
url = {https://www.oreilly.com/api/v2/epubs/9781838642709/files/assets/61bc8450-f3ac-4d81-b405-3d748e30d04a.png},
},
@onlice{vaha_v_siti,
title = {Váha v síti},
url = {http://neuralnetworksanddeeplearning.com/images/tikz16.png},
}
24 changes: 23 additions & 1 deletion docs/sections/strojoveuceni.tex
Original file line number Diff line number Diff line change
Expand Up @@ -18,4 +18,26 @@ \subsection{Zpětné počítání chyby}

\subsection{Počítání chyby a aktualizace vah a biasů}
Celková chyba sítě se označuje velkým písmenem \(C\). Při zpětné úpravě vah a biasů nás zajímá jaká je derivace chyby vůči každé váze \(\frac{\delta C}{\delta w}\) a biasu \(\frac{\delta C}{\delta b}\).
V moment, kdy budeme znát tento vztah, tak víme jakým směrem upravit váhu nebo bias, abychom snížili celkovou chybu sítě.
V moment, kdy budeme znát tento vztah, tak víme jakým směrem upravit váhu nebo bias, abychom snížili celkovou chybu sítě.

Důležitá část pro pochopení vzorce algoritmu zpětné počítání chyby je notace zápisu neuronové sítě.
Proto je potřeba nejprve definovat zápis a až dále se budu věnovat samotným vzorcům a vztahům při počítání zpětné počítání chyby.
Pro po popsání váhy budem zapisovat jako \(w_{jk}^l\), kde \(l\) je číslo vrstvy, \(j\) je označení,
do kterého neuronu v \(l\)-té vrstvě váha směřuje a číslo \(k\) označuje z kolikátého neuronu z vrstvy \(l-1\) váha vychází.

\begin{figure}[h]
\centering
\includegraphics[width=0.7\textwidth]{images/vaha_v_siti.png}
\caption{Příklad zápisu váhy}\cite{vaha_v_siti}
\end{figure}

Podobná notace se použije také při popisu biasu, neaktivované a neaktivované hodnoty neuronu.
Bias neuronu se zapíše jako \(b_{j}^l\), kde \(l\) je vrstva neuronu a \(j\) je \(j\)-tý neuron v \(l\)-té vrstvě.
Hodnota neuronu před aktivací je označí písmenem \(z_{j}^{l} = \left( \sum_k w^{l}_{jk} a^{l-1}_k + b^l_j \right)\).
Hodnota aktivovaného neuronu ze zapíše \(a_j^l = \sigma(z_j^l)\).

\begin{figure}[h]
\centering
\includegraphics[width=0.7\textwidth]{images/bias_a_neuron.png}
\caption{Příklad zápisu biasu, aktivace a neaktivace neuronu}\cite{bias_a_neuron}
\end{figure}

0 comments on commit 3f7b0a2

Please sign in to comment.