CNN seminář

From MerlinWiki
Jump to: navigation, search

CNN seminář slouží jako místo pro setkávání, sdílení znalostí a spolupráci pro všechny zájemce o konvolční neuronové sítě, hlavně pak pro studenty pracující na BP/DP projektech. Seminář vede Michal Hradiš (pro mé studenty je seminář povinný).

Organizace

  • Termín středa 16:00-18:00 v G202 (horní kaple) na FIT VUT. První seminář bude 10.10.2018.
  • Kdo máte, vezměte si s sebou počítače. Snad proběhnou interaktviní tutoriálové příklady.
  • Tutoriály letos asi budou v PyTorch.
  • Může přijít kdokoliv (i mimo v VUT), ale přednost budou mít témata a potřeby BP/DP studentů.
  • Novinky budu posílat na Google Group
  • Příklady, tutoriály, úkoly jsou na GitHub.

Program

  • 10.10. - Seznámení, organizace, co jsou neuronové sítě, síť je funkce, loss funkce, objektivní fce., dataset, optimalizace, derivace, GD, SGD, v čem a jak počítat neuronové sítě, tutoriálový příklad: jednochá lineární regrese v Pytorch.
  • 17.10. - Složitější plně propojené neuronové sítě a jejich části. Plně propojená vrstva (y=Wx+b), nelinearity, regularizace sítí. Klasifikace - softmax, cross entropy loss, hinge loss. Regresní loss funkce - L1, Huber loss. R
  • 24.10. - Konvolučních neuronové sítě - konvoluční vrstva (proč je důležitá lokalita a translační invariance zpracování, co je to multi-channel konvoluce, co jsou to kanály aktivačních map, krok konvoluce), pooling. Jaký je standardní tvar klasifikačních sítí nad obrazem - na začátku velké rozlišení a málo kanálů, postupně snižování velikosti obrazu a zvyšování počtu kanálů.

Zdroje


Nástroje

  • PyTorch je asi ideální na učení (výuku) konvolučních sítí. Je pro Python a je imperativní, flexibilní a programátor má plnou kontrolu nad výpočtem.
  • Keras Jednoduché učení sítí pro Python.



2017

Organizace

  • V letním semestru se budeme scházet vždy ve Středu 16:00-18:00 zase v M103.
  • Může přijít kdokoliv, ale přednost budou mít témata a potřeby BP/DP studentů.
  • Novinky budu posílat na Google Group
  • Příklady, tutoriály, úkoly jsou na GitHub.
  • Kdo chcete přístup na testovací PC (s GTX 970), napište mi. Už jede.

Program

Zdroje

Nástroje

  • PyTorch je asi ideální na učení (výuku) konvolučních sítí. Je pro Python a je imperativní, flexibilní a programátor má plnou kontrolu nad výpočtem.
  • Keras Jednoduché učení sítí pro Python.
  • Jednoduché generování caffe sítí caffe-net-generator

2016

Program

  • 13.10. - Přednáška: Základy konvolučních sítí. Co je to to konvoluční síť? Jaké existují vrstvy? Jak se sítě učí? Příklady použití. Předchozí znalost CNN není nutná, ale bude vhodné, pokud už se trochu podíváte na neuronové sítě, zopakujete si, co je to derivace, chain rule, gradient, gradient descent, klasifikátor, regrese a podobně (pokud pojmy neznáte, nezoufejte, nějak to zvládneme). "Skutečná témata": síť je funkce, výpočetní graf, derivace, gradient, zpětné šíření chyb, gradient descent, SGD, konvoluční vrstva, základní aktivační vrstvy, násobení matic, neuron jako maticové násobení. (
  • 20.10. Přenáška: Opakování, vrstvy konvolučních sítí, inicializace vah, používané loss funkce, příklady architektur pro různé úlohy.
  • 27.10. Tutoriál Caffe.
  • 3.11. Tutoriál Keras. Prezentace Jan Stratil (NAN SVM(hinge loss) softmax) a Jan Kohút (Prezentace: https://mega.nz/#!gNom2SIZ!SZM1BGP0q_eVcaEQDJaDDLLGNpykIgPX5b1aj6XzhEw , BP: https://mega.nz/#!xMhH1BhZ!qq2zXZXWYrFYyaarQd-qVXS2SnL8tXj2QRAkED4NGUQ).
  • 10.11. Čigáš Patrik: Odhad osobnosti z videa. Témata: architektury sítí: Devil in details, VGG, inception, residual (res-net). Local response normalization, fully connected and convolution is equivalent.
  • 17.11. ZRUŠENO !!!
  • 24.11. Dalibor Skácel, Petr Dobeš (Optický tok: prezentace, článek, video), Témata: detekce a segmentace. Probrali jsme semantickou segmentaci s dekonvolučními vrstvami a skip architekturou. Detektory od RCNN až po plně konvoluční detektory, attentional struktury a regresi bounding boxu.
  • 1.12. Trénovací algoritmy. Momentum, AdaGrad, AdaDelta, RMSProp, Prezentace: Matúš Bako (Atari DRL)
  • 8.12. Rekurentní sítě (LSTM, GRU, ...)
  • 15.12. Téma: ???
    • Příspěvky: Lukáš Hubl,Kateřina Trávníčková
  • 5.1. Téma: Diskuze a otázky na témata BP/DP
  • 26.1. Pro malý zájem ZRUŠENO
  • 9.2. Téma: Keras workshop
  • 16.2. Téma: Metacentrum tutoriál, Caffe python interface
  • 2.3. Téma: Vyhodnocování klasifikace, detekce, segmentace, regrese, ... Co je to PRC, ROC, DET, f-measure, ...
  • 23.3. Téma: inicializace vah sítí
  • 30.3. NEBUDE - místo toho proběhne seminář o psaní BP/DP