Vizualizace mechanismů pozornosti ve Vision Transformerech

Machynka, Jan

Vizualizace mechanismů pozornosti ve Vision Transformerech

DSpace Repository

Language: English čeština

Vizualizace mechanismů pozornosti ve Vision Transformerech

dc.contributor.advisor	Turečková, Alžběta
dc.contributor.author	Machynka, Jan
dc.date.accessioned	2025-12-10T23:09:50Z
dc.date.available	2025-12-10T23:09:50Z
dc.date.issued	2024-10-27
dc.identifier	Elektronický archiv Knihovny UTB
dc.identifier.uri	http://hdl.handle.net/10563/57726
dc.description.abstract	Tato diplomová práce se zaměřuje na vizualizaci a interpretovatelnost mechanismů pozornosti v architektuře Vision Transformer (ViT) - neuronová síť vycházející z architektury Transformer, adaptované pro efektivní zpracování a klasifikaci obrazových dat. Teoretická část představuje základní architekturu ViT a zkoumá jejich relevantní varianty, přičemž systematicky rozebírá dosavadní přístupy k vizualizaci a interpretaci mechanismů pozornosti, a to včetně důkladného zasazení do současného poznání vizualizací a interpretovatelnosti strojového učení. Praktická část popisuje vývoj a implementaci nástroje pro vizualizaci variant ViT, včetně unikátní adaptace metody LRP pro hierarchický transformer, a hodnotí klíčové aspekty a omezení použitých metod. Výsledky práce přispívají k hlubšímu pochopení vnitřního fungování modelů a nastiňují směr pro další výzkum v oblasti vizualizací mechanismů pozornosti a jejich interpretovatelnosti.
dc.format	143s (162 000 znaků)
dc.language.iso	cs
dc.publisher	Univerzita Tomáše Bati ve Zlíně
dc.rights	Bez omezení
dc.subject	Vision Transformer	cs
dc.subject	ViT	cs
dc.subject	Mechanismy pozornosti	cs
dc.subject	Vysvětlitelná umělá inteligence	cs
dc.subject	XAI	cs
dc.subject	Neuronové sítě	cs
dc.subject	Počítačové vidění	cs
dc.subject	Interpretovatelnost	cs
dc.subject	Vizualizační techniky	cs
dc.subject	Hluboké učení	cs
dc.subject	Hodnocení datových sad	cs
dc.subject	Vision Transformer	en
dc.subject	ViT	en
dc.subject	Attention Mechanisms	en
dc.subject	Explainable AI	en
dc.subject	XAI	en
dc.subject	Neural Networks	en
dc.subject	Computer Vision	en
dc.subject	Interpretability	en
dc.subject	Visualization Techniques	en
dc.subject	Deep Learning	en
dc.subject	Dataset Evaluation	en
dc.title	Vizualizace mechanismů pozornosti ve Vision Transformerech
dc.title.alternative	Visualization of Attention Mechanisms in Vision Transformers
dc.type	diplomová práce	cs
dc.contributor.referee	Volná, Eva
dc.date.accepted	2025-06-18
dc.description.abstract-translated	This master's thesis focuses on the visualization and interpretability of attention mechanisms in the Vision Transformer (ViT) architecture - neural network based on the Transformer architecture adapted for efficient processing and classification of image data. The theoretical part presents the underlying architecture of ViT and examines its relevant variants, while systematically analyzing existing approaches to the visualization and interpretation of attention mechanisms, including a thorough contextualization within the current field of machine learning visualization and interpretability. The practical part describes the development and implementation of a tool for visualizing ViT variants, including a unique adaptation of the LRP method for a hierarchical transformer, and evaluates the key aspects and limitations of the methods employed. The results of the thesis contribute to a deeper understanding of the internal workings of these models and outline directions for further research on the visualization and interpretability of attention mechanisms.
dc.description.department	Ústav informatiky a umělé inteligence
dc.thesis.degree-discipline	Softwarové inženýrství	cs
dc.thesis.degree-discipline	Software Engineering	en
dc.thesis.degree-grantor	Univerzita Tomáše Bati ve Zlíně. Fakulta aplikované informatiky	cs
dc.thesis.degree-grantor	Tomas Bata University in Zlín. Faculty of Applied Informatics	en
dc.thesis.degree-name	Ing.
dc.thesis.degree-program	Informační technologie	cs
dc.thesis.degree-program	Information Technologies	en
dc.identifier.stag	70124
dc.date.submitted	2025-05-29