Wat is een Transformer?

Een Transformer is een deep learning architectuur geïntroduceerd in 2017 die gebruikmaakt van attention mechanisms om sequentiële data zoals tekst efficiënt te verwerken.

Het doel van de transformer-architectuur is het efficiënt verwerken van lange sequenties door alle posities tegelijk te bekijken in plaats van stap-voor-stap.

Transformers gebruiken self-attention om relaties tussen alle woorden in een zin tegelijkertijd te berekenen, waardoor parallelle verwerking en betere context-begrip mogelijk wordt.

GPT, BERT, T5, en de meeste moderne taalmodellen zijn gebaseerd op de transformer-architectuur, evenals veel image- en multimodale modellen.

Attention Mechanism, Large Language Model, GPT, BERT