Un tresformador ye una arquiteutura de aprendizaxe fondu basada principalmente nel mecanismu d'atención, que permite determinar la relevancia relativa de distintos elementos d'una secuencia. La arquitectura foi presentada en 2017 por Ashish Vaswani y otros investigadores nel artículu científicu Attention Is All You Need.
A diferencia de munchos modelos anteriores pal procesamientu de secuencies, el tresformador orixinal nun dependía de redes neuronales recurrentes nin de convoluciones. El so elementu fundamental ye'l mecanismu de autoatención, que permite al modelu rellacionar simultáneamente distintos elementos d'una secuencia y procesalos de manera altamente paralelizable.
La arquitectura orixinal taba formada por un codificador y un decodificador, organizaos en bloques sucesivos d'atención y redes neuronales. Como'l modelu nun procesa necesariamente los elementos de manera secuencial, incorpórase información sobre la posición de cada elementu mediante una codificación posicional.
Los tresformadores tuvieron una influencia fundamental nel desenvolvimientu posterior de la intelixencia artificial, especialmente nel procesamientu del llinguaxe natural. Arquitectures derivaes dieron llugar a modelos como BERT y los tresformadores xenerativos preentrenaos (GPT), y el principiu tamién s'aplicó posteriormente a campos como la visión artificial, el procesamientu d'audiu y la bioloxía computacional.
Referencies
Enllaces esternos
Categoría:Aprendizaxe automáticu Categoría:Aprendizaxe fondu Categoría:Redes neuronales artificiales Categoría:Procesamientu del llinguaxe natural