Transformer
ia
Arquitetura de rede neural, baseada no mecanismo de atenção, que é a fundação dos LLMs modernos.
O Transformer é a arquitetura de rede neural introduzida em 2017 (“Attention Is All You Need”) que virou a base de praticamente todo LLM moderno (GPT, Claude, Gemini, Llama).
A ideia central é o mecanismo de atenção: ao processar cada token, o modelo “presta atenção” nos outros tokens da sequência e pesa quais são mais relevantes para o contexto. Isso permite capturar relações de longo alcance no texto (quem é “ele” numa frase, por exemplo) de forma paralela e eficiente — o que destravou o treino em escala massiva que temos hoje.