Janela de contexto

ia

A quantidade máxima de tokens que um LLM consegue considerar de uma vez — tudo somado: prompt, histórico e resposta.

A janela de contexto (context window) é o limite de tokens que o modelo “enxerga” numa única chamada — incluindo as instruções, o histórico da conversa, os documentos que você anexou e a própria resposta gerada.

Quando o conteúdo ultrapassa a janela, algo precisa ser cortado — e o modelo “esquece” o que ficou de fora. Janelas maiores (centenas de milhares de tokens) ajudam, mas não substituem boas estratégias: resumir o histórico, e usar RAG para trazer só os trechos relevantes em vez de despejar tudo.

Termos relacionados