O que é LLM: definição, funcionamento e aplicações

Definição técnica, sem simplificar

Um Large Language Model é uma rede neural profunda, baseada na arquitetura Transformer, treinada para minimizar o erro de previsão do próximo token em sequências massivas de texto. Não há regra escrita à mão, não há árvore de decisão — há uma função com bilhões de parâmetros ajustados estatisticamente para que, dado um contexto, a distribuição de probabilidade sobre o próximo fragmento de texto se aproxime do que aparece em dados reais de treinamento.

Isso não é reducionismo — é a explicação de por que LLMs alucinam: o modelo nunca “sabe” um fato no sentido humano. Ele estima a palavra estatisticamente mais provável dado tudo que veio antes. Quando essa estimativa coincide com a realidade, parece conhecimento. Quando não coincide, é alucinação — e as duas saem exatamente do mesmo mecanismo.

Do texto ao vetor: como a máquina “lê”

Texto bruto é dado discreto — uma rede neural só opera sobre números contínuos. A conversão passa por três etapas:

A matemática limpa do RoPE, sem mistura com RNN

O vetor de dimensão d é quebrado em d/2 subespaços bidimensionais. Cada par de coordenadas é tratado como um número complexo:

z_i = x_2i + j·x_2i+1

Para o token na posição m, multiplica-se cada número complexo por um fator de fase — a fórmula de Euler aplicada diretamente ao vetor, sem estado oculto, sem porta, sem memória sequencial:

z'_i = z_i · e^(j·m·θ_i) = (x_2i + j·x_2i+1)(cos(mθ_i) + j·sin(mθ_i))

onde θ_i = 10000^(-2i/d)

Em forma matricial real — a rotação de fato aplicada aos vetores:

[x'_2i  ]   [cos(mθ_i)  -sin(mθ_i)] [x_2i  ]
[x'_2i+1] = [sin(mθ_i)   cos(mθ_i)] [x_2i+1]

Repare no que não aparece em lugar nenhum dessa matemática: portão de entrada, portão de saída, estado anterior h_{t-1}, ativação sigmoide. RoPE não guarda memória sequencial — ele só muda a orientação geométrica do vetor no espaço de embedding. Quando o produto escalar Q·K^T é calculado logo depois, a trigonometria por si só já incorpora a distância entre os tokens, em paralelo, sem o gargalo de desvanecimento de gradiente que limitava LSTMs em contexto longo.

Verificação numérica própria (script Python com numpy puro, sem framework de deep learning): a curva mostra o produto escalar médio |Q·K| rotacionado, sobre 300 pares de vetores aleatórios, em função da distância relativa entre tokens — reproduzindo a propriedade de decaimento de longo alcance do paper original. Um teste de sanidade prévio confirmou que <R(m)q, R(n)k> depende só de m-n, nunca das posições absolutas: <R(5)q, R(2)k> e <R(42)q, R(39)k> — mesma distância relativa (3), posições completamente diferentes — deram o valor idêntico 2.775415, com diferença de 4.44e-16 (ruído de ponto flutuante). É a prova numérica de que RoPE não guarda nenhum estado acumulado, ao contrário de LSTM.

O mecanismo central: atenção

A inovação que separou os Transformers de tudo que veio antes é a capacidade de pesar dinamicamente a relevância entre todos os pares de token numa sequência. A fórmula, sem atalho:

Q = X·W_Q    K = X·W_K    V = X·W_V

Attention(Q, K, V) = softmax( (Q·K^T) / √d_k + M ) · V

Q·K^T é a matriz de afinidade entre cada token e todos os outros — cada célula responde “quanto o token i deveria prestar atenção no token j?”. A divisão por √d_k evita que o Softmax “achate” o gradiente quando as dimensões são muito altas. E M é a máscara causal: uma matriz triangular que zera a atenção sobre tokens futuros, garantindo que o modelo, ao prever o próximo token, só veja o que já foi escrito — nunca o que ainda vai vir.

Como o modelo decide a próxima palavra

Depois de várias camadas de atenção e redes feed-forward, o vetor final do último token vira um conjunto de logits — um número por palavra do vocabulário inteiro. O Softmax converte isso em probabilidade, controlada por um parâmetro chamado temperatura:

• T→0A distribuição colapsa no argmax — sempre a palavra mais provável, resposta determinística (greedy search).
• T>1Os logits se achatam, aumentando a variância — respostas mais “criativas”, e também mais sujeitas a erro.
• Top-PRestringe a amostragem aos tokens cuja probabilidade acumulada soma P — corta a cauda longa de opções irrelevantes sem zerar toda a aleatoriedade.

Por que o modelo bruto não é o produto final

Um modelo treinado só para minimizar erro de previsão de texto é, na prática, um “completador” estatístico — não um assistente útil. O pipeline de pós-treino resolve isso em duas etapas: SFT (Supervised Fine-Tuning), ajuste com exemplos limpos de instrução-resposta, e DPO/RLHF (Direct Preference Optimization / Reinforcement Learning from Human Feedback), que penaliza saída indesejada e recompensa resposta concisa e estruturada. É esse segundo estágio que transforma um “previsor de próxima palavra” em algo que parece ter opinião, tom e limite.

O que isso muda na prática de GEO

• 01 Densidade de entidade funciona porque o modelo é geométrico. Nomes próprios e dados específicos ocupam posições distintas no espaço vetorial — texto genérico se aglomera perto do “centro de massa” do que já é comum, com menos peso de atenção.
• 02 A máscara causal explica por que ordem importa. Informação que aparece cedo no texto influencia a geração de tudo que vem depois; o inverso não é verdade — reforça, com matemática, por que BLUF (resposta primeiro) funciona.
• 03 Alucinação não é bug isolado — é o mesmo mecanismo da resposta certa. Não existe “modo verdade” separado de “modo alucinação” dentro do modelo; existe só probabilidade mais ou menos alinhada com fato real. Isso justifica por que auditoria de citação (como o GBFA) precisa existir como camada externa, não interna ao modelo.