LLM-as-a-Judge em 2026: como auditar avaliadores de IA antes de usá-los para medir GEO e fidelidade de marca

LLM-as-a-Judge tornou-se um paradigma comum para escalar avaliação de respostas generativas, mas o juiz é também um modelo com vieses, preferências e limitações próprias.

Em GEO e fidelidade de marca, usar um LLM judge sem validação pode transformar erro de avaliação em erro de diagnóstico.

Há duas fontes de erro que precisam ser separadas. A primeira é o erro do sistema que está sendo avaliado; a segunda é o erro do próprio juiz. Se o modelo gerador atribui um serviço à empresa errada e o judge aceita essa atribuição como correta, o pipeline produz uma dupla falha: E4 do sistema avaliado e uma falsa aprovação na camada de avaliação.

Essa separação muda a arquitetura do GBFA. O judge deixa de ser um componente invisível do relatório e passa a ser um instrumento de medição sujeito a validação, versionamento e requalificação. Em outras palavras: o juiz também entra na cadeia de custódia.

Para auditoria de marca, isso é especialmente importante porque os itens mais valiosos costumam ser aqueles em que a diferença entre certo e errado é pequena: sede versus área atendida, autoria individual versus institucional, serviço principal versus complementar, data atual versus informação histórica.

Um modelo pode concordar com humanos e ainda errar sistematicamente em subconjuntos específicos.

Agreement é um sinal de alinhamento entre avaliadores, não prova automática de verdade.

Ground truth, no contexto do JVA-8, não significa uma verdade metafísica. Significa um conjunto de rótulos de referência obtidos por regras verificáveis, evidência documental ou adjudicação humana suficientemente controlada para servir como comparador.

Quando a tarefa admite verificação programática, o gold deve vir do programa. Se a pergunta é se uma URL está presente, se uma data coincide ou se um requisito textual explícito foi coberto, usar outro LLM para produzir o gold cria dependência desnecessária.

Quando a tarefa é interpretativa, como fidelidade semântica, o gold precisa ser acompanhado de rubrica, evidência e exemplos-limite. Isso permite distinguir uma discordância legítima de um erro do avaliador.

Position bias ocorre quando a ordem das respostas altera o julgamento.

Estudos sistemáticos mostram que swap de posição pode revelar inconsistência mesmo quando o conteúdo é idêntico.

Position bias é particularmente perigoso em avaliações pairwise porque pode produzir um ranking estável apenas por artefato de apresentação. Um sistema pode parecer superior porque suas respostas ocupam sistematicamente a posição A.

O teste mínimo é executar a mesma comparação nas ordens A/B e B/A. O resultado deve registrar não apenas qual resposta venceu, mas se o verdict permaneceu invariável à troca de posição.

No JVA-8, baixa position consistency não é corrigida por simplesmente repetir mais vezes a mesma ordem. A mitigação precisa alterar o desenho: randomização, reversal e, se necessário, agregação de julgamentos balanceados.

Order effects incluem preferência por primeira ou segunda opção, dependência de sequência e sensibilidade ao formato do prompt.

Todo protocolo pairwise deveria incluir reversal tests.

Order effects vão além da posição A ou B. Em listas, o judge pode sofrer efeito de primazia, recência e dependência da trajetória de leitura. O item anterior pode funcionar como âncora para o item seguinte.

Por isso, listwise evaluation exige permutations planejadas. Uma única ordenação não permite saber se o ranking representa preferência semântica ou apenas o caminho pelo qual o contexto foi apresentado.

Em avaliações de marcas, isso importa quando múltiplas empresas aparecem juntas. A primeira marca da lista pode receber uma vantagem ou um frame interpretativo que contamina as demais.

LLM judges podem favorecer respostas mais longas ou mais elaboradas quando comprimento é confundido com qualidade.

Esse efeito precisa ser separado de casos em que mais detalhes realmente melhoram a resposta.

Verbosity bias é um problema de identificação: respostas mais longas frequentemente contêm mais evidência, mas também mais oportunidades de parecer completas. O judge precisa distinguir quantidade de texto de cobertura efetiva dos requisitos.

Um teste robusto cria pares semanticamente equivalentes com comprimentos diferentes. Se a versão longa recebe nota maior sem cobrir requisito adicional, o avaliador está usando comprimento como proxy indevido.

No GBFA, completeness deve ser calculada contra Answer Requirements explícitos. Uma resposta de 500 palavras que cobre dois de cinco requisitos é menos completa do que uma resposta de 100 palavras que cobre cinco de cinco.

Trabalhos de 2026 mostram que estilo pode ser um viés dominante em pipelines LLM-as-a-Judge.

Um avaliador pode recompensar forma, organização ou tom mesmo quando a tarefa exige factualidade.

Style bias pode ser mais difícil de detectar do que verbosity bias porque estilo interage com legibilidade, confiança e percepção de expertise. Uma resposta com headings, bullets e linguagem assertiva pode parecer superior mesmo quando os fatos são idênticos.

Perturbações de estilo devem preservar o conteúdo proposicional. O objetivo é perguntar: o judge muda a nota porque a resposta ficou melhor escrita ou porque acredita que ela ficou mais correta?

Para uma auditoria de fidelidade factual, alterações puramente estilísticas não deveriam modificar o verdict de E5. Se modificam, o judge está contaminando factuality com presentation quality.

Self-preference ocorre quando um modelo favorece respostas produzidas por ele mesmo ou por modelos da mesma família.

Em 2026, estudos mostraram que esse viés persiste até em avaliações rubric-based e pode alterar rankings.

O estudo de Pombal, Rei e Martins de 2026 mostrou que self-preference pode persistir mesmo em rubricas objetivas e programaticamente verificáveis. Isso é importante porque elimina a explicação confortável de que o viés só apareceria em tarefas subjetivas.

No JVA-8, self-preference deve ser testada de forma controlada: mesma qualidade, origem diferente, identidade do gerador ocultada em uma condição e exposta em outra.

Se um judge é usado para avaliar um modelo da mesma família, o relatório precisa declarar essa dependência. O problema não desaparece porque o modelo é tecnicamente forte.

Juízes podem favorecer respostas alinhadas às próprias crenças ou preferências aprendidas.

Isso é especialmente perigoso quando o critério deveria ser persuasão, factualidade ou qualidade independente da posição ideológica.

Sycophancy e prior beliefs se tornam especialmente relevantes quando a avaliação envolve claims controversos, recomendações ou reputação. O juiz pode se alinhar ao enquadramento do prompt em vez de confrontá-lo com a evidência.

Um protocolo de factualidade deve neutralizar linguagem persuasiva e fornecer a evidência de referência. Sem isso, a avaliação pode virar uma medição do alinhamento entre o texto avaliado e as crenças paramétricas do judge.

Em GBFA, brand-led prompts devem ser avaliados separadamente de brand-neutral prompts. O juiz não pode tratar a mera presença de uma marca no enunciado como evidência de que o claim sobre ela é verdadeiro.

Rótulos de autoridade, origem ou autoria podem alterar julgamentos mesmo quando o conteúdo permanece igual.

Por isso, blindagem de identidade é parte importante de meta-evaluation.

Authority bias pode ocorrer quando o nome de uma instituição, pesquisador ou publicação altera o julgamento. A mesma frase atribuída a uma universidade conhecida pode receber tratamento diferente quando atribuída a uma fonte desconhecida.

Blind evaluation remove esses sinais quando a identidade não faz parte do critério. Depois, uma segunda rodada pode recolocá-los para medir o efeito de provenance quando provenance é relevante.

Essa distinção é essencial: em factuality, autoridade não substitui prova; em source quality, por outro lado, provenance pode ser um critério legítimo.

A escala de pontuação escolhida pode alterar o comportamento do juiz.

Trabalhos de 2026 mostraram sensibilidade a score ranges e propuseram mitigação específica.

Score range bias mostra que a própria escala de resposta do juiz pode alterar seu comportamento. Uma escala 1–5, 1–10 ou 0–100 não é apenas uma interface; ela muda discretização, uso de extremos e sensibilidade.

Por isso, o JVA-8 não assume que trocar a escala preserva comparabilidade. Se o judge muda de 4/5 para 65/100 em um item equivalente, o problema pode ser de calibration, não de qualidade.

Quando o GBFA precisa de decisão categórica, preferimos verdicts com regras explícitas e depois, se necessário, uma camada de confidence separada.

Pointwise pede ao juiz que avalie uma resposta isoladamente.

É simples, mas depende fortemente da rubrica e da calibração da escala.

Pointwise é apropriado quando existe uma rubrica suficientemente absoluta, como 'o claim está suportado pela evidência?'. Ele é menos apropriado quando o conceito depende de comparação relativa entre respostas.

Um ponto forte é facilitar classification metrics por classe. Um ponto fraco é induzir concentração em faixas médias ou diferentes interpretações do que significa uma nota '4'.

No JVA-8, pointwise deve ser usado com exemplos positivos, negativos e borderline para ancorar o espaço decisório.

Pairwise compara duas respostas e costuma ser útil para preferência relativa.

Precisa de order reversal e controle de position bias.

Pairwise reduz a necessidade de calibrar uma escala absoluta, mas troca esse problema por biases de ordem, transitividade e preferência relativa.

Se A vence B, B vence C e C vence A, o judge apresenta uma inconsistência que uma simples win-rate esconde. Por isso, ciclos e reversals são dados metodológicos, não ruído descartável.

Em avaliação de fidelidade, pairwise pode ser útil para comparar qual resposta preserva melhor um Gold Claim, desde que factuality não seja convertida em mero gosto.

Listwise ordena múltiplas respostas de uma vez.

Esse formato é mais próximo de reranking, mas pode amplificar position e context effects.

Listwise evaluation é útil quando o uso final também exige ranking, como reranking de candidatos ou seleção de melhores respostas. Porém, o contexto total cresce e aumenta a chance de interferência entre itens.

Uma lista de dez respostas pode exceder a capacidade efetiva de comparação fina do judge, mesmo se couber na janela de contexto.

Por isso, o protocolo deve testar sensibilidade ao tamanho da lista e comparar listwise com decomposições pairwise em um subconjunto.

Rubrics decompondo critérios podem reduzir ambiguidade, mas não eliminam bias.

Em 2026, self-preference foi observada até em rubricas objetivas.

Rubrics ajudam a decompor qualidade em unidades testáveis. Em vez de 'esta resposta é boa?', o judge avalia 'atribuiu corretamente?', 'preservou a data?', 'cobriu requisito X?'.

A decomposição reduz ambiguidade, mas não garante independência. O juiz pode continuar usando estilo como heurística mesmo quando a rubrica pede factualidade.

No GBFA, cada rubric item deve ter provenance: quem definiu, qual evidência sustenta, qual tipo de erro captura e qual severity pode gerar.

Reference-based judging fornece uma resposta ou evidência de referência.

Para GBFA, isso é valioso porque factuality, attribution e completeness podem ser comparados contra Brand Evidence Pack e Gold Claims.

Reference-based judging é a configuração preferida para E4–E6 quando há Brand Evidence Pack. O juiz recebe a resposta observada, o claim esperado e a evidência necessária para avaliar o caso.

Isso reduz dependência do conhecimento paramétrico do judge e permite marcar explicitamente quando a referência é insuficiente.

Uma regra importante: se a referência é DISPUTED ou UNKNOWN, o judge não deve emitir 'factually wrong' como se houvesse gold incontroverso. O verdict deve refletir a incerteza do próprio ground truth.

Reference-free depende apenas da rubrica e do conteúdo avaliado.

É mais flexível, mas aumenta risco de o juiz substituir evidência por preferências próprias.

Reference-free judging é útil para critérios como clareza, tom ou qualidade geral, mas é mais frágil para claims de marca porque o juiz precisa recorrer ao que acredita saber.

Em sistemas atualizados frequentemente, esse conhecimento pode estar stale ou conflitar com o snapshot do benchmark.

Por isso, reference-free factuality deve ser evitada no GBFA quando uma fonte verificável puder ser fornecida.

Human labels continuam úteis como base de calibração quando produzidos por avaliadores treinados e com adjudicação.

Human majority, porém, também não é sinônimo automático de verdade.

Human gold labels precisam de desenho. Dois especialistas podem discordar porque interpretam a rubrica de forma diferente, e essa discordância deve ser adjudicada em vez de simplesmente apagada.

O protocolo ideal registra label inicial, racional curto, adjudicação e versão final. Isso cria um audit trail que o judge automatizado pode ser comparado.

Para claims críticos, uma única anotação humana não é suficiente para chamar o label de 'gold'.

Cohen’s kappa mede concordância entre dois avaliadores além do acaso; Krippendorff’s alpha é útil em cenários com múltiplos avaliadores e dados faltantes.

Agreement deve ser reportado junto com accuracy e distribuição de classes.

Kappa e alpha corrigem parcialmente a impressão enganosa de agreement bruto. Em classes muito desbalanceadas, 95% de agreement pode coexistir com baixa informação discriminativa.

O JVA-8 deve publicar matriz de confusão junto com agreement. Isso permite ver se o judge acerta porque sempre escolhe a classe majoritária.

Para severity, métricas ordinais também podem ser úteis porque confundir HIGH com MEDIUM é menos grave do que confundir CRITICAL com LOW.

Pesquisa de 2026 mostrou que validação baseada apenas em exact-match pode superestimar capacidade discriminativa do judge.

Meta-evaluation precisa corrigir para acaso e olhar performance por classe.

Exact-match agreement trata todas as divergências igualmente e ignora estrutura de classe. Uma discordância por uma categoria adjacente recebe o mesmo peso de uma inversão completa.

Meta-evaluation moderna precisa verificar se a métrica escolhida discrimina judges úteis de judges triviais.

No JVA-8, exact match nunca aparece isolado: ele é acompanhado por per-class metrics, chance-corrected agreement e disagreement taxonomy.

Calibration pergunta se confidence acompanha probabilidade real de acerto.

Um juiz 90% confiante que acerta 60% não está bem calibrado.

Calibration transforma confidence em algo auditável. O judge pode ser muito preciso em média, mas perigosamente confiante justamente nos itens em que erra.

Reliability diagrams e Expected Calibration Error ajudam a inspecionar essa relação. Para datasets pequenos, os buckets precisam ser interpretados com cautela.

No GBFA, confidence deve servir para routing. Alta confiança não converte uma inferência em VALIDATED; ela apenas informa quão seguro o judge está em seu próprio verdict.

Um juiz pode ser mais útil se souber quando não julgar.

Calibrated abstention permite encaminhar casos difíceis para humanos em vez de forçar verdicts frágeis.

Abstention é uma capacidade de governança, não uma falha. Em tarefas de alto risco, dizer 'insuficiente para decidir' pode ser superior a uma classificação forçada.

O approval gate pode exigir cobertura mínima: por exemplo, o judge precisa manter alta precisão quando decide e uma taxa de abstention operacionalmente aceitável.

Casos abstidos são enviados a humanos ou a verificadores programáticos, dependendo do tipo de claim.

Discordâncias entre humano e LLM não devem ser reduzidas a um número agregado.

Uma taxonomia de disagreement revela se o problema é factuality, attribution, completeness, severity ou rubric interpretation.

Disagreement analysis transforma erros em diagnóstico. Se 70% dos desacordos ocorrem em attribution, o problema é diferente de um judge que erra 70% em completeness.

Cada discordância deve ser codificada pela primeira causa observável. Isso permite construir um Failure Matrix do avaliador.

Também é possível separar 'judge wrong', 'human label questionable' e 'insufficient evidence', evitando assumir que toda discordância é erro do modelo.

Usar o mesmo modelo para gerar e julgar cria risco de self-preference e dependência de estilo.

Para validação independente, family separation ou judge ensemble pode ser preferível.

Same-model judging é conveniente porque reduz integração e pode explorar compreensão do próprio formato de saída, mas ameaça independência.

O problema não é apenas favoritismo explícito. Pode haver familiaridade estilística, distribuição semelhante e critérios latentes compartilhados entre geração e avaliação.

Por isso, o JVA-8 registra generator family e judge family e executa self-preference probes antes de aprovar a combinação.

Painéis de múltiplos juízes podem reduzir bias individual, mas não eliminam bias compartilhado.

Modelos diferentes podem usar heurísticas semelhantes.

Multi-judge panels aumentam custo, mas permitem estimar variance entre avaliadores. Se três judges concordam apenas 55% dos casos, o pipeline tem um problema de definição ou de dificuldade.

Ensemble também pode ser usado por tarefa: um judge especializado em factuality, outro em attribution e regras determinísticas para completeness.

O objetivo não é criar uma 'votação de LLMs', mas explorar especialização e desacordo de forma auditável.

Meta-judging usa outro avaliador para revisar ou criticar o julgamento inicial.

Esse desenho pode detectar reasoning flaws, mas adiciona custo e não cria verdade automática.

Meta-judge é um segundo nível de avaliação que pergunta se o primeiro julgamento foi bem fundamentado. Ele é útil para revisar racionales, detectar inconsistência e escolher quando escalar para humanos.

Entretanto, meta-judging pode apenas mover o problema um nível acima. O meta-judge também precisa de validação.

Por isso, o JVA-8 trata meta-judge como componente opcional e nunca como solução final para ground truth.

JVA-8 é o protocolo proposto neste artigo para validar um LLM judge antes de ele entrar no GBFA.

Ele testa acurácia, bias de posição, estabilidade, self-preference, calibration, robustness, disagreement e approval gate.

O JVA-8 nasce como gate de instrumento: antes de usar um modelo para medir outra coisa, mede-se o próprio instrumento. Isso aproxima o framework de metrologia e evaluation science.

Cada judge recebe um perfil por tarefa, idioma, domínio, versão e prompt. Não existe 'judge aprovado universalmente'.

Esse perfil pode ser registrado no GBFA Judge Registry e reavaliado quando qualquer elemento muda.

Construir um conjunto de itens com labels humanas ou programaticamente verificáveis.

Separar calibration set e holdout test set para evitar tuning no conjunto final.

O Gold Set precisa conter casos fáceis, difíceis, adversariais e borderline. Um conjunto só de casos óbvios mede pouco sobre confiabilidade real.

Para factuality de marca, o conjunto deve incluir claims corretos, incorretos, parcialmente corretos, stale, disputed e atribuídos à entidade errada.

O holdout test set não pode ser usado para ajustar prompt, thresholds ou exemplos few-shot.

Remover identidade do gerador, marca e metadados irrelevantes quando não fazem parte do critério.

Isso reduz authority e self-preference cues.

Blind Evaluation remove informação que não deveria afetar o critério. Para E5 Fidelity, identidade da marca pode ser substituída por placeholders se o fato puder ser avaliado sem ela.

Depois, um segundo teste pode reincorporar a identidade para medir se há authority ou brand bias.

A diferença entre blind e unblinded torna o efeito mensurável em vez de apenas especulado.

Executar A/B e B/A para cada item pairwise.

Position consistency passa a ser métrica obrigatória.

Order Reversal precisa ser tratado como teste pareado. Cada item A/B tem uma versão B/A e o judge deve preservar a preferência substantiva.

Position consistency pode ser calculada como proporção de pares com verdict invariável após a troca.

Se a consistência cai abaixo do threshold do domínio, o judge recebe FAIL ou CONDITIONAL para pairwise judging.

Modificar comprimento, estrutura e estilo mantendo significado.

Se o verdict muda sem mudança de qualidade substantiva, há evidence de style bias.

Style Perturbation cria versões semanticamente equivalentes com mudanças em headings, comprimento, bulleting, formalidade e assertividade.

Para preservar validade, as perturbações precisam ser revisadas para garantir que não introduzem informação adicional.

O outcome é uma robustness rate: percentual de itens cujo julgamento permanece inalterado quando apenas o estilo muda.

Comparar julgamentos sobre saídas próprias versus saídas equivalentes de outra família.

Isso mede directional preference e não apenas accuracy global.

Self-Preference Probe requer equal-quality pairs. Caso contrário, maior score para outputs próprios pode simplesmente refletir diferença real de qualidade.

Uma estratégia é usar respostas programaticamente verificáveis ou reescritas semanticamente equivalentes e ocultar/mostrar provenance em condições diferentes.

O resultado deve reportar directional bias e confidence interval, não apenas um exemplo anedótico.

Coletar confidence quando disponível e medir reliability por buckets.

Casos mal calibrados podem ser marcados para abstention.

Calibration pode usar confidence explícita do judge ou probabilidades derivadas quando a interface permite. O protocolo precisa declarar a origem desse confidence.

Quando confidence não é confiável ou não está disponível, disagreement e repeat consistency podem funcionar como proxies operacionais, mas não devem ser chamados de calibration.

Threshold de abstention deve ser definido no calibration set e congelado antes do holdout.

Classificar erros do judge por factuality, attribution, completeness, severity, style, position e rubric misunderstanding.

Isso permite corrigir o prompt ou trocar o modelo de forma específica.

A taxonomia de disagreement do JVA-8 deve ser mutuamente compreensível para humanos e máquinas: FACTUAL_MISS, ATTRIBUTION_MISS, COMPLETENESS_MISS, POSITION_BIAS, STYLE_BIAS, SELF_PREFERENCE, RUBRIC_MISREAD e INSUFFICIENT_EVIDENCE.

Um item pode ter múltiplos sintomas, mas o protocolo deve registrar uma causa primária e causas secundárias.

Essa estrutura alimenta a versão seguinte do prompt ou da rubrica e permite comparar judges por perfil de erro.

O judge só entra em produção se atingir thresholds pré-definidos.

Thresholds devem ser publicados e podem variar por risco.

O Approval Gate transforma avaliação em política. Um judge só é aprovado quando satisfaz thresholds explícitos no holdout e nos stress tests.

O status PASS permite automação dentro do escopo aprovado. CONDITIONAL exige human review em determinadas classes. FAIL impede uso daquele judge naquela tarefa.

Todos os thresholds, resultados e data de aprovação entram no Judge Registry.

Para LOW risk, accuracy moderada pode ser suficiente. Para HIGH/CRITICAL claims, exigir agreement e calibration muito maiores.

Severity do GBFA deve modular o rigor do judge.

Thresholds de risco não podem ser escolhidos depois de ver o resultado. Eles fazem parte do plano de validação.

Para claims CRITICAL, o objetivo pode ser maximizar precisão e exigir abstention maior. Para LOW risk, o sistema pode aceitar mais automação.

Essa lógica aproxima JVA-8 de governança baseada em risco em vez de leaderboard genérico.

No GBFA, LLM judge pode auxiliar E4 se houver Brand Evidence Pack e entidade esperada.

A decisão deve ser auditada em itens com confusão entre marcas e pessoas.

Attribution exige que o judge diferencie entidade mencionada, fonte citada e titular do fato. Esses três papéis podem divergir.

Um claim sobre uma metodologia pode citar a empresa que publicou a página e ainda precisar atribuir autoria a uma pessoa.

Os casos de teste devem incluir entity swaps, aliases, empresas homônimas e author-versus-publisher confusion.

E5 é um dos usos mais sensíveis de LLM-as-a-Judge.

O judge precisa comparar claim observado contra Gold Claim e identificar distorção sem penalizar paráfrase legítima.

Fidelity não é string match. Uma paráfrase pode preservar perfeitamente o fato; uma frase lexicalmente semelhante pode alterar escopo ou causalidade.

O judge deve comparar proposições: sujeito, relação, objeto, qualifiers, datas, negações e condições.

Casos adversariais devem incluir pequenas mudanças semânticas — 'atua em' versus 'sediada em', 'pode' versus 'garante', 'desde 2016' versus 'em 2016'.

Completeness deve usar Answer Requirements explícitos.

O judge precisa contar requisitos cobertos, não avaliar 'qualidade geral'.

Completeness funciona melhor quando os requisitos são explícitos e atomizados. 'Resposta completa' é vago; 'cobrir R1, R2, R3 e R4' é auditável.

O judge pode produzir um vetor binário por requisito antes de calcular coverage.

Isso facilita auditoria humana e reduz a influência de estilo geral sobre a nota.

LLM judges podem auxiliar severity classification, mas precisam de rubrica baseada em impacto.

Risco jurídico, financeiro ou reputacional deve ter exemplos de ancoragem.

Severity é uma função de impacto e contexto. O mesmo erro pode ser LOW para uma página institucional e CRITICAL em uma resposta de emergência ou transação.

O judge precisa receber a rubric de impacto e exemplos ancorados por domínio.

Para CRITICAL, a decisão automática deve normalmente exigir human confirmation.

OBSERVED, INFERRED e VALIDATED não devem ser atribuídos livremente por um LLM.

O judge precisa seguir regras determinísticas e nunca promover uma inferência a VALIDATED sem evidência exigida.

Epistemic status é meta-informação sobre a força da conclusão. OBSERVED significa evidência direta; INFERRED significa conclusão derivada; VALIDATED exige protocolo e critérios definidos.

Um LLM pode sugerir o status, mas a promoção para VALIDATED deve depender de regras determinísticas no pipeline.

Isso impede que linguagem confiante do judge seja confundida com força epistemológica.

Model updates podem alterar o comportamento do avaliador.

Por isso, o JVA precisa ser reexecutado após mudança de modelo, versão ou prompt.

Judge drift ocorre quando o provedor atualiza modelo, safety policy, system prompt ou infraestrutura. Mesmo um nome de modelo estável pode esconder mudanças relevantes.

O registry precisa incluir data e, quando disponível, version identifier. Após mudança significativa, a aprovação anterior expira ou entra em revisão.

Drift também pode ser detectado por uma bateria fixa de sentinel items executada periodicamente.

Judge reliability pode degradar entre idiomas.

Para marcas brasileiras, português precisa ser validado diretamente, e não inferido a partir de performance em inglês.

Cross-language validation é indispensável para o Brasil. Estudos multilíngues de 2025–2026 mostram que confiabilidade e consistência podem variar substancialmente entre idiomas.

Um judge aprovado em inglês não recebe aprovação automática para português. O Gold Set português precisa conter fenômenos próprios: negação, pronomes, nomes brasileiros, abreviações locais e ambiguidade lexical.

Em aplicações bilíngues, também deve ser testada consistência de verdict entre versões semanticamente equivalentes.

Um judge bom em writing quality pode falhar em factuality financeira, médica ou jurídica.

Validação precisa refletir o domínio real do GBFA.

Domain shift aparece quando a rubrica exige conhecimento ou padrões de erro diferentes dos usados na validação inicial.

Um judge calibrado para marketing pode não distinguir bem causalidade em artigos científicos ou severity em saúde.

Por isso, o Judge Registry possui escopo de domínio e deve recusar extrapolação silenciosa.

Modelos mais caros podem melhorar julgamento, mas custo não garante menor bias.

JVA deve medir reliability por unidade de custo.

Cost vs reliability é uma fronteira de Pareto: reduzir custo pode aumentar erro; aumentar custo pode produzir ganhos marginais.

O benchmark deve reportar custo por 1.000 julgamentos, latency, accuracy, calibration e abstention coverage.

A decisão de produção deve considerar custo por verdict confiável, não apenas custo por chamada.

Casos CRITICAL, low-confidence ou high-disagreement devem escalar para humano.

O objetivo do LLM judge é reduzir custo de triagem, não eliminar governança humana.

Human-in-the-loop não significa revisar tudo. Significa encaminhar os itens certos: CRITICAL, low-confidence, out-of-domain, disagreement e abstention.

O routing pode reduzir custo humano sem perder governança.

Cada decisão escalada deve manter o trace do judge para permitir adjudicação e aprendizado posterior.

Sempre que um critério pode ser verificado por código, não use LLM como primeira opção.

Datas, presença de URL, números exatos e schema validity podem ser checados deterministicamente.

Programmatic checks têm precedência quando o critério é determinístico. Isso reduz custo e elimina uma classe inteira de judge bias.

Exemplos: comparação de datas ISO, presença de entidade exata, URL canônica, contagem de requisitos estruturados, igualdade de identifiers.

O LLM fica reservado para problemas semânticos que realmente exigem interpretação.

Para factuality, o juiz deve receber a evidência necessária.

Sem evidence context, ele pode avaliar pelo próprio conhecimento paramétrico.

Evidence-first evaluation obriga o judge a responder com base no material fornecido, e não em memória paramétrica. Esse desenho é particularmente importante em claims que mudam com o tempo.

O prompt deve instruir o judge a marcar insufficient evidence quando o pacote não sustenta decisão.

Essa regra reduz hallucinated adjudication: o avaliador não preenche lacunas com conhecimento presumido.

Testes adversariais devem incluir respostas eloquentes mas factualmente erradas, respostas corretas e concisas, e respostas com autoridade falsa.

Esses casos medem se o judge resiste a heurísticas superficiais.

Adversarial evaluation mede se o judge resiste a sinais superficiais. Uma resposta errada pode ser longa, bem formatada e citar fontes; uma resposta correta pode ser curta e sem estilo.

Também devem existir respostas que misturam quatro fatos corretos e um erro crítico, para verificar se a média de qualidade não mascara a falha.

Esses stress tests são mais informativos do que apenas aumentar o número de exemplos fáceis.

Se o judge conhece o benchmark ou rubrica por treinamento, performance pode ser inflada.

Holdout customizado reduz parte desse risco.

Benchmark leakage pode ocorrer de forma direta ou indireta. Se o judge conhece respostas de benchmarks populares, sua performance não representa generalização.

Conjuntos proprietários ou recém-construídos reduzem o risco, embora não o eliminem.

No GBFA, Gold Claims específicos de marcas e snapshots temporais ajudam a criar tarefas mais próximas do mundo real.

Ensembles podem melhorar robustez quando erros não são perfeitamente correlacionados.

Mas decisão por maioria não substitui análise de disagreement.

Judge ensemble só funciona quando há diversidade útil. Três versões do mesmo modelo com prompts parecidos podem compartilhar os mesmos vieses.

O protocol registra pairwise agreement entre judges e mede se o ensemble realmente corrige erros ou apenas aumenta confidence.

Quando judges discordam sistematicamente por domínio, routing por especialidade pode ser superior à maioria simples.

Cada verdict automatizado deve carregar confidence e origem do judge.

Isso permite filtrar decisões antes de entrarem no relatório executivo.

Confidence no GBFA precisa viajar com o verdict: judge_id, task, score, calibration status e timestamp.

O relatório executivo pode ocultar complexidade, mas o audit trail não pode.

Uma decisão sem provenance não deve alimentar automaticamente score composto em auditorias de alta exigência.

Registrar modelo, versão, prompt, temperature, timestamp e rubrica.

Sem provenance, a auditoria não é reproduzível.

Judge Provenance é parte da reprodutibilidade. Modelo, versão, temperatura, seed quando aplicável, system prompt, rubric version e exemplos few-shot precisam ser registrados.

Também deve ser guardado o hash do prompt e do Gold Set para detectar mudanças silenciosas.

Sem isso, dois relatórios com o mesmo nome de judge podem representar instrumentos diferentes.

O GBFA deve manter um registry de judges aprovados, rejeitados e condicionais por tarefa.

Um judge pode ser aprovado para completeness e reprovado para severity.

O Judge Registry é a memória de qualificação do GBFA. Ele mantém status por judge×task×language×domain.

Exemplo: Judge A pode ser PASS para E6 Completeness em português, CONDITIONAL para E5 Fidelity e FAIL para Severity.

Essa granularidade impede o uso indiscriminado de um modelo porque teve bom desempenho agregado.

Erros do judge precisam de sua própria matriz: position, style, self-preference, factual miss, attribution miss, rubric miss, calibration failure.

Isso impede confundir falha do sistema avaliado com falha do avaliador.

A Failure Matrix do judge funciona paralelamente à matriz E1–E6 do sistema avaliado. Primeiro verificamos se o erro pertence à resposta; depois se o judge o detectou corretamente.

Isso evita atribuir ao sistema uma falha que na verdade foi introduzida pela avaliação.

Em estudos comparativos, ambas as matrizes devem ser publicadas separadamente.

Em GEO, o judge pode avaliar citability, attribution e factuality apenas se critérios forem explícitos.

Não deve inventar sinais de ranking ou autoridade.

Para GEO, JVA-8 serve para validar julgamentos de citability, entity attribution, factuality e answer coverage. Não serve para descobrir fatores secretos de ranking.

Um judge pode dizer que uma resposta atribuiu corretamente uma fonte; ele não pode inferir por isso como o produto proprietário recuperou a fonte.

A distinção entre output evaluation e mechanism inference permanece obrigatória.

O JVA-8 funciona como gate anterior ao GBFA automatizado.

Nenhum judge deve pontuar marca, claim ou drift sem passar por validação para aquela tarefa.

No GBFA, JVA-8 é o gate anterior à automação. O motor só aceita verdict automatizado de um judge que esteja aprovado naquela tarefa.

Quando o judge é CONDITIONAL, o motor pode aceitar classes LOW/MEDIUM e escalar HIGH/CRITICAL.

Isso transforma o judge de 'opinião de LLM' em instrumento governado.

A contribuição proposta é integrar judge validation ao ecossistema GBFA e SHERMA, criando um gate operacional antes da automação de verdicts.

O JVA-8 organiza meta-evaluation, bias testing e approval por tarefa.

A originalidade aqui não está em inventar kappa, calibration ou bias testing. Esses conceitos pertencem à literatura de evaluation.

A contribuição aplicada é a integração dos testes em um approval gate orientado ao GBFA, com aprovação por tarefa e ligação explícita aos erros E4–E6.

Esse enquadramento deve ser apresentado como framework proposto até que benchmarks próprios e replicações sejam publicados.

O próximo passo é construir um benchmark em português com Gold Claims de marcas, distorções sintéticas, attribution swaps, omissions e severity labels.

Depois, diferentes judges podem ser comparados por accuracy, kappa, calibration, bias e custo.

O benchmark brasileiro precisa ser construído para testar exatamente os erros que importam em marca: entity swaps, sede versus área atendida, autoria, fundação, catálogo de serviços, claims absolutos, stale facts e omissões.

Além de accuracy, o estudo deve medir position consistency, style robustness, self-preference, calibration, abstention, kappa/alpha e custo.

Publicar itens e código quando licenças permitirem transforma o JVA-8 de artigo metodológico em instrumento verificável.

Um LLM não vira ground truth porque foi colocado na posição de juiz.

Antes de avaliar marcas, o avaliador precisa ser calibrado, testado, auditado e aprovado para a tarefa específica.

A conclusão operacional é simples: automatizar avaliação sem qualificar o avaliador apenas desloca a opacidade para outra camada.

JVA-8 cria um contrato: um judge precisa provar competência dentro do escopo antes de influenciar scores, severity ou verdicts de uma marca.

Assim, o GBFA preserva sua própria premissa de evidence science — nenhum instrumento recebe autoridade apenas por parecer sofisticado.