Classificação Seletiva em Texto Few-Shot: O Efeito da Representação sobre as Heurísticas de Confiança

1  Representação prototípica episódica

Os protótipos de classe são médias do suporte sobre a representação adaptada por rótulo, μ_c = (1/K) ∑_k z(x_c,k), treinados episodicamente com um termo de repulsão entre protótipos somado à entropia cruzada. O backbone que avaliamos (LAQDA) acrescenta um adaptador de rótulos e uma etapa de aumento por vizinhos de consulta, ambos considerados dispensáveis pela nossa ablação; a configuração que recomendamos é o encoder prototípico simples.

Multiplicar por nove a participação do adaptador nessa mistura, para 0,9, move o AURC em 0,003 — uma ordem de grandeza abaixo do desvio padrão entre folds — logo o resultado da ablação não é artefato do peso herdado.

2  Confiança geométrica

Confiança e predição são lidas da mesma geometria, com uma temperatura τ definida independentemente. Como τ > 0 é um reescalonamento estritamente monótono, ela comprovadamente não pode alterar o AURC nem o conjunto aceito em nenhum limiar. E também não é o mecanismo, como mostra a grade de atribuição: sobre um espaço prototipicamente estruturado, trocar esse escore pelo MSP move o AURC em 0,001. Trate-o como a leitura natural da geometria, não como aquilo que produz o ganho — sobre uma representação não adaptada, o MSP é de fato a melhor leitura.

3  A regra de limiarização adotada (SGR)

Dado um conjunto de seleção de limiar S_m de tamanho m, um risco-alvo r* e um nível de confiança δ, o SGR faz busca binária sobre quantis de κ, invertendo uma cauda binomial a cada candidato e mantendo o limiar mais permissivo que ainda atende à meta:

A restrição é livre de distribuição e vale para qualquer escore — mas validade e utilidade se separam. O limite continua válido sob um escore ruim, enquanto a cobertura que ele rende colapsa a zero. Essa lacuna é o objeto do artigo.

Os maiores ganhos aparecem onde classificadores few-shot convencionais mais falham. O AURC cai 92% no HateBR e 92% no B2WReviews, 89% no RePro e 88% no Brands. O maior ganho isolado é jurídico: o RulingBR vai de 0,450 para 0,073 (−84%), com o maior ganho de acurácia ID do estudo, +45 pontos. A vantagem não se restringe aos dois níveis de risco tabulados — ela vale ao longo de toda a curva de risco–cobertura — e não se explica pela forma superficial, já que um classificador TF-IDF sobre o mesmo suporte é mais fraco que ambos os métodos.

Esse é também o corpus de maior dispersão entre folds, e a média sozinha o descreve mal. No RulingBR o AURC do nosso seletor é 0,073 ± 0,069 com mediana 0,045: um fold registra 0,201 contra 0,012 do melhor. Quem for reproduzir deve esperar essa variação. Nos outros dez corpora o coeficiente de variação fica entre 0,11 e 0,32, e a média descreve bem a distribuição; o Brands é o outro caso assimétrico, mas por ter dois folds com AURC exatamente zero, e não por uma cauda ruim. A dispersão do AURC não se transfere para a cobertura certificada: no RulingBR ela é 0,943, 0,997, 0,956, 0,875 e 0,943 fold a fold.

Essa dispersão é dos dados, não do otimizador — e a variância de otimização, medida, não é desprezível. Refizemos o treino com uma segunda semente nos doze corpora e com uma terceira em três deles, mantendo o suporte fixo, de modo que só a inicialização e a amostragem episódica variam. No IntentPT e no RulingBR a ordenação dos cinco folds por AURC é idêntica nas três sementes: o fold difícil continua difícil sob outra inicialização. Na mediana dos doze, o deslocamento entre sementes é de 0,0015 de AURC, ou 9,7% do desvio entre folds — mas a faixa vai de 0,3% a 100,5% no Buscape, onde o ruído de otimização iguala o desvio entre folds. O Recognasumm é o segundo caso, com 0,0142.

Isso tem duas consequências que preferimos registrar a omitir. O deslocamento entre sementes excede o efeito de trocar o escore em quatro dos doze corpora, de modo que o denominador 0,0023 da razão representação/escore deve ser lido como cota superior da resolução do desenho, e não como medição do efeito. E a margem do numerador não é uniforme: a razão entre o efeito de representação e o deslocamento entre sementes tem mediana de 51, mas cai a 3,5 no Buscape. Uma versão anterior desta análise, sobre três corpora apenas, indicava um mínimo de 19 — estendê-la aos doze deu um resultado pior, e é o dos doze que reportamos.

Sob essa regra, o nosso lidera o MSP em dez dos doze corpora nos dois níveis de risco, com cobertura média de 0,50 vs. 0,13 a 5% e 0,62 vs. 0,24 a 10% (p = 0,00195 por teste de postos sinalizados de Wilcoxon nos dois níveis, sobre n = 10 pares após descartar os dois corpora em que ambos cobrem ≈0; com dez pares, 2/2¹⁰ = 0,00195 é o menor valor atingível). Sobre a métrica de AURC, em que nenhum par empata, o mesmo teste dá 0,00049 com n = 12.

A representação carrega essencialmente todo o efeito e o escore quase nenhum. Mantendo o escore fixo no MSP, ir do baseline CE para o encoder prototípico leva o RulingBR de 0,450 a 0,072; mantendo a representação fixa, trocar o MSP pelo nosso escore cosseno o move de 0,072 para 0,073. Nos doze corpora, a diferença absoluta média entre os dois escores sobre a representação prototípica é 0,0036 (mediana 0,0023), sem vencedor consistente. O painel invariante à acurácia diz o mesmo: sobre a representação prototípica, os dois escores diferem em no máximo 0,019.

De onde vêm os dois números que a página cita como efeito da representação. Fixando o escore no MSP e trocando só a geometria — do encoder CE para o prototípico, sobre o mesmo backbone —, a mediana nos doze corpora é de 0,056 em E-AURC e de 0,091 em AUROC correto-vs-incorreto. Contra 0,0023 e 0,014 do lado do escore, dão as razões de 24 e 6,5 que delimitam a faixa. O contraste com o encoder congelado não serve aqui, porque troca também a arquitetura base. Uma identidade merece registro, porque a usamos: como cos e MSP compartilham o argmax, a taxa de erro é a mesma nas duas leituras e o termo que a E-AURC subtrai cancela na diferença, de modo que Δ E-AURC = Δ AURC exatamente para o contraste de escore — é por isso que 0,0036 e 0,0023, medidos em AURC, valem também em E-AURC. A identidade não vale para o contraste de representação, em que a acurácia muda, e por isso a coluna de E-AURC daquele lado precisa ser calculada.

Cabe delimitar o que essa célula estabelece. Os dois escores contrapostos ali são funções do mesmo vetor de similaridades aos mesmos protótipos, e que difiram pouco é em parte esperado por construção. O apêndice de variantes amplia o conjunto para cinco estimadores, incluindo o X-Mahalanobis, que lê a mesma geometria por covariância entre camadas e é o único a se destacar — ainda assim a 0,0096 do cosseno, uma ordem de grandeza abaixo do efeito da representação. Os sete escores da grade completa foram avaliados sobre a representação prototípica, e o resultado separa três alegações.

Energy e ReAct convergem; os quatro estruturalmente distintos não. O estimador Energy apresenta diferença de +0,0003 em relação ao cosseno (mediana sobre os doze corpora) e o ReAct +0,0001, resultando em amplitude de 0,0033 entre os quatro escores que leem a geometria prototípica — magnitude equiparável à margem de 0,0023 observada no par cosseno/MSP. Em contrapartida, os quatro escores estruturalmente distintos permanecem atrás: kNN a +0,0439 do cosseno em mediana, ConjNorm a +0,0101, Mahalanobis a +0,0097 e GradNorm a +0,0069, cada um pior que o cosseno em onze ou doze dos doze corpora. Dado que todos preservam a saída argmax prototípica, essas disparidades configuram-se como diferenças de E-AURC, comparáveis ao efeito de representação de 0,056. Ao considerar a amplitude sobre os oito escores, a razão de impacto entre representação e escore é reduzida de 24 para aproximadamente 1,2.

A adaptação da representação reduz o preço de escolher mal. Os mesmos sete escores post-hoc apresentam amplitude mediana de 0,1060 de AURC sobre o codificador de entropia cruzada e de 0,0460 sobre a representação prototípica — redução de 2,3 vezes. É a alegação da progressão de atribuição verificada fora da família de escores que a motivou, e não apenas entre leituras do mesmo vetor de similaridades.

Duas observações delimitam o contraexemplo sem invalidá-lo. O déficit não é uniforme nem propriedade da representação latente: Mahalanobis e ConjNorm chegam a superar o cosseno no RulingBR (0,071 contra 0,073) e ficam muito atrás no Buscape (0,136 e 0,121 contra 0,057). O que os quatro têm em comum é depender de um insumo que o regime raciona — banco denso no kNN, covariância estimável no Mahalanobis, constante de partição amostrada no ConjNorm —, e todos precisam estimá-lo sobre CK exemplos de suporte. Consequentemente, a alegação empiricamente sustentada restringe-se à seguinte: sobre uma geometria adaptada à tarefa, os estimadores providos de condições operacionais adequadas convergem entre si, e o custo de uma escolha ruim cai pela metade — sem que a escolha se torne indiferente.

De nenhuma adaptação até o treino prototípico episódico, a diferença cai de 0,107 para 0,014, um fator de cerca de oito, e a réplica em inglês dá 0,110 para 0,014 nos seus oito corpora. Qual escalar se lê do espaço importa mais justamente onde o espaço nunca foi moldado para a tarefa, e se torna quase irrelevante depois que foi.

Duas ressalvas que declaramos em vez de arredondar. O passo de um encoder congelado para um ajustado convencionalmente não é resolúvel nesse tamanho de amostra (0,107 contra 0,099); só sobrevivem os dois passos que envolvem aprendizado de representação explicitamente estruturado para a tarefa — contrastivo e episódico — e esses estão separados por um fator de quatro. E a escada é monótona pela mediana nos doze corpora em português e pela média nos oito em inglês, não corpus a corpus.

Decompor a diferença por escore diz por quê, e a resposta é unidirecional. Esta decomposição muda de escopo, e o registramos: ela é a média sobre os quatro corpora de aprofundamento da grade 4×2, e não sobre os doze das medianas acima. Nos quatro degraus, o MSP sobe 0,754 → 0,730 → 0,754 → 0,873 enquanto o escore cosseno sobe 0,650 → 0,671 → 0,737 → 0,872. O MSP é pelo menos tão bom quanto o escore cosseno em toda representação e nos dois idiomas; a diferença fecha porque a adaptação resgata a leitura geométrica até apenas empatar. A constatação central não reside na superioridade da nossa função de confiança — que não supera o baseline de forma isolada —, mas sim no fato de que, sobre uma representação adaptada, a escolha da leitura deixa de custar alguma coisa.

A ordenação sobrevive à certificação e se amplia. Nosso seletor certifica mais cobertura em dez dos doze corpora a 5% e em onze dos doze a 10%, com cobertura certificada média de 0,569 contra 0,136 e de 0,731 contra 0,278. O MSP não admite limiar viável a 5% em seis dos doze — Brands, Eniac, HateBR, IntentPT, RulingBR e TuPy — enquanto o nosso certifica cobertura não nula em quatro desses seis. As duas exceções são os dois corpora em que todo método colapsa, e os reportamos em vez de omitir: um certificado que devolve cobertura zero é o procedimento se comportando corretamente. As duas linhas zeram, porém, por motivos distintos. No Eniac o escore não sustenta a meta, com m = 580, folgadamente acima do piso. No Brands o conjunto de calibração tem m = 45, abaixo do piso binomial de m ≥ 97 a 5% de risco: ali a cobertura zera por falta de amostra, e um classificador perfeito zeraria igual. Reamostrando a distribuição de escores observada até m = 500, o mesmo modelo certificaria 0,95.

A inviabilidade é propriedade dos valores de confiança, não da busca: varrendo todo limiar do conjunto de calibração, o limite mais apertado que o MSP alcança é b* = 0,211 no RulingBR e 0,068 no IntentPT. Cabe declarar a correção usada nessa varredura: ela mantém δ′ = δ/⌈log₂ m⌉, dimensionada para os candidatos que uma busca binária visita, e não δ/m, que seria a correção própria de uma varredura sobre os m quantis — ou seja, a mais permissiva das duas, e o b* reportado é um piso otimista. Levando ao limite, sem correção nenhuma o piso cai para 0,149 no RulingBR e 0,049 no IntentPT. A inviabilidade do RulingBR a 5% independe portanto da correção; a do IntentPT não — ali ela depende de a multiplicidade da busca ser contabilizada, como deve ser em qualquer certificado válido.

Nas 36 células da grade, a AURC do nosso método é menor que a do MSP, com redução mediana de 73,1% a 1-shot, 78,2% a 5-shot e 59,8% a 10-shot. A vantagem é maior sob escassez extrema, coerente com o mecanismo: em K = 1 o protótipo não adaptado é o único embedding de suporte, sem média para amortecer o ruído da representação. A maior margem absoluta é a do RulingBR a 1 e a 5 exemplos (0,68 e 0,41 de AURC) e a do Eniac a 10 (0,18). A leitura de que a margem encolhe com o orçamento vale para a diferença absoluta; em razão relativa a ordenação não é monótona.

Rejeitar OOD próximo a partir de protótipos few-shot é apenas parcial — a FPR@95 fica acima de 0,77 em quatro dos cinco corpora, e só no RulingBR cai abaixo da metade (0,472). Mas essa dificuldade é específica do protocolo de retenção de classes, que produz OOD próximo por construção: classes retidas e mantidas compartilham domínio, registro e boa parte do vocabulário. Substituir as classes retidas por texto de um domínio não relacionado, sem tocar no checkpoint, eleva a AUROC a 0,986 no Eniac e 0,997 no RulingBR. O OOD distante está praticamente saturado para essa geometria.

Dois controles, e ambos contrariam uma leitura sem ressalvas. O mecanismo não é independente do encoder: o XLM-R ainda supera o baseline varrido em nove dos doze corpora, mas seu AURC médio é 0,194 contra 0,074 do BERTimbau, com as perdas concentradas em texto coloquial brasileiro de resenhas e redes sociais (TuPy 0,550 vs. 0,068; Buscape 0,308 vs. 0,047) — justamente o registro que um encoder específico do português melhor atende. Nos três corpora em que os encoders se aproximam, a diferença fica dentro da dispersão entre folds (Recognasumm 0,137 vs. 0,136; RulingBR 0,075 vs. 0,073; IntentPT 0,114 vs. 0,117). E uma leitura treinada sobre um espaço congelado rende aproximadamente o que rende o ajuste fino supervisionado do encoder inteiro (média 0,203 contra 0,219), mas não fecha a distância até o treino episódico, falhando exatamente nos corpora especializados em que a leitura por centroides falha.

Três conclusões. A premissa que estávamos dispostos a assumir é falsa: logits de tokens de resposta dão sim um sinal seletivo utilizável, e no B2WReviews o LLM atinge cobertura atingível de 1,00 a 5% de risco contra 0,59 do MSP. Esse corpus isola nossa tese central melhor que qualquer ablação nossa — o LLM é mais acurado ali e ainda assim pior em AURC, então toda a nossa vantagem está na ordenação dos erros. Segundo, essa competitividade decai com a granularidade dos rótulos até que, numa taxonomia de 48 intenções, ele cai abaixo do baseline ajustado; ambas as diferenças sobrevivem ao E-AURC. Terceiro, a assimetria de custo não diminui: 2.756 ± 537 segundos de H100 por fold do RulingBR, porque cada entrada exige atenção sobre todo o conjunto de suporte no contexto.

Um quarto corpus separa dois tipos distintos de falha. No MMLU-PT-BR (45 classes) a acurácia ID do LLM desaba para 0,089 — e, ainda assim, seu E-AURC, que desconta a acurácia, é 0,106, essencialmente o 0,094 do MSP. A confiança continua ordenável; o que o modelo não consegue é recuperar uma convenção de rotulagem (matérias separadas por nível de ensino) que nosso pipeline infere dos mesmos cinco exemplos por classe.

A dispersão estreita é a atribuição vista de outro ângulo: uma vez estruturado o espaço, a escolha do escore é quase imaterial. Os ganhos são de ordenação, não de calibração — o escore cosseno não é uma probabilidade e seu ECE é ruim (0,316 no B2WReviews contra 0,038 do MSP na configuração publicada — é a única comparação desta página que não usa o MSP varrido, porque calibração e ordenação não se movem juntas sob a varredura). O escalonamento por temperatura sobre as mesmas similaridades recupera a calibração e até melhora sobre o MSP ali (0,010), embora não uniformemente (0,115 no IntentPT contra 0,046). Prefira o TempScale quando forem necessárias probabilidades calibradas a jusante.