Do pixel à decisão

Por que o conjunto existe

Benchmarks públicos de reconhecimento de texto manuscrito (HTR) raramente capturam a variabilidade de registros clínicos reais, e restrições de privacidade limitam o acesso a dados de saúde representativos.

Como foi construído

1. Formulários clínicos reais, coletados em fluxos de rotina
2. Remoção dos campos com dados pessoais
3. Segmentação semiautomática das linhas de texto
4. Validação manual das transcrições
5. Partições estratificadas fixas de 80/10/10

Composição

13.916 linhas de texto, por tipo de campo

Benchmark: seis arquiteturas, mesmas partições

CER e WER no conjunto de teste, em %. Menor é melhor. Em destaque, o melhor de cada coluna.

Achados

• Texto médico é a categoria mais difícil: o melhor modelo chega a 46,52% de acerto exato, reflexo de letra irregular e vocabulário sem restrição.
• No nível de caractere, o FLOR-V2, com 1,70 milhão de parâmetros, superou o HTR-VT, com 59,16 milhões. No nível de palavra, o HTR-VT venceu.
• Paradigmas diferentes se saem melhor em tipos de campo diferentes, e a métrica agregada esconde essas diferenças.

O que os erros revelam

Valores

Separadores decimais e trocas de dígitos podem mudar o sentido clínico.

Identificadores

Letras confundidas com dígitos visualmente parecidos.

Texto médico

Distorções lexicais, omissões e erros de espaçamento continuam frequentes.

Próximos passos

O conjunto sustenta trabalhos futuros em adaptação de domínio, modelos de fundação e síntese realista de manuscritos.

Dataset e artigo no Zenodo

O problema

Word-in-Context (WiC) pergunta se duas ocorrências de uma palavra expressam o mesmo sentido. A tarefa fica mais difícil em cenários multilíngues e entre idiomas, em que os contextos mudam de língua, de escrita e de forma.

A arquitetura

1. Codificação contextual das duas frases com mBERT
2. Recuperação dos sentidos candidatos no WordNet e no Open Multilingual WordNet
3. Codificação das glosas, as definições de cada sentido
4. Grafo de sentidos refinado por atenção em grafo (GAT)
5. Atenção do contexto para os sentidos candidatos
6. Composição das features de contexto, glosa e grafo
7. Classificação: mesmo sentido ou não

O protocolo

Todas as variantes são treinadas só no split inglês do MCL-WiC, com 8.000 instâncias, e selecionadas no desenvolvimento em inglês, com 1.000. A avaliação usa nove splits de teste com 1.000 instâncias cada. As cinco variantes usam mBERT, os hiperparâmetros foram escolhidos com Optuna e os resultados são médias de 15 sementes independentes.

Acerto entre idiomas

Média dos quatro splits entre idiomas, em %

Resultados por cenário

Acurácia em %, média de 15 sementes. Em destaque, o melhor de cada coluna.

O que os números mostram

• Melhor acerto geral: 79,00% nos nove splits, 11,12 pontos acima do PairCLS.
• Melhor resultado nos 4 splits entre idiomas, com ganhos de 2,04 a 4,51 pontos sobre o TargetPOS; o maior deles em En-Ar.
• No monolíngue em inglês e no multilíngue, TargetSim e TargetPOS ficaram ligeiramente à frente.
• Na análise de explicabilidade substituta, a contribuição das evidências refinadas pelo grafo sobe para 19,93% no cenário entre idiomas.

Limitações e próximos passos

O desempenho ainda depende da cobertura dos recursos léxicos e do treino apenas em inglês. Os próximos passos são treino multilíngue e recuperação de sentidos sensível ao idioma.

Bases: MCL-WiC (SemEval-2021, tarefa 2), WordNet e Open Multilingual WordNet, mBERT.

O problema

Vision Transformers têm complexidade quadrática, O(N²), e dependem de pré-treino em larga escala, o que limita seu uso com poucos dados e pouca infraestrutura. State Space Models como o Mamba modelam sequências em tempo linear, mas seu potencial em visão ainda é pouco explorado.

As seis variantes

• ViM: 12 blocos Mamba2, com 11,6M de parâmetros
• ViT base e ViT otimizado (timm, ViT-S/16): 22,1M
• Três híbridos com 6 blocos Mamba e 6 Transformer, 16,8M: intercalado, Head (Mamba primeiro) e Tail (Transformer primeiro)
• Todos com embeddings de 384 dimensões e 12 blocos

O protocolo

Subconjunto público do ImageNet-1k (Kaggle), com 100.000 imagens de treino e 10.000 de validação em 1.000 classes; entradas de 224×224 e patches de 16×16 (196 tokens). Hiperparâmetros idênticos em uma NVIDIA RTX 4060 de 8 GB: PyTorch 2.4.1, AdamW, agenda cosseno, lote de 32 e FP32. Fase 1: 10 épocas para os seis modelos, sem regularização forte. Fase 2: até 100 épocas para ViM, ViT otimizado e Hybrid Head, com Mixup, CutMix, drop path, label smoothing e early stopping. Uma rodada por modelo.

Memória de pico na GPU

Fase 1, em GB. Menor é melhor.

Fase 1: seis modelos, 10 épocas

Última época registrada. Em destaque, o melhor de cada coluna.

Fase 2: treino estendido e regularizado

O acerto de treino fica abaixo do de validação porque Mixup e CutMix só entram nos lotes de treino. Com uma rodada por modelo, a diferença de 1,8 ponto não foi validada estatisticamente.

O que os números mostram

• Contra o ViT otimizado, o ViM teve 2,37 pontos a mais de Top-1, 30% mais throughput, 42% menos memória e 47% menos parâmetros, com cerca de metade dos FLOPs.
• Com treino estendido e regularizado, o ViM chegou a 36,5% de Top-1, contra 34,7% do ViT otimizado e 35,5% do Hybrid Head.
• A posição dos blocos importa: Mamba no início e atenção no fim (Hybrid Head, 10,48%) supera o inverso (Hybrid Tail, 8,56%), em linha com o MambaVision.
• Latência e throughput do ViM degradam mais devagar que os do ViT quando a entrada cresce de 224×224 para 768×768 (análise exploratória).

Limitações e próximos passos

Um subconjunto de dados, uma rodada por modelo, número de parâmetros desigual e nenhum pré-treino; o estudo não afirma superioridade sobre ViTs pré-treinados. Os próximos passos são mais conjuntos de dados, testes repetidos com parâmetros equiparados e medição de energia.

Bases: ViT (Dosovitskiy et al., 2021), Mamba (Gu e Dao, 2023), Vision Mamba (Zhu et al., 2024), VMamba (Liu et al., 2024), MambaVision (Hatamizadeh e Kautz, 2025) e Green AI (Schwartz et al., 2020).

O problema

Modelos que consideram a geometria do documento melhoram a compreensão, mas transferir essas representações espaciais costuma exigir redesenho da arquitetura e pré-treino extenso. Vieses geométricos como coordenadas polares relativas funcionam bem para NER, mas ficam presos ao modelo em que foram pré-treinados, como o DocPolarBERT.

O método

1. Arquitetura base: LiLT de duplo fluxo, em que texto e layout interagem pela atenção
2. Codificação espacial a partir do centro de cada token, em três versões: polar absoluta, cartesiana relativa e polar relativa
3. Injeção modular: uma matriz de viés geométrico aprendível somada aos escores de atenção, sem alterar o modelo original
4. Discretização espacial: coordenadas contínuas mapeadas em faixas aprendíveis, com quantis adaptativos para distâncias e setores com viés de Manhattan para ângulos
5. Estabilização do treino com PB-Relax (softmax escalonado), contra gargalos de precisão e overflow numérico

Resultados em NER

F1 em %. Polar, relativa e polar relativa são as variantes modulares. Em destaque, o melhor de cada linha.

O que os números mostram

• As variantes modulares superaram o LiLT original em todos os benchmarks públicos e nos conjuntos privados.
• O warm-up sozinho não explica os ganhos: na média dos benchmarks, o LiLT com warm-up ficou abaixo do original (88,63 contra 88,93), enquanto as variantes geométricas chegaram a 89,46.
• O raciocínio relativo de layout foi incorporado com 63% da memória exigida pelo DocPolarBERT.

Limitações e próximos passos

Demonstrado no LiLT de duplo fluxo como prova de conceito. Os próximos passos estendem a abordagem a modelos de fluxo único, para validar a hipótese de transferência.

Bases: LiLT (Wang, Jin e Ding, 2022), DocPolarBERT (Uthayasooriyar et al., 2026), atenção com posições relativas (Shaw et al., 2018) e CogView (Ding et al., 2021).

O problema

Reconhecer expressões matemáticas manuscritas (HMER) é difícil pela variabilidade da escrita e pela estrutura bidimensional das fórmulas. Como modelos diferentes erram de forma em parte independente, a proposta é escolher, entre as previsões de vários modelos, a mais coerente com a imagem.

O método

1. O HMER-CLIP é treinado com dois codificadores, um de imagem e um de LaTeX, por aprendizado contrastivo no estilo do CLIP
2. Três modelos de HMER geram fórmulas candidatas a partir da imagem: PP-FormulaNet-L, PP-FormulaNet_plus-L e UniMERNet
3. O HMER-CLIP compara cada candidata com a imagem de entrada e escolhe a de maior similaridade
4. Dados: CROHME 2011, 2012, 2019 e 2023. Métrica: Character Detection Matching (CDM)

CDM nos conjuntos do CROHME

CDM de 0 a 1; maior é melhor. Em destaque, o melhor modelo de cada ano. O oráculo sempre escolheria a candidata certa e indica o teto da abordagem.

Ganho sobre a média, por tamanho do treino

O que os números mostram

• A seleção superou a média dos modelos-base nos quatro conjuntos, com o maior ganho em 2019: de 0,76913 para 0,83406.
• A vantagem cresce com mais dados de treino: em 2019, vai de +0,04861 com 1.000 amostras para +0,06492 com 3.600.
• Não superou de forma consistente o melhor modelo individual: venceu em 2012, e UniMERNet e PP-FormulaNet-L lideraram nos outros anos.
• Acrescentar reconhecedores mais fracos pode reduzir o desempenho geral.

Limitações e próximos passos

A seleção depende da qualidade dos candidatos: supera a média, mas nem sempre o melhor modelo, e um reconhecedor fraco pode puxar o resultado para baixo. A distância até o oráculo mostra quanto uma seleção melhor ainda pode ganhar.

Bases: UniMERNet (Wang et al., 2024), PP-FormulaNet (Liu et al., 2025), CDM (Wang et al., 2024) e CLIP (Radford et al., 2021).

O problema

NER em documentos visualmente ricos depende do texto e do layout bidimensional. Em domínios específicos, anotar é caro e os dados são escassos, o que favorece o overfitting posicional. O aumento de dados textual convencional pode quebrar a consistência entre tokens e rótulos, invalidar bounding boxes ou sobrepor elementos do layout.

Contribuições

• Reescrita seletiva de contexto: o LLM reescreve só o contexto que não é entidade (rótulo O), com as entidades de referência intactas.
• Reconstrução determinística de coordenadas: um cursor virtual refaz as bounding boxes de cada token depois da reescrita.
• Avaliação preliminar com vários modelos: quatro conjuntos de documentos administrativos brasileiros, dois LLMs leves e quatro arquiteturas de NER multimodal.

O pipeline

1. Reconstrução do texto: tokens agrupados em unidades textuais coerentes, com informação espacial de espaços e limiares
2. Reescrita com LLM: entidades protegidas por tags XML e diversidade controlada por temperatura e semente
3. Reconstrução dos novos documentos e anotações: cursor virtual, largura média por caractere, altura de linha e recálculo das coordenadas, com um mecanismo de contingência que replica o texto original em segmentos inválidos

O protocolo

Quatro conjuntos brasileiros, com 12 a 267 classes de entidades: recibos, certidões de nascimento, certidões de casamento e contratos sociais. Dois geradores: GPT-4o mini e Gemini 2.5 Flash Lite. Quatro arquiteturas de NER: LAMBERT, LiLT, LiLTv2 e DocPolarBERT. A comparação é entre o treino base e o treino com documentos originais mais sintéticos, na proporção de 3 sintéticos por original. Validação e teste nunca são aumentados.

F1 médio por conjunto

F1 de 0 a 1. Em destaque, o melhor de cada linha.

O que os números mostram

• F1 médio: 0,7453 no treino base, 0,7687 com GPT-4o mini (+2,34 pontos) e 0,7702 com Gemini 2.5 Flash Lite (+2,49 pontos).
• Maior ganho individual: LiLTv2 em recibos com Gemini, de 0,7233 para 0,8205 (+9,72 pontos).
• O GPT-4o mini melhorou o F1 em 14 de 16 combinações de modelo e conjunto; o Gemini, em 12 de 16.
• O teste post hoc de Nemenyi não encontrou diferença significativa entre os dois geradores.

Limitações e próximos passos

Uma rodada por configuração, com a dispersão medida entre configurações e não entre rodadas, e ainda sem comparação com técnicas de aumento simples ou do estado da arte. As próximas ablações vão isolar a preservação de entidades, a reescrita, o recálculo de coordenadas e a proporção de aumento, com avaliação futura em benchmarks públicos de documentos visualmente ricos.

Bases: Huang et al. (2025), Hu et al. (2023), Ye et al. (2024) e Uthayasooriyar et al. (2026).