card #85 · comparação de extratores
Como achar as leis citadas
Quatro abordagens independentes leem o inteiro teor completo do mesmo acórdão e dizem onde há referência a lei. As amostras têm tamanhos diferentes: o LLM é lento e o Jev é pago, então cada um foi até onde cabia. O tamanho de cada amostra está declarado abaixo.
Na mesma unidade: dispositivos distintos por acórdão
Os quatro contam coisas diferentes — o NER conta entidades, o regex conta
ocorrências de norma e de artigo, o Jev conta passagens (ele não nomeia leis) e o
LLM conta menções. Aqui todos viram o mesmo objeto: o conjunto de dispositivos
art<N>-<DIPLOMA> do acórdão. Para cada marca de cada abordagem,
lê-se uma janela do texto em volta dela e aplica-se o mesmo extrator. O que muda entre as
colunas passa a ser onde cada abordagem mandou olhar.
Concordância — do que a linha achou, quanto a coluna também achou
Sem gabarito não há precisão nem recall: achar mais não é achar melhor. A linha regex puro é o extrator por expressões regulares deste projeto (scrapers/dispositivos.py, sem modelo nenhum) lendo o acórdão inteiro, como ponto de referência. Uma citação que ele não reconhece não conta para nenhuma coluna.
Temperatura e carga da GPU
O lote roda num desktop com Radeon RX 6700 XT. A linha escura é a temperatura de junção; a clara, o uso da GPU.
Acórdãos processados
Número de referências que cada abordagem encontrou. Em destaque, a que mais achou naquele acórdão.