Base de testes
Monte casos de teste com documentos de exemplo e o resultado esperado para validar mudanças no pipeline do template de IDP: campos, execução de todos os casos, monitor e regra de aprovação.
Base de testes
A Base de testes guarda documentos de exemplo com o resultado esperado, para validar mudanças no pipeline. Cada caso diz o que o template deve fazer com um documento — concluir e passar nas validações, ou falhar —, e Executar todos confere todos os casos de uma vez contra o rascunho atual.
Use a Base de testes antes de publicar uma versão: ela mostra se uma mudança num filtro, na extração ou numa etapa de pós-processamento quebrou documentos que já funcionavam.
Casos de teste
Clique em Criar caso para adicionar um caso. Cada caso tem:
| Campo | Descrição |
|---|---|
| Nome | Obrigatório, até 80 caracteres. O que este caso verifica, por exemplo "Nota com desconto" ou "Comprovante de outro tipo". |
| Resultado esperado | Sucesso esperado: o pipeline deve concluir e passar nas validações. Falha esperada: o pipeline deve falhar em alguma etapa ou validação. |
| Documento de exemplo | O documento processado no teste: pdf, png, jpg, jpeg, webp, tiff, tif ou bmp, de até 15 MB. |
| Saída esperada | Opcional. Ative Definir saída esperada e escreva a saída final que o pipeline deve devolver, como texto ou como JSON. Em branco, o caso confere apenas as validações. |
A lista mostra, para cada caso, o resultado esperado, o nome do documento, o tipo da saída esperada, quando o caso rodou pela última vez (ou Nunca executado) e o status da última execução.
Ao excluir um caso, as execuções passadas dele continuam no histórico de Execuções.
Executar todos
Executar todos abre o Monitor de testes e pede confirmação antes de começar, porque cada caso vira uma execução real do pipeline.
Cada caso é processado:
- com a configuração atual do rascunho, não com a versão ativa;
- no ambiente Testes, em Execuções;
- com as páginas do escopo de análise do template e sem parâmetros;
- um caso depois do outro, na mesma rodada.
Cada caso conta na cota de requisições de IDP do workspace e consome OCR e IA conforme as etapas, como qualquer outra execução. As validações por robô executam o robô de verdade em cada caso.
Um caso sem documento de exemplo termina como Falhou.
Monitor de testes
O monitor acompanha a rodada enquanto ela acontece:
- o progresso, por exemplo "3 de 5", com uma barra; ao terminar com alguma reprovação, mostra o placar, por exemplo "3 aprovados, 2 reprovados";
- cada caso com o status da execução — Na fila, Executando, Concluída ou Falhou —, o tempo decorrido, a mensagem de erro, quando houver, e o veredito Passou ou Reprovou.
Clique num caso para abrir os detalhes da execução, com o rastreamento de cada etapa. Veja Execuções.
Regra de aprovação
Primeiro, a execução do caso é avaliada. Ela é considerada bem-sucedida quando:
- a identificação, se estiver ativa, aceitou o documento — uma identificação reprovada conta como falha, seja com Rejeitar ou com Sinalizar;
- todas as validações ativas passaram;
- a saída esperada, se definida, é igual à saída final do pipeline — a saída da última etapa de pós-processamento ou, sem elas, o texto extraído.
Depois, o caso Passou quando o resultado bate com o esperado: uma execução bem-sucedida num caso Sucesso esperado, ou uma execução sem sucesso num caso Falha esperada. Caso contrário, Reprovou.
A comparação da saída esperada depende do tipo:
| Tipo | Como compara |
|---|---|
| JSON | Interpreta os dois lados como JSON e compara os valores: a ordem das chaves de um objeto não importa, a ordem dos itens de uma lista importa. Um JSON esperado inválido nunca confere. |
| Texto | Compara o texto sem os espaços do início e do fim e com as quebras de linha normalizadas. |
Uma execução que termina com erro — um documento ausente, uma falha do modelo ou um erro num script, por exemplo — fica como Falhou e não recebe veredito, mesmo num caso Falha esperada. Para testar recusas, use a identificação ou as validações, que reprovam sem derrubar a execução.