Pular para o conteúdo principal
Roberty Studio
IDPIDP

Base de testes

Monte casos de teste com documentos de exemplo e o resultado esperado para validar mudanças no pipeline do template de IDP: campos, execução de todos os casos, monitor e regra de aprovação.

Base de testes

A Base de testes guarda documentos de exemplo com o resultado esperado, para validar mudanças no pipeline. Cada caso diz o que o template deve fazer com um documento — concluir e passar nas validações, ou falhar —, e Executar todos confere todos os casos de uma vez contra o rascunho atual.

Use a Base de testes antes de publicar uma versão: ela mostra se uma mudança num filtro, na extração ou numa etapa de pós-processamento quebrou documentos que já funcionavam.

Casos de teste​

Clique em Criar caso para adicionar um caso. Cada caso tem:

CampoDescrição
NomeObrigatório, até 80 caracteres. O que este caso verifica, por exemplo "Nota com desconto" ou "Comprovante de outro tipo".
Resultado esperadoSucesso esperado: o pipeline deve concluir e passar nas validações. Falha esperada: o pipeline deve falhar em alguma etapa ou validação.
Documento de exemploO documento processado no teste: pdf, png, jpg, jpeg, webp, tiff, tif ou bmp, de até 15 MB.
Saída esperadaOpcional. Ative Definir saída esperada e escreva a saída final que o pipeline deve devolver, como texto ou como JSON. Em branco, o caso confere apenas as validações.

A lista mostra, para cada caso, o resultado esperado, o nome do documento, o tipo da saída esperada, quando o caso rodou pela última vez (ou Nunca executado) e o status da última execução.

Ao excluir um caso, as execuções passadas dele continuam no histórico de Execuções.

Executar todos​

Executar todos abre o Monitor de testes e pede confirmação antes de começar, porque cada caso vira uma execução real do pipeline.

Cada caso é processado:

  • com a configuração atual do rascunho, não com a versão ativa;
  • no ambiente Testes, em Execuções;
  • com as páginas do escopo de análise do template e sem parâmetros;
  • um caso depois do outro, na mesma rodada.
aviso

Cada caso conta na cota de requisições de IDP do workspace e consome OCR e IA conforme as etapas, como qualquer outra execução. As validações por robô executam o robô de verdade em cada caso.

Um caso sem documento de exemplo termina como Falhou.

Monitor de testes​

O monitor acompanha a rodada enquanto ela acontece:

  • o progresso, por exemplo "3 de 5", com uma barra; ao terminar com alguma reprovação, mostra o placar, por exemplo "3 aprovados, 2 reprovados";
  • cada caso com o status da execução — Na fila, Executando, Concluída ou Falhou —, o tempo decorrido, a mensagem de erro, quando houver, e o veredito Passou ou Reprovou.

Clique num caso para abrir os detalhes da execução, com o rastreamento de cada etapa. Veja Execuções.

Regra de aprovação​

Primeiro, a execução do caso é avaliada. Ela é considerada bem-sucedida quando:

  1. a identificação, se estiver ativa, aceitou o documento — uma identificação reprovada conta como falha, seja com Rejeitar ou com Sinalizar;
  2. todas as validações ativas passaram;
  3. a saída esperada, se definida, é igual à saída final do pipeline — a saída da última etapa de pós-processamento ou, sem elas, o texto extraído.

Depois, o caso Passou quando o resultado bate com o esperado: uma execução bem-sucedida num caso Sucesso esperado, ou uma execução sem sucesso num caso Falha esperada. Caso contrário, Reprovou.

A comparação da saída esperada depende do tipo:

TipoComo compara
JSONInterpreta os dois lados como JSON e compara os valores: a ordem das chaves de um objeto não importa, a ordem dos itens de uma lista importa. Um JSON esperado inválido nunca confere.
TextoCompara o texto sem os espaços do início e do fim e com as quebras de linha normalizadas.

Uma execução que termina com erro — um documento ausente, uma falha do modelo ou um erro num script, por exemplo — fica como Falhou e não recebe veredito, mesmo num caso Falha esperada. Para testar recusas, use a identificação ou as validações, que reprovam sem derrubar a execução.