Avaliações
Crie conjuntos de avaliação com entradas e resultado esperado e teste o projeto de código no ambiente de Preview.
Avaliações
Avaliações são casos de teste com entradas e saídas esperadas, executados no ambiente de Preview. Use-as para conferir se uma nova versão do código continua respondendo como deveria antes de levá-la para Produção.
Para rodar avaliações, o projeto precisa de um dispositivo de Preview online e com um deploy pronto. Projetos que recebem código por .zip não têm Preview e, por isso, não executam avaliações. Veja Dispositivos.
Se o Preview não estiver pronto, a aba Avaliações avisa o motivo: não há dispositivo de Preview configurado, ele está offline ou ainda não tem um deploy pronto.
Criar um conjunto
Clique em Criar conjunto e preencha:
| Campo | Obrigatório | Descrição |
|---|---|---|
| Nome | Sim | Até 80 caracteres. Não pode repetir o nome de outro conjunto do projeto. |
| Descrição | Não | O que este conjunto valida. |
| Entradas | Não | Pares chave/valor enviados ao robô como argumentos, no arquivo de roberty-args-file-path. As chaves não podem se repetir. |
| Resultado esperado | Sim | Deve ter sucesso (padrão): o processo deve terminar com exit code 0. Deve falhar: o processo deve terminar com um exit code diferente de 0. |
| Validar saída | Não | Ligada por padrão. Compara o que o robô escreveu no arquivo de resultado com a Saída esperada — mesmo quando o resultado esperado é falha. |
| Saída esperada | Não | JSON sem aninhamento. Placeholders como <any> aceitam qualquer valor. |
Exemplo de saída esperada:
{ "status": "ok", "processedAt": "<any>" }
Para ler as entradas e escrever o resultado no código, veja Argumentos e resultado e o SDK oficial.
Executar, duplicar e remover
- Executar todos — roda todos os conjuntos do projeto, um após o outro.
- Executar — roda só aquele conjunto. Se já houver uma execução em andamento, o conjunto não é iniciado.
- Duplicar — abre o formulário preenchido com os dados do conjunto, para salvar como um novo conjunto com outro nome.
- Remover — exclui o conjunto, após uma confirmação. Essa ação não pode ser desfeita.
Cada conjunto mostra se espera sucesso ou erro, quantos argumentos tem e quando foi executado pela última vez.
Monitor
Ao executar, um monitor acompanha cada conjunto e mostra o progresso geral — quantas execuções terminaram e quantas passaram e falharam.
| Status | Significado |
|---|---|
| Agendando execuções… | As execuções estão sendo criadas no dispositivo de Preview. |
| Aguardando | A execução ainda não começou. |
| Executando | O robô está rodando. |
| Passou | A execução terminou e atendeu ao resultado esperado. |
| Reprovado | A execução terminou, mas não atendeu ao resultado esperado. |
| Concluído | A execução terminou sem um resultado de avaliação. |
| Falhou | A execução falhou. |
O conjunto passa quando o exit code corresponde ao Resultado esperado e, com Validar saída ligada, a saída obtida corresponde à Saída esperada. Abra um conjunto no monitor para comparar o resultado esperado com o exit code obtido e a saída obtida.
Os resultados das avaliações não ficam salvos. Fechar o monitor enquanto algo está rodando interrompe a execução no dispositivo; fechar depois de concluído faz você perder o acesso aos resultados.
Como o robô vê uma avaliação
- A execução roda no Preview com
roberty-triggerigual aevaluation, e as Entradas chegam no arquivo de argumentos. Veja Variáveis de ambiente. - O entry point de exceção não roda em execuções de avaliação.