Pular para o conteúdo principal
Roberty Studio
CODECode

Avaliações

Crie conjuntos de avaliação com entradas e resultado esperado e teste o projeto de código no ambiente de Preview.

Avaliações

Avaliações são casos de teste com entradas e saídas esperadas, executados no ambiente de Preview. Use-as para conferir se uma nova versão do código continua respondendo como deveria antes de levá-la para Produção.

informação

Para rodar avaliações, o projeto precisa de um dispositivo de Preview online e com um deploy pronto. Projetos que recebem código por .zip não têm Preview e, por isso, não executam avaliações. Veja Dispositivos.

Se o Preview não estiver pronto, a aba Avaliações avisa o motivo: não há dispositivo de Preview configurado, ele está offline ou ainda não tem um deploy pronto.

Criar um conjunto​

Clique em Criar conjunto e preencha:

CampoObrigatórioDescrição
NomeSimAté 80 caracteres. Não pode repetir o nome de outro conjunto do projeto.
DescriçãoNãoO que este conjunto valida.
EntradasNãoPares chave/valor enviados ao robô como argumentos, no arquivo de roberty-args-file-path. As chaves não podem se repetir.
Resultado esperadoSimDeve ter sucesso (padrão): o processo deve terminar com exit code 0. Deve falhar: o processo deve terminar com um exit code diferente de 0.
Validar saídaNãoLigada por padrão. Compara o que o robô escreveu no arquivo de resultado com a Saída esperada — mesmo quando o resultado esperado é falha.
Saída esperadaNãoJSON sem aninhamento. Placeholders como <any> aceitam qualquer valor.

Exemplo de saída esperada:

json
{ "status": "ok", "processedAt": "<any>" }

Para ler as entradas e escrever o resultado no código, veja Argumentos e resultado e o SDK oficial.

Executar, duplicar e remover​

  • Executar todos — roda todos os conjuntos do projeto, um após o outro.
  • Executar — roda só aquele conjunto. Se já houver uma execução em andamento, o conjunto não é iniciado.
  • Duplicar — abre o formulário preenchido com os dados do conjunto, para salvar como um novo conjunto com outro nome.
  • Remover — exclui o conjunto, após uma confirmação. Essa ação não pode ser desfeita.

Cada conjunto mostra se espera sucesso ou erro, quantos argumentos tem e quando foi executado pela última vez.

Monitor​

Ao executar, um monitor acompanha cada conjunto e mostra o progresso geral — quantas execuções terminaram e quantas passaram e falharam.

StatusSignificado
Agendando execuções…As execuções estão sendo criadas no dispositivo de Preview.
AguardandoA execução ainda não começou.
ExecutandoO robô está rodando.
PassouA execução terminou e atendeu ao resultado esperado.
ReprovadoA execução terminou, mas não atendeu ao resultado esperado.
ConcluídoA execução terminou sem um resultado de avaliação.
FalhouA execução falhou.

O conjunto passa quando o exit code corresponde ao Resultado esperado e, com Validar saída ligada, a saída obtida corresponde à Saída esperada. Abra um conjunto no monitor para comparar o resultado esperado com o exit code obtido e a saída obtida.

aviso

Os resultados das avaliações não ficam salvos. Fechar o monitor enquanto algo está rodando interrompe a execução no dispositivo; fechar depois de concluído faz você perder o acesso aos resultados.

Como o robô vê uma avaliação​