Skip to main content

Image Recognition

O módulo Image Recognition é responsável por realizar o reconhecimento de imagens na tela do dispositivo e fazer determinadas ações com base na imagem reconhecida. Seus métodos podem ser acessados conforme o exemplo abaixo:

await ImageRecognition.waitFor["v1_0_0"]({
    imagePath: `C:/Users/Roberty/Downloads/teste.png`,
  })

Métodos​

disappear​

Método responsável por esperar que imagens desapareçam na tela. Enquanto todas as imagens não desaparecerem, o método não é finalizado. Caso não exista nenhuma imagem na tela, o método tentará achá-las 3 vezes antes de finalizar.

const disappearedImage = await Browser.disappear["v1_0_0"]({
     imagePath: [`C:/Users/Roberty/Downloads/teste.png`, `C:/Users/Roberty/Downloads/teste2.png`],
})

Parâmetros obrigatórios​

  • imagePath: String[] - espera um array de strings com os caminhos da imagens que serão esperadas para desaparecer da tela.

Parâmetros opcionais​

  • options: Object - espera um objeto com as opções do método. As opções são:
    • region: Object - espera um objeto com as coordenadas da região da tela onde a imagem será esperada. As coordenadas são:
      • x: Number - espera um número com a coordenada x da região da tela onde a imagem será esperada.
      • y: Number - espera um número com a coordenada y da região da tela onde a imagem será esperada.
      • width: Number - espera um número com a largura da região da tela onde a imagem será esperada.
      • height: Number - espera um número com a altura da região da tela onde a imagem será esperada.
    • threshold: Number - espera um número de 0 a 1 que representa a semelhança entre a imagem está salva e a imagem que está sendo esperada na tela.
    • attempts: Number - espera um número inteiro que representa o número de tentativas que o método irá fazer para encontrar a imagem que deseparecerá posteriormente.
    • interval: Number - espera um número inteiro que representa o tempo que o método irá esperar entre cada tentativa de encontrar a imagem.
    • timeOut: Number - espera um número inteiro que representa o tempo que o método irá esperar para encontrar a imagem.

Retorno​

A constante ou variável criada, como a disappearedImage do exemplo mostrado anteriormente, receberá um valor do tipo Promise<void>.

exists​

Método responsável por verificar se uma imagem existe ou não na tela.

const existImage = await Browser.exists["v1_0_0"]({
     imagePath: `C:/Users/Roberty/Downloads/teste.png`
})

Parâmetros obrigatórios​

  • imagePath: String - espera um string com o caminho da imagem que será verificada.

Parâmetros opcionais​

  • options: Object - espera um objeto com as opções do método. As opções são:
    • region: Object - espera um objeto com as coordenadas da região da tela onde a imagem será verificada. As coordenadas são:
      • x: Number - espera um número com a coordenada x da região da tela onde a imagem será verificada.
      • y: Number - espera um número com a coordenada y da região da tela onde a imagem será verificada.
      • width: Number - espera um número com a largura da região da tela onde a imagem será verificada.
      • height: Number - espera um número com a altura da região da tela onde a imagem será verificada.
    • threshold: Number - espera um número de 0 a 1 que representa a semelhança entre a imagem está salva e a imagem que está sendo verificada na tela.

Retorno​

A constante ou variável criada, como a existImage do exemplo mostrado anteriormente, receberá um valor do tipo boolean. Se a imagem existir, o valor retornado será true, caso contrário, o valor retornado será false.

find​

Método responsável por encontrar a posição de uma imagem na tela.

const foundImage = await Browser.find["v1_0_0"]({
     imagePath: `C:/Users/Roberty/Downloads/teste.png`
})

Parâmetros obrigatórios​

  • imagePath: String - espera um string com o caminho da imagem que será encontrada.

Parâmetros opcionais​

  • options: Object - espera um objeto com as opções do método. As opções são:
    • region: Object - espera um objeto com as coordenadas da região da tela onde a imagem será encontrada. As coordenadas são:
      • x: Number - espera um número com a coordenada x da região da tela onde a imagem será encontrada.
      • y: Number - espera um número com a coordenada y da região da tela onde a imagem será encontrada.
      • width: Number - espera um número com a largura da região da tela onde a imagem será encontrada.
      • height: Number - espera um número com a altura da região da tela onde a imagem será encontrada.
    • threshold: Number - espera um número de 0 a 1 que representa a semelhança entre a imagem está salva e a imagem que está sendo encontrada na tela.
    • timeout: Number - espera um número inteiro que representa o tempo em milissegundos que o método esperará para encontrar a imagem.

Retorno​

A constante ou variável criada, como a foundImage do exemplo mostrado anteriormente, receberá um valor do tipo Object. O objeto retornado terá as seguintes propriedades:

  • x: Number - retorna um número com a coordenada x da posição da imagem encontrada.
  • y: Number - retorna um número com a coordenada y da posição da imagem encontrada.
  • w: Number - retorna um número com a largura da posição da imagem encontrada.
  • h: Number - retorna um número com a altura da posição da imagem encontrada.
  • exists: Boolean - retorna um valor booleano que indica se a imagem foi encontrada ou não.
  • center: Object - retorna um objeto com as coordenadas do centro da imagem encontrada. As coordenadas são:
    • x: Number - retorna um número com a coordenada x do centro da imagem encontrada.
    • y: Number - retorna um número com a coordenada y do centro da imagem encontrada.

findAndClick​

Método responsável por clicar em uma imagem encontrada na tela.

await Browser.findAndClick["v1_0_0"]({
     imagePath: `C:/Users/Roberty/Downloads/teste.png`
})

Parâmetros obrigatórios​

  • imagePath: String - espera um string com o caminho da imagem que será clicada.

Parâmetros opcionais​

  • button: String - espera um string com o botão que será clicado. Os valores possíveis são:
    • left: clicará com o botão esquerdo do mouse.
    • right: clicará com o botão direito do mouse.
  • options: Object - espera um objeto com as opções do método. As opções são:
    • region: Object - espera um objeto com as coordenadas da tela, ou seja, região em que a imagem se encontra. As coordenadas são:
      • x: Number - espera um número com a coordenada x da região da tela onde a imagem será encontrada.
      • y: Number - espera um número com a coordenada y da região da tela onde a imagem será encontrada.
      • width: Number - espera um número com a largura da região da tela onde a imagem será encontrada.
      • height: Number - espera um número com a altura da região da tela onde a imagem será encontrada.
    • threshold: Number - espera um número de 0 a 1 que representa a semelhança entre a imagem está salva e a imagem que está sendo encontrada na tela para ser clicada.
    • timeout: Number - espera um número inteiro que representa o tempo em milissegundos que o método esperará para encontrar a imagem que será clicada.

Retorno​

Este método não retorna valores.

findAndMoveMouse​

Método responsável por mover o mouse em uma imagem encontrada na tela.

await Browser.findAndMoveMouse["v1_0_0"]({
     imagePath: `C:/Users/Roberty/Downloads/teste.png`
})

Parâmetros obrigatórios​

  • imagePath: String - espera um string com o caminho da imagem que será encontrada na tela e receberá a ação do mouse.

Parâmetros opcionais​

  • options: Object - espera um objeto com as opções do método. As opções são:
    • region: Object - espera um objeto com as coordenadas da tela onde está a imagem desejada. As coordenadas são:
      • x: Number - espera um número com a coordenada x da região da tela onde a imagem será encontrada.
      • y: Number - espera um número com a coordenada y da região da tela onde a imagem será encontrada.
      • width: Number - espera um número com a largura da região da tela onde a imagem será encontrada.
      • height: Number - espera um número com a altura da região da tela onde a imagem será encontrada.
    • threshold: Number - espera um número de 0 a 1 que representa a semelhança entre a imagem está salva e a imagem que está sendo encontrada na tela que o mouse se mova até ela.
    • timeout: Number - espera um número inteiro que representa o tempo em milissegundos que o método esperará para encontrar a imagem em que o mouse se moverá.

Retorno​

Este método não retorna valores.

ocr​

Método responsável por realizar o reconhecimento de caracteres presentes em uma determinada imagem.

const ocrImage = await Browser.ocr["v1_0_0"]({
     image: `C:/Users/Roberty/Downloads/teste.png`,
     lang: `pt`
})

Parâmetros obrigatórios​

  • image: String - espera um string com o caminho da imagem que será reconhecida.
  • lang: String - espera um string com o idioma que será utilizado para reconhecer os caracteres. As opções de idiomas são:
    • pt: Português
    • en: Inglês

Parâmetros opcionais​

Este método não possui parâmetros opcionais.

Retorno​

A constante ou variável criada, como a ocrImage do exemplo mostrado anteriormente, receberá um valor do tipo String. Essa string representa os caracteres reconhecidos na imagem.

waitFor​

Método responsável por esperar por uma imagem na tela principal do dispositivo. Caso a imagem não seja encontrada no tempo estipulado (timeout), a execução do código será interrompida com erro.

const awaitedImage = await Browser.waitFor["v1_0_0"]({
     imagePath: `C:/Users/Roberty/Downloads/teste.png`
})

Parâmetros obrigatórios​

  • imagePath: String - espera uma string com o caminho da imagem que será esperada na tela.

Parâmetros opcionais​

  • options: Object - espera um objeto com as opções do método. As opções são:
    • timeout: Number - espera um número com o tempo de espera em milissegundos para a imagem ser encontrada.
    • region: Object - espera um objeto com as coordenadas da região da tela onde a imagem será esperada. As coordenadas são:
      • x: Number - espera um número com a coordenada x da região da tela onde a imagem será esperada.
      • y: Number - espera um número com a coordenada y da região da tela onde a imagem será esperada.
      • width: Number - espera um número com a largura da região da tela onde a imagem será esperada.
      • height: Number - espera um número com a altura da região da tela onde a imagem será esperada.
    • threshold: Number - espera um número de 0 a 1 que representa a semelhança da imagem que será esperada.

Retorno​

A constante ou variável criada, como a awaitedImage do exemplo mostrado anteriormente, receberá um valor do tipo Promise<void>.

captchaNormal​

Ação responsável por resolver captcha do tipo normal. Captcha normal é uma imagem que contém texto distorcido, mas legível por humanos.

  const captchaNormal = await Captcha.normal.v1_0_0({
    img: ''
  })

Parâmetros obrigatórios​

  • img: String - Espera o valor da imagem que deve ser informado em base 64.

Retornos​

  • captchaText.text: Text - Retorna valor do captcha.

captchaText​

Ação responsável por resolver captcha de texto. Texto Captcha é um tipo de captcha que é representado como texto e não contém imagens. Normalmente, você precisa responder a uma pergunta para passar na verificação.

  const captchaText = await Captcha.text.v1_0_0({
    textCaptcha: ''
  })

Parâmetros obrigatórios​

  • textCaptcha: String - Espera o texto do capctha que precisa ser respondido.

Retornos​

  • captchaText.text: Text - Retorna a resposta do captcha.