Saltar al contenido principal
Docs
Ir al Studio
Roberty Studio
RPAMódulos

Image Recognition

Image Recognition

El módulo Image Recognition es responsable de realizar el reconocimiento de imágenes en la pantalla del dispositivo y hacer determinadas acciones con base en la imagen reconocida. Sus métodos pueden accederse conforme al ejemplo a continuación:

js
await ImageRecognition.waitFor["v1_0_0"]({
  imagePath: `C:/Users/Roberty/Downloads/teste.png`,
})

Métodos​

advancedOcr​

Método responsable de realizar el reconocimiento óptico de caracteres avanzado en un archivo, con soporte para la extracción de palabras, líneas, tablas, formularios y consultas estructuradas.

js
const result = await ImageRecognition.advancedOcr["v1_0_0"]({
  filePath: 'C:/Users/Roberty/Documents/documento.pdf',
  featureType: ['WORD', 'LINE', 'TABLE'],
})

Parámetros obligatorios​

  • filePath: String - ruta del archivo de imagen o PDF que será procesado.
  • featureType: String[] - lista de tipos de contenido que serán extraídos. Valores: WORD | LINE | TABLE | FORM | QUERY.

Parámetros opcionales​

  • timeout: Number - tiempo máximo en segundos para esperar el procesamiento. Valor predeterminado: 120.
  • pageRanges: String - intervalo de páginas a procesar (ej.: 1-3, 2). Aplicable solo a PDF.
  • queries: String[] - lista de preguntas para la extracción dirigida de información del documento (requiere QUERY en featureType).
  • actionId: String - identificador de la acción para el control de ejecución.

Retorno​

La constante o variable creada, como la result del ejemplo mostrado anteriormente, recibirá un objeto con las siguientes propiedades:

  • result.words: Object[] - lista de palabras reconocidas con sus posiciones.
  • result.lines: Object[] - lista de líneas reconocidas con sus posiciones.
  • result.queries: Object[] - respuestas de las consultas indicadas en el parámetro queries.
  • result.forms: Object[] - pares clave-valor extraídos de formularios.
  • result.tables: Object[] - tablas extraídas con sus filas y columnas.
  • result.content: String - todo el contenido textual extraído del documento.

captchaNormal​

Acción responsable de resolver un captcha de tipo normal. El captcha normal es una imagen que contiene texto distorsionado, pero legible por humanos.

js
const captchaNormal = await Captcha.normal["v1_0_0"]({
  img: ''
})

Parámetros obligatorios​

  • img: String - espera el valor de la imagen, que debe indicarse en base 64.

Retorno​

La constante o variable creada, como la captchaNormal del ejemplo, recibirá directamente el string con el texto resuelto del captcha.

captchaText​

Acción responsable de resolver un captcha de texto. El Captcha de Texto es un tipo de captcha que se representa como texto y no contiene imágenes. Normalmente, necesitas responder una pregunta para pasar la verificación.

js
const captchaText = await Captcha.text["v1_0_0"]({
  textCaptcha: ''
})

Parámetros obligatorios​

  • textCaptcha: String - espera el texto del captcha que necesita ser respondido.

Retorno​

La constante o variable creada, como la captchaText del ejemplo, recibirá directamente el string con la respuesta del captcha.

disappear​

Método responsable de esperar que las imágenes desaparezcan de la pantalla. Mientras todas las imágenes no desaparezcan, el método no finaliza. La verificación se repite cada interval segundos; si ninguna de las imágenes está en la pantalla, el método finaliza inmediatamente.

js
const disappearedImage = await ImageRecognition.disappear["v1_0_0"]({
  imagePath: [`C:/Users/Roberty/Downloads/teste.png`, `C:/Users/Roberty/Downloads/teste2.png`],
})

Parámetros obligatorios​

  • imagePath: String[] - espera un array de strings con las rutas de las imágenes que se esperará que desaparezcan de la pantalla.

Parámetros opcionales​

  • options: Object - espera un objeto con las opciones del método. Las opciones son:
    • region: Object - espera un objeto con las coordenadas de la región de la pantalla donde será esperada la imagen. Las coordenadas son:
      • x: Number - coordenada x de la región.
      • y: Number - coordenada y de la región.
      • width: Number - ancho de la región.
      • height: Number - altura de la región.
    • threshold: Number - espera un número de 0 a 1 que representa la similitud entre la imagen guardada y la imagen que está siendo esperada en la pantalla.
  • interval: Number - tiempo en segundos entre cada verificación. Valor predeterminado: 5.
  • attempts: Number - cantidad máxima de verificaciones en las que las imágenes siguen en la pantalla. Al alcanzar ese número, la ejecución se interrumpe con error. Si no se indica, el método espera indefinidamente.

Retorno​

La constante o variable creada, como la disappearedImage del ejemplo mostrado anteriormente, recibirá el valor true cuando las imágenes desaparezcan. Si se alcanza el número de attempts antes de eso, la ejecución se interrumpe con error.

exists​

Método responsable de verificar si una imagen existe o no en la pantalla.

js
const existImage = await ImageRecognition.exists["v1_0_0"]({
  imagePath: `C:/Users/Roberty/Downloads/teste.png`
})

Parámetros obligatorios​

  • imagePath: String - espera un string con la ruta de la imagen que será verificada.

Parámetros opcionales​

  • options: Object - espera un objeto con las opciones del método. Las opciones son:
    • region: Object - espera un objeto con las coordenadas de la región de la pantalla donde será verificada la imagen. Las coordenadas son:
      • x: Number - coordenada x de la región.
      • y: Number - coordenada y de la región.
      • width: Number - ancho de la región.
      • height: Number - altura de la región.
    • threshold: Number - espera un número de 0 a 1 que representa la similitud entre la imagen guardada y la imagen que está siendo verificada en la pantalla.

Retorno​

La constante o variable creada, como la existImage del ejemplo mostrado anteriormente, recibirá un valor del tipo boolean. Si la imagen existe, el valor devuelto será true; en caso contrario, el valor devuelto será false.

find​

Método responsable de encontrar la posición de una imagen en la pantalla.

js
const foundImage = await ImageRecognition.find["v1_0_0"]({
  imagePath: `C:/Users/Roberty/Downloads/teste.png`
})

Parámetros obligatorios​

  • imagePath: String - espera un string con la ruta de la imagen que será encontrada.

Parámetros opcionales​

  • options: Object - espera un objeto con las opciones del método. Las opciones son:
    • region: Object - espera un objeto con las coordenadas de la región de la pantalla donde será encontrada la imagen. Las coordenadas son:
      • x: Number - coordenada x de la región.
      • y: Number - coordenada y de la región.
      • width: Number - ancho de la región.
      • height: Number - altura de la región.
    • threshold: Number - espera un número de 0 a 1 que representa la similitud entre la imagen guardada y la imagen que está siendo encontrada en la pantalla.
    • timeout: Number - tiempo en segundos que el método esperará para encontrar la imagen. Valor predeterminado: 30.

Retorno​

La constante o variable creada, como la foundImage del ejemplo mostrado anteriormente, recibirá un valor del tipo Object. El objeto devuelto tendrá las siguientes propiedades:

  • foundImage.x: Number - coordenada x de la posición de la imagen encontrada.
  • foundImage.y: Number - coordenada y de la posición de la imagen encontrada.
  • foundImage.w: Number - ancho de la imagen encontrada.
  • foundImage.h: Number - altura de la imagen encontrada.
  • foundImage.exists: Boolean - indica si la imagen fue encontrada o no.
  • foundImage.center: Object - coordenadas del centro de la imagen encontrada:
    • x: Number - coordenada x del centro.
    • y: Number - coordenada y del centro.

findAndClick​

Método responsable de hacer clic en una imagen encontrada en la pantalla.

js
await ImageRecognition.findAndClick["v1_0_0"]({
  imagePath: `C:/Users/Roberty/Downloads/teste.png`
})

Parámetros obligatorios​

  • imagePath: String - espera un string con la ruta de la imagen que será clicada.

Parámetros opcionales​

  • button: String - espera un string con el botón que será clicado. Valores: left | right. Valor predeterminado: left.
  • times: Number - cantidad de clics. Valor predeterminado: 1.
  • options: Object - espera un objeto con las opciones del método. Las opciones son:
    • region: Object - coordenadas de la región de la pantalla donde será encontrada la imagen:
      • x: Number - coordenada x de la región.
      • y: Number - coordenada y de la región.
      • width: Number - ancho de la región.
      • height: Number - altura de la región.
    • threshold: Number - espera un número de 0 a 1 que representa la similitud entre la imagen guardada y la imagen que está siendo encontrada en la pantalla.
    • timeout: Number - tiempo en segundos que el método esperará para encontrar la imagen. Valor predeterminado: 30.

Retorno​

Este método no devuelve valores.

findAndMoveMouse​

Método responsable de mover el mouse hasta una imagen encontrada en la pantalla.

js
await ImageRecognition.findAndMoveMouse["v1_0_0"]({
  imagePath: `C:/Users/Roberty/Downloads/teste.png`
})

Parámetros obligatorios​

  • imagePath: String - espera un string con la ruta de la imagen que será encontrada en la pantalla y recibirá la acción del mouse.

Parámetros opcionales​

  • options: Object - espera un objeto con las opciones del método. Las opciones son:
    • region: Object - coordenadas de la región de la pantalla donde será encontrada la imagen:
      • x: Number - coordenada x de la región.
      • y: Number - coordenada y de la región.
      • width: Number - ancho de la región.
      • height: Number - altura de la región.
    • threshold: Number - espera un número de 0 a 1 que representa la similitud entre la imagen guardada y la imagen que está siendo encontrada en la pantalla.
    • timeout: Number - tiempo en segundos que el método esperará para encontrar la imagen. Valor predeterminado: 30.

Retorno​

Este método no devuelve valores.

ocr​

Método responsable de realizar el reconocimiento de caracteres presentes en una determinada imagen.

js
const ocrImage = await ImageRecognition.ocr["v1_0_0"]({
  image: `C:/Users/Roberty/Downloads/teste.png`,
  lang: `pt`
})

Parámetros obligatorios​

  • image: String - espera un string con la ruta de la imagen que será reconocida.

Parámetros opcionales​

  • lang: String - espera un string con el idioma que será utilizado para reconocer los caracteres. Valor predeterminado: pt. Las opciones de idiomas son:
    • pt: Portugués
    • en: Inglés

Retorno​

La constante o variable creada, como la ocrImage del ejemplo mostrado anteriormente, recibirá un valor del tipo String. Ese string representa los caracteres reconocidos en la imagen.

waitFor​

Método responsable de esperar una imagen en la pantalla principal del dispositivo. Si la imagen no se encuentra en el tiempo estipulado (timeout), la ejecución del código será interrumpida con error.

js
const awaitedImage = await ImageRecognition.waitFor["v1_0_0"]({
  imagePath: `C:/Users/Roberty/Downloads/teste.png`
})

Parámetros obligatorios​

  • imagePath: String - espera un string con la ruta de la imagen que será esperada en la pantalla.

Parámetros opcionales​

  • options: Object - espera un objeto con las opciones del método. Las opciones son:
    • timeout: Number - tiempo de espera en segundos para que la imagen sea encontrada. Valor predeterminado: 30.
    • region: Object - coordenadas de la región de la pantalla donde será esperada la imagen:
      • x: Number - coordenada x de la región.
      • y: Number - coordenada y de la región.
      • width: Number - ancho de la región.
      • height: Number - altura de la región.
    • threshold: Number - espera un número de 0 a 1 que representa la similitud de la imagen que será esperada.

Retorno​

Este método no tiene retorno.