La nueva frontera: Agentes de IA con 'Computer Use'

Rompiendo la barrera de las APIs

Desde los inicios de la automatización empresarial, ha existido una regla de oro inquebrantable: si un software no tiene una API (Interfaz de Programación de Aplicaciones), es increíblemente difícil de automatizar. Las empresas han gastado millones en integrar sistemas, migrar bases de datos y construir puentes para que el software moderno pudiera hablar con aplicaciones antiguas (Legacy).

En 2026, la inteligencia artificial ha roto esta barrera. Ha nacido una nueva era en la automatización agéntica gracias a una capacidad revolucionaria: el “Computer Use” (Uso de ordenador).

Los agentes de IA modernos ya no necesitan comunicarse exclusivamente mediante código. Ahora pueden “ver” la pantalla, interpretar interfaces de usuario, mover el cursor del ratón, hacer clics y escribir en el teclado exactamente igual que lo haría un operador humano.

¿Cómo funciona el Computer Use en la IA?

Esta tecnología combina Modelos de Lenguaje Visuales de gran tamaño (VLM) con agentes de razonamiento profundo. El proceso operativo es un bucle continuo de observación y acción:

1. Captura Visual: El agente recibe una captura de pantalla de la interfaz gráfica actual.
2. Análisis Espacial: El modelo identifica dónde están los botones, los campos de texto, las pestañas del navegador y los menús desplegables.
3. Razonamiento: El agente compara lo que ve con su objetivo final (por ejemplo, “Añadir un nuevo paciente al sistema hospitalario antiguo”).
4. Ejecución de Acción: El agente decide las coordenadas exactas donde debe hacer clic y las pulsaciones de teclado requeridas.
5. Verificación: Toma una nueva captura de pantalla para confirmar que la interfaz ha cambiado como esperaba y continúa con el siguiente paso.

Revolucionando el software Legacy en entornos corporativos

La mayor ventaja del “Computer Use” es la democratización total de la automatización. Durante décadas, bancos, hospitales y administraciones públicas han estado atados a software de terminal o interfaces Windows de los años 90 que no soportan integraciones modernas.

Con agentes autónomos capaces de usar interfaces gráficas, el panorama cambia:

• Banca y Seguros: Agentes leyendo correos entrantes, abriendo aplicaciones de mainframe de AS/400 (emuladores de terminal), navegando por sus menús mediante flechas del teclado y actualizando pólizas de seguros en tiempo real.
• Salud: Extracción de historiales médicos de softwares locales sin API, copiando los datos relevantes y pegándolos en modernos portales de gestión de pacientes en la nube, superando el problema de interoperabilidad.
• Logística: Operación de sistemas de gestión de almacén cerrados provistos por terceros, donde el agente navega por la interfaz web del proveedor logístico para solicitar recogidas o descargar albaranes.

La evolución del RPA Tradicional

La Automatización Robótica de Procesos (RPA) tradicional ya intentaba hacer esto mediante el raspado de pantalla (screen scraping) y la programación de coordenadas fijas de clics. Sin embargo, el RPA tradicional es frágil. Si un botón de la página web cambia de color, se mueve 5 píxeles a la derecha o aparece un banner publicitario emergente (pop-up), el robot tradicional falla y el proceso se rompe.

Los agentes de IA con “Computer Use” poseen resiliencia semántica. Si un botón de “Guardar” cambia de ubicación o diseño, el agente visual lo sigue reconociendo por su significado y contexto. Si aparece un pop-up inesperado de actualización de software, el agente razona (“Esto no es parte de mi tarea”), hace clic en la ‘X’ para cerrarlo, y continúa trabajando.

Retos de Seguridad y Despliegue

Darle el control del teclado y el ratón a una Inteligencia Artificial conlleva enormes retos de infraestructura y ciberseguridad. Estos agentes nunca se ejecutan en las máquinas físicas de los empleados.

La arquitectura empresarial estandarizada implica la creación de entornos aislados (contenedores en la nube o máquinas virtuales efímeras). El agente tiene acceso a un escritorio remoto seguro y aislado, donde realiza su trabajo bajo estrictos guardrails de monitorización y sin acceso directo a redes sensibles.

La tecnología “Computer Use” es el puente definitivo entre la inteligencia cognitiva de los LLMs y la acción en el mundo digital real. Solicita más información sobre cómo evaluar la viabilidad de agentes visuales en tu infraestructura y automatiza lo inautomatizable.