La función, puede reconocer texto, imágenes y enlaces, y ofrecer respuestas o ejecutar acciones según lo que el usuario está haciendo. Desde traducir contenido, generar un resumen o buscar información relacionada, hasta ayudar a responder un mensaje.

Por ejemplo, si estás leyendo una reseña en un navegador, puedes preguntarle a Gemini —sin cambiar de app— quién es el autor del artículo, o pedirle que resuma el contenido. La inteligencia artificial entiende lo que ves y actúa en función de ello.

Además del contexto de pantalla, Gemini incorpora otra función basada en la cámara del dispositivo. Al activar esta opción, puedes enfocar un objeto o texto, y Gemini lo interpretará para ofrecer detalles, identificarlo o incluso ayudarte con tareas como traducir señales o reconocer productos.

Te puede interesar: Gmail se renueva con IA: así podrás encontrar correos clave y resumir hilos ¿Desde cuándo y qué necesitas?

La herramienta permite al usuario reducir los pasos entre lo que  necesita y la respuesta, no se trata solo de una mejora técnica, es una evolución hacia una interacción más intuitiva.

Por el momento, screen context está disponible únicamente en dispositivos Android, y solo para quienes tienen acceso a Gemini Advanced, que forma parte del plan Google One AI Premium. Su lanzamiento es progresivo, y aunque no se ha confirmado una fecha de disponibilidad global, ya está funcionando en equipos como los Google Pixel y algunos modelos recientes de Xiaomi.

Finalmente, cabe mencionar que mientras otras compañías como Apple y Amazon aún trabajan en integrar inteligencia artificial a sus sistemas de forma tan contextual, Gemini ya responde con acciones ajustadas al momento y al contenido que el usuario tiene frente a sus ojos.

Imagen: Archivo ENTER