Apple  e investigadores de la Universidad de California en Santa Bárbara, han desarrollado, MGIE, un sistema de IA que combina Modelos de Lenguaje de gran escala y modelos de difusión para la edición de imágenes guiada por instrucciones. 

En la actualidad, las herramientas de diseño, a pesar de la considerable demanda, su operación requiere conocimientos previos. Para mejorar la controlabilidad y accesibilidad, la edición de imágenes guiada por texto ha ganado popularidad en estudios recientes. Sin embargo, las limitaciones en las descripciones y máscaras específicas afectan la efectividad de estos modelos en la edición basada en instrucciones.

Según el documento de Apple, MGIE se aplica a diferentes aspectos de edición, como modificación al estilo de Photoshop, optimización global de fotos y alteración local de objetos. Los resultados experimentales muestran que la IA mejora significativamente la edición de imágenes basada en instrucciones, con instrucciones expresivas razonables en métricas automáticas y evaluación humana.

Imágenes: Bard, la IA de Google permitirá generar imágenes fotorrealistas y tendrá doble verificación de respuestas

En comparación con otros enfoques, la nueva IA supera consistentemente en diferentes configuraciones . Se demuestra que las instrucciones expresivas con percepción visual son beneficiosas en la optimización global y la edición local. La guía de MLLM se muestra útil al alinearse mejor con las imágenes de entrada y objetivo, proporcionando orientación explícita y correlacionada para la edición.

Además de las métricas automáticas, se realiza una evaluación humana para estudiar las instrucciones expresivas generadas y los resultados de la edición de imágenes. La guía precisa se considera informativa y alineada con el objetivo deseado, evitando explicaciones incorrectas o no relacionadas. MGIE se destaca en términos de calidad de instrucciones expresivas, demostrando ser una herramienta efectiva para la edición de imágenes basada en instrucciones.

Es decir, MGIE sobresale por su capacidad para llevar a cabo una amplia variedad de ediciones de imágenes, desde simples ajustes de color hasta transformaciones complejas de objetos. 

Realiza tareas como recorte, cambio de tamaño y rotación de imágenes, así como en ajustes de brillo, contraste y equilibrio de color, todo ello a partir de indicaciones simples de texto. Al ser de código abierto, MGIE es fácilmente accesible a través de GitHub, con recursos adicionales como un cuaderno de demostración y una versión interactiva en Hugging Face Spaces, lo que lo convierte en una opción cómoda para diversas aplicaciones de edición de imágenes.

Al igual que la mayoría de tecnologías que requieren de servidores, las imágenes IA generan huellas de carbono porque requieren de una cantidad considerable de energía. Así que la universidad Carnegie Mellon de los Estados Unidos, en colaboración con el startup de AI Hugging Face, descubrieron que producir cada una de estas imágenes utilizando inteligencia artificial es equivalente a cargar un celular al 16%.

El experimento fue realizado utilizando 88 diferentes modelos de inteligencia artificial y 30 diferentes sets de datos. No solo esto, sino que el objetivo era examinar todas las tareas que hoy pueden realizar estos modelos, midiendo su huella de carbono. La producción de una imagen generada con AI encabeza la lista por mucho. En el listado le siguen en orden:

– Resúmenes multitarea.

– Etiquetar o analizar imágenes.

– Producir resúmenes.

– Generación de texto.

– Sesiones de preguntas de tipo multitarea.

– Detección de objetos.

– Clasificación de texto multitarea.

– Clasificación de imágenes.

Te puede interesar: Así puedes comprobar con Google si imágenes han sido generadas o mejoradas con IA

El impacto ambiental puede no parecer mucho, en especial cuando se compara con otras tecnologías como es el Blockchain, que suelen tener un impacto ambiental mucho mayor. Sin embargo, el informe pone especial atención a cómo la generación de imágenes utilizando Inteligencia artificial se ha convertido en uno de los usos más populares de modelos como ChatGPT, que en su punto más alto de popularidad alcanzó los 100 millones de usuarios activos al mes. En el caso de las imágenes generadas por IA es un problema importante al revisar cualquier línea de tiempo en Instagram o foro de Internet y encontrar que cada vez más usuarios y empresas están normalizando su aplicación. No sería nada extraño que en algún momento el pedir a un modelo que genere estas imágenes se convierta en una tarea de todos los días para la mayoría.

En respuesta a este panorama los investigadores como conclusión realizaron una invitación a “practicar la transparencia con respecto a la naturaleza y los impactos de sus modelos, para permitir una mejor comprensión de sus impactos ambientales“.

Imágenes: Foto de Cash Macanaya en Unsplash 

Esta versión web de Photoshop no es solo una réplica de la aplicación de escritorio que todos conocemos. El programa también viene con un conjunto de características de inteligencia artificial (IA) que están diseñadas para revolucionar la forma en que editamos fotos. Estas características, basadas en el modelo de IA generativa Firefly de Adobe, incluyen el relleno generativo y la expansión generativa.

La característica más destacada de Firefly es su capacidad para permitir a los usuarios realizar ediciones rápidas y precisas en sus imágenes utilizando descripciones de texto en más de 100 idiomas. Con esta herramienta, los usuarios pueden agregar, eliminar o expandir elementos en una imagen mientras se mantienen fieles a las condiciones de iluminación y perspectiva de la imagen original. Es una innovación que facilitará enormemente el proceso de edición de fotos.

Sin embargo, es importante destacar que la versión web de Photoshop tiene algunas diferencias clave en comparación con la aplicación de escritorio. Por ejemplo, la barra de herramientas en la versión web está organizada en flujos de trabajo específicos, lo que hace que sea más fácil para los usuarios encontrar y utilizar las herramientas que necesitan. Además, las herramientas ahora muestran los nombres completos en lugar de descripciones en la información sobre herramientas, lo que facilita aún más su identificación, especialmente para los principiantes.

Te puede interesar: Adobe no se queda atrás: anuncia nuevas funciones con IA para la edición de video

Adobe asegura a los usuarios que la versión web ofrece la mayoría de las herramientas presentes en la versión de escritorio, incluida la barra de tareas contextuales que sugiere próximos pasos y herramientas según el flujo de trabajo. Sin embargo, aún falta la herramienta Parche, la herramienta Lápiz, la compatibilidad con objetos inteligentes y el lazo poligonal. La compañía ha anunciado que está trabajando en la integración de estas herramientas y que estarán disponibles en el futuro.

La versatilidad de Photoshop para la web es una de sus mayores ventajas. Funciona en cualquier navegador web, lo que significa que los usuarios pueden editar sus fotos desde cualquier lugar y en cualquier momento. Así mismo, la nueva versión web de Photoshop también ofrece una prueba gratuita de 7 días para que los usuarios puedan experimentar todas estas características por sí mismos antes de comprometerse con una suscripción mensual.

Sin embargo, es importante mencionar que Adobe ha descartado la idea de lanzar una versión gratuita de Photoshop, a pesar de haber insinuado previamente que podría estar en desarrollo. Ashley Still confirma que no tienen planes de ofrecer una versión freemium y en su lugar, los usuarios pueden aprovechar demostraciones interactivas gratuitas y tutoriales de la aplicación para familiarizarse con Photoshop para la web.

Imágenes: Adobe