Una nueva generación de inteligencia artificial (IA) pueden producir imágenes «creativas» a la carta a partir de un texto. Los modelos de Imagen , MidJourney yDALL-E 2 están empezando a cambiar la forma de hacer contenidos creativos con implicaciones para los derechos de autor y la propiedad intelectual.

Aunque el resultado de estos modelos es a menudo sorprendente, es difícil saber exactamente cómo producen sus resultados. La semana pasada, unos investigadores estadounidenses afirmaron que el modelo DALL-E 2 podría haber inventado su propio lenguaje secreto para hablar de los objetos.

Al pedirle a DALL-E 2 que creara imágenes que contuvieran subtítulos de texto y, a continuación, introducir los subtítulos resultantes (en galimatías) en el sistema, los investigadores concluyeron que DALL-E 2 piensa Vicootes significa « vegetables mientras que Wa ch zod rea se refiere a « criaturas marinas que una ballena podría comer

Estas afirmaciones son fascinantes y, de ser ciertas, podrían tener importantes implicaciones de seguridad e interpretabilidad para este tipo de modelos de IA de gran tamaño. Entonces, ¿qué está pasando exactamente?

¿Tiene DALL-E 2 un lenguaje secreto?

Probablemente DALL-E 2 no tenga un «lenguaje secreto». Sería más exacto decir que tiene su propio el vocabulario, pero incluso así no podemos saberlo con seguridad.

En primer lugar, a estas alturas es muy difícil verificar cualquier afirmación sobre DALL-E 2 y otros grandes modelos de IA porque sólo un puñado de investigadores y creativos tienen acceso a ellas. Las imágenes que se comparten públicamente (en Twitter, por ejemplo) deben tomarse con bastante cautela, ya que han sido «seleccionadas» por un humano entre las muchas imágenes generadas por la IA.

Incluso los que tienen acceso sólo pueden utilizar estos modelos de forma limitada. Por ejemplo, los usuarios de DALL-E 2 pueden generar o modificar imágenes, pero no pueden (todavía) interactuar con el sistema de IA más profundamente, por ejemplo modificando el código entre bastidores. Esto significa que « IA explicable «no se pueden aplicar métodos para entender el funcionamiento de estos sistemas, y la investigación sistemática de su comportamiento es un reto.

¿Qué ocurre entonces?

Una posibilidad es que las frases «incoherentes» estén relacionadas con palabras de lenguas no inglesas. Por ejemplo, Apoploe que parece crear imágenes de pájaros, es similar al latín Apodidae que es el nombre binomial de una familia de especies de aves.

Esto parece una explicación plausible. Por ejemplo, DALL-E 2 se entrenó con una gran variedad de datos extraídos de Internet, que incluían muchas palabras no inglesas.

Ya han ocurrido cosas similares: grandes modelos de IA de lenguaje natural han coincidido aprendió a escribir código informático sin un entrenamiento deliberado.

¿Se trata de las fichas?

Un punto que apoya esta teoría es el hecho de que los modelos lingüísticos de la IA no leen el texto como lo hacemos tú y yo . En cambio, dividen el texto introducido en «tokens» antes de procesarlo.

Diferentes enfoques de «tokenización» tienen resultados diferentes. Tratar cada palabra como un token parece un enfoque intuitivo, pero causa problemas cuando tokens idénticos tienen significados diferentes (como cuando «match» significa cosas diferentes cuando estás jugando al tenis y cuando estás encendiendo un fuego).

Por otro lado, tratar cada carácter como una ficha produce un número menor de fichas posibles, pero cada una transmite mucha menos información significativa.

DALL-E 2 (y otros modelos) utilizan un enfoque intermedio llamado codificación de pares de bytes (BPE). La inspección de las representaciones del BPE para algunas de las palabras incoherentes sugiere que esto podría ser un factor importante para entender el «lenguaje secreto».

No es la imagen completa

El «lenguaje secreto» también podría ser un ejemplo del principio de «basura que entra, basura que sale». DALL-E 2 no puede decir «no sé de qué estás hablando», así que siempre generará algún tipo de imagen a partir del texto de entrada dado.

En cualquier caso, ninguna de estas opciones es una explicación completa de lo que ocurre. Por ejemplo, la eliminación de caracteres individuales de palabras incoherentes parece corromper las imágenes generadas de manera muy específica . Y parece que las palabras individuales de galimatías no se combinan necesariamente para producir imágenes compuestas coherentes (como lo harían si realmente existiera un «lenguaje» secreto bajo las sábanas).

Por qué es importante

Más allá de la curiosidad intelectual, quizá se pregunte si algo de esto es realmente importante.

La respuesta es sí. El «lenguaje secreto» de DALL-E es un ejemplo de «ataque adversario» contra un sistema de aprendizaje automático: una forma de romper el comportamiento previsto del sistema eligiendo intencionadamente entradas que la IA no maneja bien.

Una de las razones por las que los ataques adversarios son preocupantes es que desafían nuestra confianza en el modelo. Si la IA interpreta palabras incoherentes de forma no intencionada, también podría interpretar palabras significativas de forma no intencionada.

Los ataques adversos también plantean problemas de seguridad. DALL-E 2 filtra el texto introducido para evitar que los usuarios generen contenidos dañinos o abusivos, pero un «lenguaje secreto» de palabras incoherentes podría permitir a los usuarios burlar estos filtros.

Una investigación reciente ha descubierto que el adversario « frases de activación «para algunos modelos de IA lingüística: frases cortas sin sentido, como «zoning tapping fiennes», que pueden hacer que los modelos emitan contenidos racistas, dañinos o tendenciosos. Esta investigación forma parte del esfuerzo en curso para comprender y controlar cómo los complejos sistemas de aprendizaje profundo aprender de los datos .

Por último, fenómenos como el «lenguaje secreto» de DALL-E 2 plantean problemas de interpretabilidad. Queremos que estos modelos se comporten como un humano espera, pero ver una salida estructurada en respuesta a un galimatías confunde nuestras expectativas.

Shining a Light on Existing Concerns

Quizá recuerdes el revuelo que se armó en 2017 por unos chatbots de Facebook que « inventaron su propia lengua .» La situación actual es similar en el sentido de que los resultados son preocupantes, pero no en el sentido de «Skynet viene a dominar el mundo».

En cambio, el «lenguaje secreto» de DALL-E 2 pone de manifiesto las preocupaciones existentes sobre la solidez, la seguridad y la interpretabilidad de sistemas de aprendizaje profundo .

Hasta que estos sistemas no estén disponibles de forma más generalizada -y, en particular, hasta que los usuarios de un conjunto más amplio de entornos culturales no ingleses puedan utilizarlos- no podremos saber realmente lo que está ocurriendo.

In the meantime, however, if you’d like to try generating some of your own AI images you can check out a freely available smaller model, DALL-E mini . Sólo hay que tener cuidado con las palabras que se utilizan para pedir al modelo (inglés o galimatías, tú decides).La conversación

Este artículo se ha publicado de nuevo en La conversación bajo licencia Creative Commons. Lea el artículo original .

Crédito de la imagen: Giannis Daras / DALL-E