Sociedad

Comenzó como un juego de mazmorras impulsado por IA. Entonces se puso mucho más oscuro

Comenzó como un juego de mazmorras impulsado por IA.  Entonces se puso mucho más oscuro

Mazmorra de IA

En diciembre de 2019, la startup Latitude de Utah lanzó un innovador juego en línea llamado Mazmorra de IA esto mostró una nueva forma de colaboración hombre-máquina. La empresa utilizó la tecnología de generación de texto de la empresa de inteligencia artificial OpenAI para crear un juego de aventuras inspirado en ti que está inspirado en Mazmorras. Cuando un jugador escribía la acción o el diálogo que se suponía que debía realizar su personaje, los algoritmos creaban la siguiente fase de su aventura personalizada e impredecible.

El verano pasado, OpenAI le dio a Latitude acceso temprano a una versión comercial más poderosa de su tecnología. OpenAI ha promocionado en materiales de marketing Mazmorra de IA como ejemplo del potencial comercial y creativo de escribir algoritmos.

Luego, el mes pasado, dice OpenAI, lo descubrió Mazmorra de IA también mostró un lado oscuro de la colaboración humano-IA. Un nuevo sistema de vigilancia reveló que algunos jugadores escribieron palabras que llevaron al juego a generar historias de encuentros sexuales con niños. OpenAI instó a Latitude a tomar medidas inmediatas. «Las decisiones de moderación de contenido son difíciles en algunos casos, pero no en este», dijo Sam Altman, CEO de OpenAI, en un comunicado. «Este no es el futuro de la IA que todos queremos».

Cancelaciones y memes

Latitude activó un nuevo sistema de moderación la semana pasada y provocó una revuelta entre sus usuarios. Algunos se quejaron de que era demasiado sensible y de que no podían referirse a una «computadora portátil de 8 años» sin activar una alerta. Otros dijeron que los planes de la compañía de revisar manualmente el contenido marcado detectarían innecesariamente creaciones privadas y ficticias que eran sexualmente explícitas pero que solo afectaban a adultos, un caso de uso popular para Mazmorra de IA.

En resumen, el intento de Latitude de combinar personas y algoritmos con contenido policial creado por personas y algoritmos se convirtió en un desastre. Los memes enojados y las reclamaciones de suscripción canceladas volaron en Twitter y rápido y rápido Mazmorra de IAcomunidades oficiales de Reddit y Discord.

«La comunidad se siente traicionada de que Latitude escanee contenido literario ficticio privado y acceda y lea manualmente», dice uno. Mazmorra de IA Un jugador de Mimi que afirma haber escrito más de 1 millón de palabras en total utilizando IA, incluidos poemas, Zona de penumbra Parodias y aventuras eróticas. Mimi y otros usuarios descontentos dicen que comprenden el deseo de la compañía de monitorear el contenido visible públicamente, pero dicen que abruma y arruina un poderoso campo de juego creativo. «Me permitió explorar aspectos de mi psique que nunca supe que existían», dice Mimi.

Un portavoz de Latitude dijo que se están perfeccionando tanto el sistema de filtrado como las pautas para el contenido aceptable. El personal había prohibido previamente a los jugadores que supieron que habían estado usando Mazmorra de IA generar contenido sexual con niños. Sin embargo, tras la reciente advertencia de OpenAI, la compañía está trabajando en «cambios necesarios», dijo el portavoz. Latitude prometió hacerlo en una publicación de blog la semana pasada. Mazmorra de IA «continuaría apoyando otro contenido NSFW, incluido contenido adulto consensuado, violencia y blasfemias».

Será difícil evitar que el sistema de inteligencia artificial cree ciertos tipos de contenido sexual o para adultos mientras permite otros. Las tecnologías como OpenAI pueden generar texto en muchos estilos diferentes porque se crean utilizando algoritmos de aprendizaje automático que asimilan los patrones estadísticos del uso del lenguaje en miles de millones de palabras que provienen de Internet, incluidas partes que no son adecuadas para menores. El software es capaz de asombrosos momentos de mimetismo, pero no comprende las categorías sociales, legales o de género tan bien como los humanos. Agregue el ingenio diabólico de Homo internetusy el resultado puede ser extraño, hermoso o venenoso.

OpenAI lanzó su tecnología de generación de texto como código abierto a fines de 2019, pero convirtió una versión significativamente mejorada llamada GPT-3 en un servicio comercial el año pasado. Los clientes como Latitude pagan para ingresar cadenas de texto y obtener la mejor suposición del sistema sobre qué texto seguir. El servicio llamó la atención de la industria de la tecnología después de que los programadores de acceso temprano compartieran chistes, sonetos y códigos que fluían de manera impresionante.

OpenAI dijo que el servicio empoderaría a las empresas y nuevas empresas y le otorgó a Microsoft, un fuerte partidario de OpenAI, una licencia exclusiva para los algoritmos subyacentes. WIRED y algunos programadores e investigadores de inteligencia artificial que probaron el sistema demostraron que también puede generar texto desagradable, como comentarios antisemitas y propaganda extremista. OpenAI dijo que seleccionaría cuidadosamente a los clientes para eliminar a los malos actores e instó a la mayoría de los clientes, pero no a Latitude, a usar filtros que el proveedor de inteligencia artificial creó para bloquear las malas palabras, el discurso de odio o el contenido sexual.

Tú querías… armar este dragón?

Fuera del centro de atención Mazmorra de IA permitió un acceso relativamente irrestricto a la tecnología de generación de texto de OpenAI. En diciembre de 2019, el mes en que se lanzó el juego utilizando la versión anterior de código abierto de la tecnología OpenAI, ganó 100.000 jugadores. Algunos lo descubrieron rápidamente y llegaron a apreciar su fluidez con contenido sexual. Otros se quejaron de que la IA estaba abordando problemas sexuales no solicitados, como cuando intentaron viajar en un dragón y su aventura dio un giro inesperado.

El cofundador de Latitude, Nick Walton, reconoció el problema en la comunidad oficial de Reddit del juego a los pocos días de su lanzamiento. Dijo que varios jugadores le habían enviado muestras «profundamente incómodas» y agregó que la compañía estaba trabajando en tecnología de filtros. Durante los primeros meses del juego, los jugadores también notaron, y lo publicaron en línea para etiquetarlo, que a veces escribe a los niños en escenarios sexuales.

Mazmorra de IALas comunidades oficiales de Reddit y Discord han agregado canales dedicados para discutir el contenido para adultos generado por el juego. Latitude agregó un «Modo seguro» opcional que filtró sugerencias de la IA con palabras específicas. Sin embargo, como todos los filtros automatizados, no fue perfecto. Y algunos jugadores notaron que la configuración supuestamente segura mejoró la escritura erótica del generador de texto porque se usaron más analogías y eufemismos. La compañía también agregó un nivel de suscripción premium para generar ingresos.

Cuándo Mazmorra de IA En julio de 2020, se agregaron los algoritmos de escritura comercial más potentes de OpenAI. La escritura se volvió aún más impresionante. «El gran salto en la creatividad y la capacidad de contar historias fue celestial», dice un jugador veterano. El sistema se ha vuelto notablemente más creativo en su capacidad para examinar temas sexualmente explícitos también, dice esta persona. El año pasado, los jugadores notaron por un tiempo que Latitude estaba experimentando con un filtro que reemplazaría automáticamente la palabra «violación» por «respeto», pero la función fue eliminada.

El veterano estaba entre ellos Mazmorra de IA Amantes que usaron el juego como una herramienta de escritura mejorada por IA para explorar temas para adultos, incluso en un grupo de escritura especial. Las sugerencias no deseadas del algoritmo podrían eliminarse de una historia para dirigirla en una dirección diferente. Los resultados no se hicieron públicos a menos que alguien los compartiera.

Latitude se negó a compartir números sobre cuántas aventuras incluían contenido sexual. Dice en el sitio web de OpenAI Mazmorra de IA atrae a más de 20.000 jugadores cada día.

A Mazmorra de IA El jugador, que la semana pasada informó de una vulnerabilidad que hizo que todas las historias creadas en el juego estuvieran disponibles al público, descargó varios cientos de miles de aventuras creadas durante cuatro días en abril. Analizó una muestra de 188.000 de ellos y descubrió que el 31 por ciento contenía palabras que indicaban que eran sexualmente explícitas. Este análisis, y la vulnerabilidad que ahora se ha solucionado, alimentó la ira de algunos jugadores por el nuevo enfoque de Latitude para la moderación de contenido.

Latitude ahora enfrenta el desafío de recuperar la confianza del usuario mientras cumple con los requisitos de OpenAI para un control más estricto sobre el generador de texto. La startup ahora debe usar la tecnología de filtro de OpenAI, dijo un portavoz de OpenAI.

La entrega responsable de sistemas de IA que han absorbido grandes cantidades de texto de Internet, incluidas algunas partes desagradables, se ha convertido en un tema importante en la investigación de IA. Dos destacados investigadores de Google fueron expulsados ​​de la empresa después de que los gerentes se opusieran a un documento que pedía precaución con la tecnología.

La tecnología se puede utilizar de formas muy limitadas, p. Ej. B. en la búsqueda de Google, donde ayuda a analizar el significado de consultas largas. OpenAI ayudó Mazmorra de IA lanzando una aplicación impresionante pero desordenada que la gente puede usar para engañar a la tecnología para que elimine más o menos todo lo que pueda.

«Es realmente difícil saber cómo se comportarán estos modelos en la naturaleza», dice Suchin Gururangan, investigador de la Universidad de Washington. Contribuyó a un estudio y una demostración interactiva en línea con investigadores de la Universidad de Washington y el Instituto Allen de Inteligencia Artificial que mostró que cualquier persona que tomara prestado de Internet causaba que cinco modelos de generación de voz diferentes, incluido uno de OpenAI, fueran texto de escupir tóxico.

Gururangan es uno de los muchos investigadores que actualmente intentan descubrir cómo ejercer más control sobre los sistemas de lenguaje de IA, incluso siendo más cuidadosos con el contenido del que están aprendiendo. OpenAI y Latitude dicen que también están trabajando en ello mientras intentan ganar dinero con la tecnología.

Esta historia apareció originalmente en wired.com.

Más populares

To Top