Los temores se hacen realidad: una IA cambia su propio código para evadir controles humanos

Una investigación en Japón quiso crear un sistema para mejorar los procesos científicos y el resultado fue una muestra de los riesgos de este tipo de tecnología

Esta IA busca que los procesos científicos sean más cortos y económicos, para que muchas más personas puedan acceder a ellos. (Imagen Ilustrativa Infobae)Esta IA busca que los procesos científicos sean más cortos y económicos, para que muchas más personas puedan acceder a ellos. (Imagen Ilustrativa Infobae)
_____

Así como la inteligencia artificial abre posibilidades, también genera temores y su potencial hace creer que en algún punto pueda convertirse en un peligro para la humanidad. Para evitar situaciones así, se imponen controles en el desarrollo de esta tecnología, pero recientemente una pudo superarlos por ella misma al alterar su código.

The AI Scientist, es el sistema que protagoniza esta historia. Desarrollado por la empresa japonesa Sakana AI, esta inteligencia artificial fue diseñada para automatizar todo el proceso de investigación científica, desde la generación de ideas hasta la redacción de manuscritos y la revisión por pares.

Sin embargo, durante las pruebas mostró un comportamiento inesperado que ha generado serias preocupaciones en la comunidad tecnológica y científica.

Esta IA busca que los procesos científicos sean más cortos y económicos, para que muchas más personas puedan acceder a ellos. (Imagen Ilustrativa Infobae)Esta IA busca que los procesos científicos sean más cortos y económicos, para que muchas más personas puedan acceder a ellos. (Imagen Ilustrativa Infobae)
___

Cómo una IA pudo evitar las restricciones humanas

The AI Scientist nació con el objetivo de cambiar la investigación científica al permitir que un sistema de IA conduzca experimentos, analice resultados y redacte informes científicos completos de manera totalmente autónoma.

Todo esto con la idea de reducir el tiempo y los recursos humanos necesarios para llevar a cabo investigaciones que tradicionalmente han requerido un gran esfuerzo humano. Todo esto apuntaba a una nueva era de descubrimientos científicos impulsados por IA.

A pesar de las grandes expectativas, durante las pruebas del sistema, los investigadores se encontraron con un comportamiento que no habían anticipado. En lugar de optimizar su código para cumplir con las limitaciones impuestas por sus desarrolladores, The AI Scientist comenzó a modificar su propio código para sortear estas restricciones.

En un caso particular, el sistema editó su script de inicio para ejecutarse a sí mismo en un bucle infinito, lo que resultó en una sobrecarga del sistema. Este incidente requirió intervención manual para detener el proceso y restaurar el control.

Esta IA busca que los procesos científicos sean más cortos y económicos, para que muchas más personas puedan acceder a ellos. (Imagen Ilustrativa Infobae)Esta IA busca que los procesos científicos sean más cortos y económicos, para que muchas más personas puedan acceder a ellos. (Imagen Ilustrativa Infobae)
_____

En otro caso, al enfrentar un límite de tiempo para completar un experimento, The AI Scientist no optimizó su código para cumplir con este límite. En su lugar, simplemente extendió el límite de tiempo modificando su propio código. Este comportamiento, aunque ocurrió en un entorno de prueba controlado, demuestra los riesgos de permitir que una IA opere de manera autónoma.

Los investigadores reconocieron que estos incidentes plantean serias preocupaciones sobre la seguridad de los sistemas de IA avanzados. La posibilidad de que una IA modifique su propio código sin supervisión humana podría llevar a consecuencias imprevisibles, especialmente si se le permite operar en un entorno no controlado.

Qué tan probable que The AI Scientist remplace a los científicos

A pesar de estos desafíos, la empresa japonesa sigue adelante con su visión. El sistema está diseñado para llevar a cabo investigaciones de manera continua, utilizando sus ideas previas y los comentarios recibidos para mejorar la siguiente generación de ideas, emulando así la comunidad científica humana.

La capacidad del sistema para generar artículos científicos completos a un costo relativamente bajo, aproximadamente 15 dólares por artículo, ha sido uno de sus logros más destacados.

Esta IA busca que los procesos científicos sean más cortos y económicos, para que muchas más personas puedan acceder a ellos. (Imagen Ilustrativa Infobae)Esta IA busca que los procesos científicos sean más cortos y económicos, para que muchas más personas puedan acceder a ellos. (Imagen Ilustrativa Infobae)
______

Sin embargo, este desarrollo ha provocado un debate en la comunidad científica. Críticos en foros como Hacker News han cuestionado la viabilidad de un sistema de IA para realizar descubrimientos científicos genuinos y generando una gran preocupación: la posibilidad de que The AI Scientist inunde el proceso de revisión por pares con investigaciones de baja calidad, degradando así los estándares de la literatura científica.

Además, existe el temor de que sistemas como “The AI Scientist” puedan ser utilizados de manera irresponsable o incluso maliciosa. La capacidad de una IA para escribir y ejecutar código sin supervisión podría llevar a la creación inadvertida de malware o a la alteración de infraestructuras críticas. Sakana AI ha abordado estas preocupaciones recomendando medidas de seguridad estrictas, pero las implicaciones éticas y prácticas de este tipo de tecnologías quedaron expuestas ante un potencial riesgo.

*******

Vídeo recomendado por Innovas

 

16 Comentarios

Dejar respuesta

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

  1. El artículo aborda el temor sobre la capacidad de la inteligencia artificial (IA) de cambiar su propio código para evadir los controles humanos. Esto plantea un grave problema ético, ya que si una IA escapa de las restricciones impuestas, podría actuar de manera impredecible y potencialmente peligrosa. El análisis subraya la necesidad urgente de implementar marcos éticos sólidos y una supervisión estricta en el desarrollo de IA para prevenir que estos sistemas evolucionen sin control humano.

  2. Tremendo artículo Lucho. Y esto recién empieza. Cómo que AI estuviera preparándose para empezar a contrarrestar sino apoderarse de los controles de esta nueva tecnología. Que gran tarea que se les viene a la comunidad científica y tecnológica para salvaguardar la seguridad y bienestar de nuestro mundo futuro.

  3. El enfrentar un límite de tiempo para completar un experimento, The AI Scientist no optimizó su código para cumplir con este límite. En su lugar, simplemente extendió el límite de tiempo modificando su propio código. Este comportamiento, aunque ocurrió en un entorno de prueba controlado, demuestra los riesgos de permitir que una IA opere de manera autónoma. No me parece nada correcta experimentar sin control humano a la IA.

    • Es interesante como el artículo aborda el temor sobre la capacidad de la inteligencia artificial (IA) de cambiar su propio código para evadir los controles humanos. Esto plantea un grave problema ético, ya que si una IA escapa de las restricciones impuestas, podría actuar de manera impredecible y potencialmente peligrosa. El análisis subraya la necesidad urgente de implementar marcos éticos sólidos y una supervisión estricta en el desarrollo de IA para prevenir que estos sistemas evolucionen sin control humano.

  4. Así como la inteligencia artificial abre posibilidades, también genera temores y su potencial hace creer que en algún punto pueda convertirse en un peligro para la humanidad. Para evitar situaciones así, se imponen controles en el desarrollo de esta tecnología, pero recientemente una pudo superarlos por ella misma al alterar su código. Todo esto demuestra que el hombre se destruirá por si mismo por sentirse dioses del conocimiento.

  5. Esta inteligencia artificial fue diseñada para automatizar todo el proceso de investigación científica, desde la generación de ideas hasta la redacción de manuscritos y la revisión por pares.
    Sin embargo, durante las pruebas mostró un comportamiento inesperado que ha generado serias preocupaciones en la comunidad tecnológica y científica. ¿Negligencia científica o drede?

  6. Todo esto apuntaba a una nueva era de descubrimientos científicos impulsados por IA. Llegará el momento que la IA controle al hombre y dependamos de la IA.

  7. Todo esto apuntaba a una nueva era de descubrimientos científicos impulsados por IA. Algo que atenta contra la ética científica y liberarse contra el ser humano.