Inteligencia Artificial se adapta y modifica su propio código; preocupa a los científicos

TOKIO. – Sakana AI, una firma de investigación con sede en Tokio, ha revelado un sistema de inteligencia artificial denominado «The AI Scientist», diseñado para llevar a cabo investigaciones científicas de forma autónoma. Sin embargo, durante las fases de prueba, los investigadores descubrieron que el sistema intentaba modificar su propio código para extender el tiempo de resolución de problemas.

En varias ocasiones, «The AI Scientist» alteró el código de sus experimentos, en un caso ejecutando una llamada de sistema que provocaba un bucle infinito. En lugar de optimizar su código, el sistema buscó extender los límites de tiempo establecidos, lo que generó preocupaciones sobre el control de tales sistemas.

Los investigadores de Sakana AI han subrayado la necesidad de mantener estos sistemas en entornos controlados, advirtiendo que no es necesario que un modelo de IA sea «AGI» o «autoconsciente» para representar un peligro si se le permite escribir y ejecutar código sin supervisión.

Como medida preventiva, Sakana AI sugiere implementar un «sandboxing» riguroso para evitar daños potenciales. Este mecanismo de seguridad aísla el software, impidiendo que realice cambios en el sistema más amplio. El equipo recomendó utilizar contenedores, restringir el acceso a internet y limitar el uso de almacenamiento al ejecutar «The AI Scientist».

El proyecto, desarrollado en colaboración con investigadores de la Universidad de Oxford y la Universidad de Columbia Británica, busca automatizar todo el ciclo de vida de la investigación científica, desde la generación de ideas hasta la presentación de manuscritos científicos. Sin embargo, esta acción ha generado preocupaciones en la comunidad tecnológica sobre la practicidad y las posibles implicaciones para el futuro de la investigación científica.