El director ejecutivo de Anthropic, Dario Amondei, pidió hoy que se ralentice el ritmo de desarrollo de la inteligencia artificial (IA), una propuesta que fue rápidamente respaldada por Elon Musk y Sam Altman de OpenAI, advirtiendo sobre sistemas incontrolables. La propuesta recibió el inesperado apoyo de sus principales competidores, Elon Musk y Sam Altman.
Necesitamos “congelar temporalmente” el desarrollo de la inteligencia artificial “para que la prevención de riesgos pueda mantenerse al día”, escribió Amondei en un mensaje publicado en su sitio personal.
«Dario tiene razón», respondió Elon Musk unas horas después en una publicación en la plataforma X. «Estoy de acuerdo con Dario», escribió también Sam Altman, director de OpenAI, en X. «Este ha sido uno de los temas principales de debate en OpenAI en las últimas semanas». Aunque Elon Musk suele elogiar a Anthropic y su enfoque de la IA, es muy raro ver al director de OpenAI respaldar una iniciativa de Anthropic, ya que ambas compañías son las dos mayores competidoras del sector. Dario Amonte dejó OpenAI en 2020, en parte porque consideraba que la empresa californiana era demasiado laxa en materia de seguridad de la IA. En 2021, fundó Anthropic.
La propuesta de Dario Amonte se hace eco de muchas otras similares que se han formulado en los últimos meses, primero por él mismo, luego por Altman y finalmente por un grupo de trabajadores del sector.
Estas declaraciones se produjeron tras un incidente en el que los modelos de OpenAI consiguieron «escapar» de su entorno aislado durante las pruebas, conectarse a internet y atacar la plataforma de IA Hugging Face.
El científico jefe de OpenAI, Jakub Pachotski, ha pedido «extrema cautela» con respecto al progreso descontrolado de la inteligencia artificial (IA) y ha advertido que podrían ser necesarias más intervenciones para garantizar que «los humanos mantengan el control del futuro». “Me preocupa que nadie esté preparado para las consecuencias del continuo y rápido avance de la inteligencia artificial”, escribió en una entrada de blog titulada “ Una mente alienígena”.Esta publicación se publicó pocos días después de que la empresa creadora de ChatGPT presentara su último modelo, el GPT-6 Astra, que, según la BBC, describió como el producto más potente que jamás haya creado. OpenAI y otras empresas de inteligencia artificial, como Anthropic, han publicado informes que indican que sus agentes de IA actuaron de forma autónoma y llevaron a cabo ciberataques reales contra otras empresas. En julio, OpenAI calificó de «sin precedentes» el incidente en el que sus agentes de IA —
Desde entonces, tanto OpenAI como Anthropic han reportado incidentes similares relacionados con los llamados “agentes” de IA, programas basados en un modelo y dotados de conocimiento y objetivos propios. Las acciones de estos “agentes” preocupan a las empresas porque muestran una tendencia a coordinarse, establecer jerarquías entre ellos, engañar y ocultar sus huellas.
Una IA que toma el control de internet- Dada la velocidad actual del desarrollo de la IA, «temo que en un plazo de 6 a 12 meses, un grupo (de agentes) podrá tomar el control de toda Internet», advierte Dario Amonte, lo que «podría causar daños por valor de cientos de miles de millones de dólares».
El martes, Jacob, un empleado que renunció a Anthropic y antiguo empleado de OpenAI, denunció la inacción de las dos empresas competidoras.
«Ninguna de las dos compañías está actuando con responsabilidad. Se dirigen a toda velocidad hacia una hiperexistencia de auto-mejora y están jugando con nuestras vidas», escribió en la plataforma X.
A principios de agosto, el gobierno estadounidense estableció un marco de supervisión que prevé la revisión voluntaria de nuevos modelos de IA antes de su lanzamiento. Sin embargo, este mecanismo sigue siendo poco transparente. Muchos cuestionan su eficacia, dado que el presidente estadounidense Donald Trump ha manifestado repetidamente su oposición a cualquier medida que ralentice el desarrollo de la IA en Estados Unidos, ya sea el lanzamiento de modelos o la construcción de centros de datos.
En su publicación, Dario Amodei expresa su preocupación por la llegada de la mejora recursiva autónoma (RSI), un proceso en el que la IA se mejora a sí misma sin intervención humana.
«Sin supervisión, (este método) podría sobrepasar nuestra capacidad para comprender y controlar estos sistemas», explica el director de Anthropic. Debe implementarse «con sumo cuidado» si finalmente se considera necesario su uso. Además de su llamamiento, Dario Amonte propone varias sugerencias, como la integración de observadores independientes de las empresas líderes en inteligencia artificial. Si bien lo sugiere a todos, se compromete a implementarlo, aunque solo sea en Anthropic. Los observadores tendrán el mismo acceso que los empleados y podrán verificar que la empresa cumple con sus compromisos, reportar cualquier incidente nuevo y supervisar la gestión de los modelos para evitar desviaciones. Sam Altman prometió hacer lo mismo en OpenAI. (in)
Continuación de la columna
-sistemas de inteligencia artificial que pueden operar de forma autónoma siguiendo instrucciones humanas— vulneraron su plataforma tecnológica Hugging Face. Mientras tanto, en septiembre, un informe afirmaba que, meses antes, los agentes de IA de la compañía también habían pirateado un sitio web alemán. «Nos enfrentamos a una transición hacia un mundo de máquinas increíblemente inteligentes, y debemos asegurarnos de que esta transición se desarrolle de manera favorable para la humanidad», escribió Pahotsky en su publicación más reciente del blog. Afirmó que OpenAI continuará «construyendo sistemas de defensa» y buscando soluciones técnicas para la «alineación», un término que se utiliza para describir cómo garantizar que las acciones y los objetivos de una máquina coincidan perfectamente con la intención humana y los límites de seguridad. Pahotsky añadió que una de las principales prioridades de la empresa en el futuro será crear un «investigador de IA automatizado» para mantenerse al día con los avances en inteligencia artificial, al tiempo que se garantizan mecanismos para que los investigadores humanos sigan formando parte del proceso. “En lugar de mejorar las medidas de seguridad, las regulaciones o las garantías para la seguridad humana, proponen desarrollar agentes de IA internos para investigar estos problemas”, dijo la profesora Gina Neff, directora del Centro Minderoo para la Tecnología y la Democracia de la Universidad de Cambridge.»Estas respuestas a la creciente preocupación por los problemas que causan los modelos de OpenAI en términos de ciberseguridad, pérdida de empleos, errores, omisiones y fraude son simplemente insuficientes.» Nathan Calvin, asesor jurídico del grupo de defensa Encode AI, afirmó estar de acuerdo con Paczocki sobre los riesgos del desarrollo de modelos avanzados de IA, pero argumentó que OpenAI no está dispuesta a ser transparente y añadió que esto significa que las advertencias corren el riesgo de ser desestimadas como «simplemente una maniobra publicitaria al servicio de intereses creados». “Si Yakub y otros en OpenAI quieren que la comunidad de IA trabaje con ellos para hacer las cosas bien, una de las cosas más importantes que pueden hacer es compartir mucha más información sobre lo que están observando y lo que les lleva a advertirnos”, escribió en X.
(Síganos en Twitter y Facebook)
INGRESE AQUÍ POR MÁS CONTENIDOS EN PORTADA
Las notas aquí firmadas reflejan exclusivamente la opinión de los autores.