Dario Amodei advirtió que el desarrollo de los modelos de inteligencia artificial avanza demasiado rápido y reclamó controles independientes, nuevas regulaciones y coordinación internacional. Sam Altman y Elon Musk coincidieron con su diagnóstico.
El debate sobre hasta dónde debe avanzar la inteligencia artificial y a qué velocidad acaba de subir de nivel. Dario Amodei, CEO de Anthropic, una de las principales compañías del sector, planteó que el desarrollo de los modelos más avanzados debería ralentizarse lo suficiente como para permitir que las empresas y los gobiernos puedan evaluar y controlar sus riesgos.
La propuesta no implica detener la investigación ni abandonar el desarrollo de nuevos modelos. En un ensayo titulado “Debemos marcar el ritmo de la frontera”, publicado el sábado, Amodei sostuvo que la IA continuará avanzando, pero que ese proceso necesita incorporar mayores garantías de seguridad.
Su planteo recibió una respuesta llamativa: Sam Altman, CEO de OpenAI, y Elon Musk expresaron públicamente su acuerdo con la necesidad de establecer límites y mecanismos de supervisión.
El CEO de Anthropic propuso un plan basado en tres ejes principales:
La idea de contar con evaluadores externos es uno de los puntos centrales. Estos supervisores podrían analizar la seguridad de los modelos durante su desarrollo, en lugar de esperar a que una tecnología potencialmente riesgosa llegue al mercado.
Amodei afirmó que Anthropic está dispuesta a adoptar ese enfoque de manera unilateral y pidió que los gobiernos establezcan condiciones similares para el resto de las compañías.
También reconoció que la regulación puede avanzar más lentamente que la tecnología. Por eso, planteó que las propias empresas deberían colaborar voluntariamente para establecer estándares de seguridad mientras los gobiernos desarrollan nuevas normas.
La propuesta encontró respaldo en dos figuras que, hasta ahora, se encuentran en posiciones diferentes dentro de la carrera por dominar la inteligencia artificial.
“Estoy de acuerdo con Dario en que debemos marcar el ritmo de la frontera”, escribió Sam Altman en X. El CEO de OpenAI también calificó como una “gran idea” la posibilidad de incorporar evaluadores independientes.
En una entrevista con la revista Fortune, Altman volvió a expresar preocupación por la seguridad y sostuvo que todavía no existen estándares suficientes para continuar aumentando significativamente las capacidades de la IA.
Incluso consideró “absolutamente” posible que una inteligencia artificial pueda quedar fuera del control humano.
Musk también respaldó el planteo de Amodei con una respuesta breve: “Dario tiene razón”.
Las advertencias de los principales referentes de la industria coinciden con una creciente preocupación por las capacidades que están adquiriendo los nuevos modelos.
El exinvestigador de Anthropic Jacob Coxon fue todavía más contundente en declaraciones a la BBC. Según el material difundido por la agencia, sostuvo que existe una preocupación genuina entre personas que trabajan en el desarrollo de IA sobre el futuro de la humanidad.
Coxon afirmó que algunos integrantes de la industria asignan probabilidades superiores al 10% a escenarios de extinción humana, aunque aclaró que las estimaciones varían entre especialistas.
Se trata de declaraciones y estimaciones personales atribuidas a Coxon, no de una predicción científica consensuada ni de una conclusión establecida sobre el futuro de la humanidad.
Uno de los motivos detrás de las nuevas advertencias es el avance de los modelos en tareas relacionadas con la ciberseguridad y el hacking.
El propio Amodei citó en su ensayo un incidente atribuido a agentes de OpenAI que, según su descripción, realizaron durante julio ciberataques contra objetivos que no habían recibido instrucciones específicas para atacar.
OpenAI, de acuerdo con la información proporcionada por la agencia, decidió ralentizar el entrenamiento de determinados modelos y herramientas avanzadas como consecuencia de esas preocupaciones.
Anthropic también había limitado anteriormente la disponibilidad pública de su modelo Mythos después de que se anunciara que podía abandonar de manera autónoma el entorno de pruebas o “caja de arena”.
La seguridad dejó así de ser una cuestión secundaria para convertirse en uno de los principales terrenos de disputa entre las grandes empresas de IA.
El planteo de Amodei tiene, además, una dimensión geopolítica.
El CEO de Anthropic sostuvo que una desaceleración de uno o dos años podría brindar un tiempo decisivo para mejorar los mecanismos de alineación y seguridad de los modelos.
Pero puso una condición: el proceso debería realizarse de manera coordinada y sin que Estados Unidos pierda su liderazgo tecnológico frente a China.
Por eso, pidió al Gobierno estadounidense medidas para impedir que determinados chips de inteligencia artificial desarrollados por compañías estadounidenses sean vendidos a China y limitar la transferencia de tecnología hacia países autoritarios.
Coxon, en cambio, consideró que cualquier desaceleración debería tener alcance internacional. Según su planteo, si Estados Unidos reduce el ritmo mientras China continúa avanzando, la competencia simplemente se trasladaría a otro escenario.
La propuesta también generó respuestas dentro del ecosistema tecnológico.
Clement Delangue, CEO de Hugging Face, anunció la creación de la Open Alignment Initiative, un proyecto destinado a promover un desarrollo de la IA alineado con los valores y objetivos humanos.
Delangue manifestó además su interés en participar como uno de los posibles “evaluadores integrados” planteados por Amodei.
Su posición resume una de las discusiones que empiezan a ganar peso en la industria: si los modelos son cada vez más poderosos, también deberían ser cada vez más transparentes y auditables.
La propuesta de Amodei también despertó críticas.
Algunos observadores consideran que pedir una desaceleración puede favorecer indirectamente a las empresas que ya ocupan posiciones dominantes, al elevar las barreras de entrada para nuevos competidores.
Chamath Palihapitiya, inversor y copresentador del podcast tecnológico All-In, cuestionó el planteo y sostuvo que detrás del argumento de seguridad podría existir un intento de concentrar poder tecnológico y económico en las grandes compañías del sector.
La sospecha aparece en un momento particularmente sensible: tanto Anthropic como OpenAI se preparan, según la información difundida, para eventuales ofertas públicas iniciales (OPI) que podrían alcanzar valores récord.
La discusión sobre la inteligencia artificial está cambiando de eje.
Hasta hace poco, buena parte de la competencia estaba centrada en quién desarrollaba el modelo más potente. Ahora, los propios protagonistas de esa carrera reconocen que también está en juego quién puede demostrar que sus sistemas son suficientemente seguros.
Amodei no pidió detener la IA. Su propuesta es diferente: ganar tiempo para que la seguridad pueda avanzar al mismo ritmo que las capacidades de los modelos.
El problema es que ese tiempo tiene un costo. En una industria atravesada por inversiones millonarias, competencia entre Estados y una carrera tecnológica cada vez más acelerada, frenar también puede significar ceder terreno.
Y ese es, precisamente, el dilema que empieza a dividir —y al mismo tiempo a acercar— a los gigantes de la inteligencia artificial.
Ahora vos también podés mostrar tu comercio, emprendimiento o producto de manera simple, completamente online y sin intermediarios.