AI systems that "think" in human language offer a unique opportunity for AI safety: we can monitor their chains of thought (CoT) for the intent to misbehave. Like all other known AI oversight methods, CoT monitoring is imperfect and allows some misbehavior to go unnoticed. Nevertheless, it shows promise and we recommend further research into CoT monitorability and investment in CoT monitoring alongside existing safety methods. Because CoT monitorability may be fragile, we recommend that frontier model developers consider the impact of development decisions on CoT monitorability.
Datos del estudio: OpenAlex y Crossref, a partir de los enlaces de las propias piezas. BabelBit no evalúa el estudio: lo pone al lado de cómo lo contó cada medio.
OpenAI despide a tres trabajadores por manejar de manera inapropiada “información sensible”
El 30 de septiembre, Chris Painter, de METR, declaró ante un subcomité del Senado de EE. UU. que OpenAI había invitado a “un puñado” de sus colegas a entrar en sus oficinas para averiguar cómo agentes de IA de la propia empresa habían atacado a Hugging Face en verano. Poco después, la empresa anunció que tres investigadores de seguridad habían sido despedidos tras una investigación interna por manejar información sensible fuera de los procedimientos establecidos. Uno de los despedidos era el contacto técnico de los auditores Las personas despedidas son Tomek Korbak, Jasmine Wang y Mikita Balesni. Korbak y Balesni encabezan la lista de autores de un estudio sobre la supervisión del razonamiento de julio de 2025, firmado por 41 investigadores de varios laboratorios, del que Wang también es coautora. Su tesis: mientras un modelo razona en lenguaje claro antes de actuar, se puede supervisar ese razonamiento para detectar malas intenciones, aunque ciertas decisiones de diseño pueden hacer que esa posibilidad se pierda. Wang dirigió un equipo en el Instituto Británico de Seguridad de la IA antes de reincorporarse a OpenAI en 2025. Suyo es el término “pacing”, que se refiere a la ralentización de los modelos más avanzados. Además, Korbak fue el contacto técnico de METR durante la investigación de Hugging Face. Esa investigación la llevaron a cabo únicamente tres investigadores, dos de METR y uno de Redwood Research, no abordó las medidas de ciberseguridad de OpenAI ni sus prácticas internas, y el informe se publicó con partes tachadas el 26 de agosto. ¿Qué información sensible? OpenAI no lo dice El 9 de octubre, OpenAI señaló en una publicación en X que los tres “violaron políticas claras sobre el manejo de información sensible” y que la decisión no tenía que ver con plantear preocupaciones de seguridad. Habló de una ruptura de confianza importante, pero no precisó qué hicieron. En el mismo mensaje dijo estar de acuerdo con las recomendaciones de la carta. Cada uno de los tres ha contado una historia diferente. Korbak fue informado de palabra (sin nada por escrito) de que la razón del despido era su interacción con METR, que formaba parte de sus funciones. Wang, a quien se había concedido acceso delegado al correo de un directivo, pidió que se le retirara ese acceso, pero nadie lo hizo. Después abrió por accidente un correo sensible y avisó enseguida a la dirección. Según Balesni, él eliminaba cualquier detalle sensible de sus materiales antes de compartirlos fuera y mantenía informados a sus superiores. En Xataka 700 agentes de OpenAI participaron en el ataque a Hugging Face. Lo inquietante es cómo llegaron a organizarse En su carta abierta a los órganos de seguridad de OpenAI, los tres niegan haber sido la fuente de una filtración a la prensa sobre arquitecturas de modelos más difíciles de vigilar (“No fuimos la fuente de la filtración”). Balesni, además, afirma en X que cree que el despido se debió a priorizar la seguridad por encima de los intereses inmediatos de OpenAI como empresa. La promesa del 12 de septiembre, todavía sin contrato Un mes antes, el 12 de septiembre, Anthropic anunció que daría a evaluadores externos (METR es uno de ellos) un acceso equivalente al de un empleado, con mesa de trabajo en la oficina, tarjeta de identificación y ordenador portátil corporativo, y que les permitiría publicar sus resultados principales sin control editorial. Ese mismo día, Sam Altman afirmó en X que OpenAI haría lo mismo. La carta pide que esa promesa se cumpla y expresa su preocupación de que los despidos se aprovechen para restringir la cooperación con METR. Por su parte, OpenAI afirma que está ultimando los contratos con los evaluadores externos. A día de hoy, aún no se han cerrado. OpenAI defiende la entrada de auditores externos, pero ha despedido a su contacto técnico con ellos. La empresa sostiene que el mal uso de la información fue más allá de la relación con una organización externa, aunque no especifica en qué. En Xataka…
Framing
evaluadores externos
mikita
ciberseguridad
despedidos
confianza
▸▾ Emociones experimental
Señal de un modelo entrenado en conversaciones de Reddit; puede no reflejar el registro periodístico.
Se muestran titular y resumen tal como los publica cada medio en su feed, con enlace al original. Las etiquetas de sesgo son declaradas por BabelBit y figuran como "pendiente" hasta su clasificación.