We present Pangram Text, a transformer-based neural network trained to distinguish text written by large language models from text written by humans. Pangram Text outperforms zero-shot methods such as DetectGPT as well as leading commercial AI detection tools with over 38 times lower error rates on a comprehensive benchmark comprised of 10 text domains (student writing, creative writing, scientific writing, books, encyclopedias, news, email, scientific papers, short-form Q&A) and 8 open- and closed-source large language models. We propose a training algorithm, hard negative mining with…
Datos del estudio: OpenAlex y Crossref, a partir de los enlaces de las propias piezas. BabelBit no evalúa el estudio: lo pone al lado de cómo lo contó cada medio.
Espectro de tonoTono del texto (−1 a +1). Describe cómo está escrito, no si es verdad. ◇ = voz independiente · △ = centro de análisis.
Según Pangram, 'Donde el agua trabaja' de David Silva Rojas es IA al 99%. El problema es el de siempre: que una IA no es infalible
La novela 'Donde el agua trabaja' se alzó en julio con el primer Premio Internacional de Novela Breve Almadía Ventosa-Arrufat, por delante de más de 2.200 escritos llegados de 22 países y dotado con 20.000 euros. En sus bases, una condición meridianamente clara: participar implicaba declarar que la obra no se había escrito, ni parcial ni totalmente, con herramientas de IA. Ante cualquier indicio o sospecha, la obra quedaría descalificada independientemente de la fase del proceso. Pues bien, tras su publicación en septiembre y en plena presentación en España, al autor peruano David Silva Rojas, a la editorial y el jurado del concurso (que elogió el uso de sus silencios y su construcción) les ha salpicado el escándalo: El País ha destapado que, tras pasar el libro entero por el detector Pangram, la novela premiada contiene un 99% de texto generado por una IA. Qué es Pangram y qué promete. Antes de nada, las presentaciones: Pangram es un clasificador de texto basado en redes neuronales que intenta distinguir si un texto está hecho por un humano o por un modelo de lenguaje. Bajo el capó, una técnica de entrenamiento diseñada para reducir los falsos positivos y que, según sus autores, no discrimina a los hablantes no nativos de inglés, usa prompts espejo y, además discierne por secciones. Pangram Labs, la empresa que está detrás y principal interesada en que su detector sea fiable y además, lo parezca, habla de un 0,0041 % de falsos positivos y un 0,34 % de falsos negativos. Un estudio independiente de la universidad de Chicago comparó Pangram con otros detectores comerciales y llegó a una conclusión: Pangram es menos propenso que el resto a la hora de clasificar texto humano como IA. El método de la detección. El experimento de El País no viene de la nada y no emplea solo 'Donde el agua trabaja': como cuenta Kiko Llaneras (ingeniero de datos y uno de los autores del artículo) en su perfil de X/Twitter, han pasado 175 éxitos por Pangram y los resultados del detector son impactantes: 4 de cada 10 superventas autopublicados en Amazon tienen al menos un 25 % escrito con IA. Su método de control dispone de tres controles: usaron 56 libros de 2019 - 2020, es decir, antes de ChatGPT (el otro a.C.), que dieron un 0 % de IA, textos sintéticos hechos con IA que el detector identificó como tales y otras de autores consagrados como Javier Cercas, Isabel Allende, Antonio Muñoz Molina, etc., que dieron todos un 0%. La calibración promete. En Xataka "No era un exilio, tampoco un refugio": la novela francófona de moda está siendo acusada de ser escrita con IA La sombra de una duda. Parafraseando la película de Hitchcock, dudar de un detector de IA de momento sigue siendo una buena idea. Hay pruebas serias que evidencian los límites del detector: si un ensayo humano pasa por una IA de consumo y lo modifica sustancialmente, Pangram los etiquetaba como humanos en un 41 % de los casos. Y una realidad del sector: OpenAI acabó retirando su detector tras reconocer su baja tasa de acierto y aunque tiene otra que en teoría es buenísima, no lanza al mercado. El propio periódico reconoce que Pangram no es infalible y, además, cualquiera puede ponerse con el detector y buscarle las cosquillas. Ángel L. Fernández Recuero explica paso a paso en Jot Down cómo un simple espacio añadido en un texto cambia el veredicto. El célebre arquitecto y divulgador Pedro Torrijos también lo ponía a prueba el mes pasado, cuando saltó la sospecha con la novela francófona de moda, dejándolo a la altura del barro a partir de un texto sencillo escrito a mano. Es cierto que el texto tiene aproximadamente una página de longitud (con una muestra menor, es más difícil detectar), pero merece mucho la pena leer con atención su experimento variando unas pocas palabras. El hilo de Pedro Torrijos no tiene desperdicio: de 100% humano a 100% IA cambiando solo dos frases El problema de fondo. Un porcentaje, aunque sea un 99%, no es una prueba de autoría. Aunque obviamente dé para levantar l…
Framing
escrito
detectores
falsos positivos
neuronales
peruano
▸▾ Emociones experimental
Señal de un modelo entrenado en conversaciones de Reddit; puede no reflejar el registro periodístico.
Se muestran titular y resumen tal como los publica cada medio en su feed, con enlace al original. Las etiquetas de sesgo son declaradas por BabelBit y figuran como "pendiente" hasta su clasificación.