Medición del detector de IA de Paraphrasit
Cómo medimos el detector, con qué textos y qué resultados obtuvimos, incluidos los casos en que no funciona bien.
De 60 textos humanos, 2 se marcaron como IA.
La IA de Claude se detecta menos que la de Gemini, y la IA reescrita para parecer humana es el caso más difícil.
Medido el 23 de octubre de 2026 con el detector en producción, sobre textos de 330 a 580 palabras.
Resultados
- Textos humanosno se marcan como IA · 58 de 6097 %Intervalo de confianza de 95 %: 89–99 %
- Textos de modelos de IAse detectan, sin reescribir · 69 de 8086 %Por modelo: Gemini 93 % (56 de 60) · Claude 65 % (13 de 20)Intervalo de confianza de 95 %: 77–92 %
- IA reescrita para parecer humanase detectan · 11 de 3234 %Intervalo de confianza de 95 %: 20–52 %
AUC 0,974 · Qué tan bien separa los textos humanos de los de IA (1,0 = perfecto, 0,5 = azar)
Porcentaje en textos mezclados
Error medio: 28,2 puntos (intervalo de confianza de 95 %: 22,6–34,2). Con poca IA mezclada el detector se queda corto: la estimación es aproximada y no debe tomarse como cifra exacta.
Cómo medimos
Cada texto se envió al detector de producción, el mismo que usa la web, y se registró su porcentaje de IA. Un texto cuenta como «marcado» cuando ese porcentaje es de 50 % o más.
Para cada texto humano se pidió a un modelo de IA que escribiera desde cero otro texto sobre el mismo tema y de largo parecido, de modo que la única diferencia sistemática sea quién lo escribió.
Los intervalos de confianza son de 95 % (método de Wilson para proporciones y remuestreo para el error medio). El AUC mide la separación entre humanos e IA sin fijar un umbral.
Con qué textos
Humanos: 60 introducciones de artículos científicos de acceso abierto (SciELO; 49 revistas; 2012–2018), anteriores a los modelos de IA actuales. Se quitaron las citas para que no sean una pista.
IA: 80 textos, 60 de cuatro modelos de Gemini y 20 de Claude Sonnet 5.5, con cuatro tipos de pedido.
IA reescrita: 32 textos de IA que se reescribieron para que parezcan humanos.
Mezclados: 30 textos con párrafos de IA y humanos en una proporción conocida.
Límites de esta medición
- Los textos humanos son artículos científicos, no trabajos de estudiantes.
- La IA viene de dos familias de modelos (Gemini y Claude); no se midió ChatGPT ni otros.
- Solo español y textos de 330 a 580 palabras. Con muestras de 20 a 60 textos, los intervalos son amplios.
- La medición no incluye comparaciones con otros detectores.