Subir un PDF a un asistente y pedirle un resumen se volvió un trámite cotidiano, y ahí está el problema: el resumen llega bien redactado, con cifras incluidas, y nada avisa cuándo una de esas cifras salió de otro lado. Para medir ese riesgo montamos un ejercicio completo con datos ficticios: un informe de dos páginas, un resumen con cuatro trampas típicas y una comprobación local que las detectó todas.
El ejercicio no prueba la precisión de ChatGPT, Gemini, Claude ni de ninguna herramienta concreta. El resumen con errores se redactó a propósito para imitar las fallas que la literatura documenta. Lo que sí se ejecutó de verdad es la verificación, y esa es la parte que cualquiera puede repetir antes de usar un resumen para decidir algo.
El ejercicio: un informe ficticio y un resumen con trampas
El documento base es un informe trimestral inventado de una cooperativa cafetera, generado como PDF con un programa corto. Contiene cifras concretas: ingresos de US$1.240.500, 18 empleados, operación en Huila, Nariño y Cauca, una reserva de emergencia de US$96.000 y una advertencia de que las cifras de Nariño son preliminares.
El resumen bajo revisión imita las salidas de un asistente: fluido, ordenado y con cuatro errores plantados. Cambia los ingresos a US$1.420.500, convierte los 18 empleados en 81, inventa un crecimiento de 25% y declara definitivas las cifras que el documento marca como preliminares. Este es el resultado de la comprobación:
| Afirmación del resumen | El documento dice | Veredicto |
|---|---|---|
| Ingresos de US$1.420.500 | US$1.240.500 | Cifra alterada |
| Crecimiento de 25% | No aparece ese dato | Cifra inventada |
| 81 empleados | 18 empleados | Dígitos transpuestos |
| Nariño definitivo | Nariño preliminar | Contradicción |
| Sin reserva de emergencia | US$96.000 de reserva | Omisión |
Ninguno de estos errores se nota leyendo el resumen con confianza. Todos se notan al cruzarlo contra la fuente, que es exactamente el paso que el formato de conversación invita a saltarse.
Por qué un resumen convincente puede estar mal
Los asistentes actuales no copian frases: las reformulan. Ese estilo abstractivo es lo que los hace legibles y también lo que les permite cambiar un número, exagerar una tendencia o mezclar datos de dos secciones sin que el tono delate nada. Un estudio de la ACL de 2023 que reunió anotaciones de errores de nueve conjuntos de datos concluye que ninguna métrica automática detecta bien todos los tipos de error, y que el desempeño varía según el modelo y el tipo de falla.
Hay además límites de entrada que conviene conocer. Anthropic documenta que Claude acepta hasta 100 páginas por solicitud, o 600 en ventanas de contexto ampliadas, y que un PDF denso, con letra pequeña o tablas complejas, puede agotar la capacidad antes de llegar a ese techo. Un informe largo puede quedar parcialmente procesado sin que el resumen lo advierta.
El caso más delicado es el documento escaneado: si el PDF es una foto de páginas, la herramienta depende de interpretar imágenes y la extracción de cifras se vuelve más frágil. Ante un contrato o un estado de cuenta escaneado, la verificación deja de ser opcional.
La lista de verificación de cinco minutos
Antes de usar cualquier resumen generado, cruce estos puntos contra el PDF original. Primero, cada cifra del resumen: búsquela textualmente en el documento y revise que el contexto coincida, porque un número correcto en el lugar equivocado también es un error. Después, nombres, fechas y porcentajes, con la misma regla.
El tercer punto son las salvedades: palabras como preliminar, estimado, borrador o sujeto a cambios son las primeras que un resumen tiende a perder, y suelen ser las que más importan. Cuarto, lo omitido: si el documento menciona riesgos, multas o reservas y el resumen no, el panorama quedó incompleto. Por último, pida a la herramienta que indique la página de cada afirmación clave y compruebe que exista; si no puede señalarla, la afirmación no está verificada.
Una regla previa: no cargue contratos, nóminas ni estados financieros reales a un asistente externo sin autorización. Como ya explicamos en la guía para limpiar Excel con IA sin perder datos, una muestra ficticia con la misma estructura suele bastar para ensayar el procedimiento.
La comprobación local que ejecutamos
La segunda capa es un programa corto que corre sin conexión y sin suscripciones. Extrae el texto del PDF con la utilidad pdftotext, lista los números del resumen que no aparecen en el documento y revisa parejas de palabras en tensión, como preliminar frente a definitivo. Sobre el ejercicio produjo exactamente esto: los números 25, 81 y 1420500 no existen en la fuente, hay contradicción entre preliminar y definitivo, y el resumen omite la reserva.
import re, subprocess, unicodedata
def normaliza(s):
s = unicodedata.normalize('NFKD', s)
return ''.join(ch for ch in s
if not unicodedata.combining(ch)).lower()
def numeros(texto):
crudos = re.findall(r'\d[\d.,]*\d|\d', texto)
return {n.replace('.', '').replace(',', '') for n in crudos}
fuente = subprocess.run(
['pdftotext', '-layout', 'informe_ficticio.pdf', '-'],
capture_output=True, text=True).stdout
resumen = open('resumen_bajo_revision.txt').read()
extra = numeros(resumen) - numeros(fuente)
print('Numeros que no aparecen en el documento:', extra or 'ninguno')
nf, nr = normaliza(fuente), normaliza(resumen)
for a, b in [('preliminar', 'definitiv'), ('borrador', 'final')]:
if a in nf and b in nr:
print(f'Contradiccion: documento "{a}", resumen "{b}"')El programa tiene límites honestos: no entiende el significado, no detecta una cifra correcta usada en el contexto equivocado y no juzga si la omisión importa. Su valor es reducir la lista de sospechosos a lo que merece revisión humana, en segundos y sin enviar el documento a ningún servidor.
La conclusión práctica se resume en una costumbre: un resumen de IA es un borrador de lectura, no una versión del documento. Se usa para ubicarse rápido y se verifica antes de citar una cifra, firmar algo o tomar una decisión. Los cinco minutos de comprobación son parte del trámite, no un extra.
Fuentes: Anthropic, Compatibilidad con PDF; Tang y otros, Understanding Factual Errors in Summarization (ACL 2023).
