¿Qué es exactamente DeepInfer?

Es un framework de inferencia, la capa de software que ejecuta un modelo de IA ya entrenado para responder solicitudes a gran escala. Según su documentación, es el mismo sistema que sostiene los servicios en producción de DeepSeek, y esta primera versión abierta soporta el modelo DeepSeek-V4.1-Flash con funciones pensadas para operación real:

• Kernels optimizados (FlashMLA, DeepGEMM, DeepEP, TileKernels) y paralelismo avanzado para distribuir el modelo en varios aceleradores.
• DSpark, una técnica de decodificación especulativa que usa borradores de tokens para acelerar la generación.
• Programación asíncrona de lotes, para que el CPU nunca deje esperando al GPU.
• Inferencia invariante por lote y muestreo determinista: las respuestas son idénticas sin importar cómo se agrupen las solicitudes, algo clave para pruebas y auditorías (por ahora, solo en hardware NVIDIA).
• Salidas estructuradas: se puede obligar al modelo a responder siguiendo una expresión regular, un esquema JSON o una gramática EBNF.

Los números que encendieron la discusión

En la conversación de Hacker News circuló un análisis técnico con cifras de la propia DeepSeek: usando este framework, un solo clúster sirviendo DeepSeek V4.1 Flash alcanzaría un rendimiento de 155 billones de tokens por día, con ingresos de US$38 por tarjeta por hora en horario de menor demanda. Son cifras de la compañía, no de un tercero independiente, pero alimentaron un debate interesante: si servir modelos es rentable a esos niveles, la inferencia se está convirtiendo en un commodity, y eso presiona los precios de toda la industria.

¿Por qué importa que sea abierto?

Hasta ahora, quien quisiera servir modelos de DeepSeek a gran escala dependía de frameworks de la comunidad como vLLM o SGLang. Con DeepInfer, la propia DeepSeek publica su stack de producción, lo que sube la vara de desempeño para esos proyectos y da a las empresas una ruta oficial para correr los modelos en su propia infraestructura, sin enviar datos a terceros. Para equipos latinoamericanos que construyen sobre modelos abiertos, es una opción más para desplegar con control total.

Fuentes:
Repositorio oficial de DeepInfer en GitHub: github.com/deepseek-ai/DeepInfer
Discusión en Hacker News: news.ycombinator.com