DeepSeek liberó el motor que usa en producción para servir sus modelos. Se llama DeepInfer y desde el 16 de octubre está disponible en GitHub con licencia Apache 2.0, es decir, código abierto y usable comercialmente. En pocos días acumuló más de 14.500 estrellas y llegó al primer lugar de Hacker News, donde la discusión superó los 800 comentarios.
¿Qué es exactamente DeepInfer?
Es un framework de inferencia, la capa de software que ejecuta un modelo de IA ya entrenado para responder solicitudes a gran escala. Según su documentación, es el mismo sistema que sostiene los servicios en producción de DeepSeek, y esta primera versión abierta soporta el modelo DeepSeek-V4.1-Flash con funciones pensadas para operación real:
- Kernels optimizados (FlashMLA, DeepGEMM, DeepEP, TileKernels) y paralelismo avanzado para distribuir el modelo en varios aceleradores.
- DSpark, una técnica de decodificación especulativa que usa borradores de tokens para acelerar la generación.
- Programación asíncrona de lotes, para que el CPU nunca deje esperando al GPU.
- Inferencia invariante por lote y muestreo determinista: las respuestas son idénticas sin importar cómo se agrupen las solicitudes, algo clave para pruebas y auditorías (por ahora, solo en hardware NVIDIA).
- Salidas estructuradas: se puede obligar al modelo a responder siguiendo una expresión regular, un esquema JSON o una gramática EBNF.
Los números que encendieron la discusión
En la conversación de Hacker News circuló un análisis técnico con cifras de la propia DeepSeek: usando este framework, un solo clúster sirviendo DeepSeek V4.1 Flash alcanzaría un rendimiento de 155 billones de tokens por día, con ingresos de US$38 por tarjeta por hora en horario de menor demanda. Son cifras de la compañía, no de un tercero independiente, pero alimentaron un debate interesante: si servir modelos es rentable a esos niveles, la inferencia se está convirtiendo en un commodity, y eso presiona los precios de toda la industria.
¿Por qué importa que sea abierto?
Hasta ahora, quien quisiera servir modelos de DeepSeek a gran escala dependía de frameworks de la comunidad como vLLM o SGLang. Con DeepInfer, la propia DeepSeek publica su stack de producción, lo que sube la vara de desempeño para esos proyectos y da a las empresas una ruta oficial para correr los modelos en su propia infraestructura, sin enviar datos a terceros. Para equipos latinoamericanos que construyen sobre modelos abiertos, es una opción más para desplegar con control total.
Fuentes:
Repositorio oficial de DeepInfer en GitHub: github.com/deepseek-ai/DeepInfer
Discusión en Hacker News: news.ycombinator.com
