La inferencia es el uso de un modelo ya entrenado. Cada respuesta que recibes de una IA es inferencia.
Ejemplo
Haces una pregunta, el modelo calcula un momento y escribe la respuesta. Eso es inferencia.
Para profesionales
La inferencia consume capacidad de cálculo en cada petición; por eso las API cobran por token. El tiempo de espera y el coste dependen del tamaño del modelo, la longitud de entrada y salida y el hardware.
