Inferência é usar um modelo já treinado. Cada resposta que você recebe de uma IA é uma inferência.
Exemplo
Você faz uma pergunta, o modelo calcula por um instante e escreve a resposta. Isso é inferência.
Para profissionais
A inferência consome poder de computação a cada pedido; por isso as APIs cobram por token. O tempo de espera e o custo dependem do tamanho do modelo, do tamanho da entrada e da saída e do hardware.
