Cos’è Router di modelli?
Detto anche: LLM router, model routing
Un router di modelli decide in automatico quale modello di IA risponde a ogni richiesta: le domande semplici vanno a un modello veloce ed economico, quelle difficili a uno più potente.
Esempio
«Traduci ‘Danke’ in inglese» va a un modello piccolo, la revisione di un lungo contratto a un modello di ragionamento.
Per esperti
L'obiettivo è un buon equilibrio tra qualità, costi e tempi di attesa. I router decidono con regole fisse, in base alle caratteristiche della richiesta o con un modello addestrato apposta; il progetto di ricerca RouteLLM impara queste decisioni da dati di preferenza. Servizi come OpenRouter riuniscono molti modelli dietro un'unica interfaccia e possono scegliere in automatico. Svantaggio: non sempre si vede quale modello ha risposto, e la qualità può variare da una richiesta all'altra.
Su AI Compare Ninja
Prompt, skill, agenti e strumenti correlati
Scritto da AI Compare Ninja con l’aiuto dell’IA e rivisto da noi. Ogni spiegazione è un testo originale.