Cos’è Context rot?
Detto anche: Degrado del contesto
Context rot significa che i modelli linguistici lavorano in modo meno preciso quanto più testo c'è nella finestra di contesto. Trascurano dettagli, confondono le cose o seguono peggio le istruzioni.
Accuratezza
Esempio
Dopo una lunga chat con molti file, un assistente dimentica un'indicazione dell'inizio. In una nuova chat con un breve riassunto funziona di nuovo.
Per esperti
Un rapporto tecnico di Chroma ha mostrato su molti modelli testati che l'affidabilità cala al crescere della lunghezza dell'input, anche in compiti semplici. Un risultato affine è «Lost in the Middle»: le informazioni a metà di input lunghi vengono sfruttate peggio. Rimedi dal context engineering: mettere nel contesto solo ciò che è rilevante, riassumere le cronologie lunghe (compattazione), recuperare in modo mirato con RAG e usare subagenti con un contesto proprio. Una finestra di contesto ampia non significa che ogni dettaglio venga sfruttato allo stesso modo.
Prompt, skill, agenti e strumenti correlati
Scritto da AI Compare Ninja con l’aiuto dell’IA e rivisto da noi. Ogni spiegazione è un testo originale.