Questo articolo è stato pubblicato su LinkedIn, clicca per leggere...
Il tuo context window non è memoria: è un cassetto che il modello non sa aprire
L’aumento del context window viene spesso raccontato come un passo verso una memoria più ampia, ma il problema reale non è quanto un modello possa contenere: è quanto sappia ignorare ciò che è diventato irrilevante. Quando informazioni mutabili continuano ad accumularsi nello stesso flusso conversazionale, il modello non dimentica: conserva troppo e recupera male. Per questo, in molti casi, la soluzione non passa da prompt migliori ma da architetture in cui lo stato corrente vive fuori dal testo, in registri separati che distinguono il presente dal rumore del passato.