Cos'è una Context Window?

Una Context Window (Finestra di Contesto) è la quantità limitata di testo, token o dati che un modello di linguaggio può elaborare e "ricordare" contemporaneamente in una singola interazione o sessione.

La finestra di contesto determina quanto della conversazione o documento precedente il modello può considerare quando genera nuove risposte, influenzando coerenza e relevanza.

La context window funziona come un buffer di memoria a breve termine che mantiene informazioni recenti accessibili, ma dimentica contenuto più vecchio quando la finestra si riempie.

GPT-4 con una finestra di 128K token può "ricordare" circa 96.000 parole di conversazione precedente, ma deve "dimenticare" il contenuto più vecchio per elaborare nuove informazioni.

Le context window influenzano Memory, conversation continuity, document processing e richiedono tecniche come chunking per gestire contenuti lunghi.