Hvad er et context window?

Den begrænsede mængde information (tokens) som en AI-model kan "huske" og behandle på én gang under en samtale eller opgave.

🤖

Definition

Context Window er den begrænsede mængde information (målt i tokens), som en AI-model kan holde i sin "hukommelse" og aktivt behandle på én gang under en samtale eller opgave.

🎯

Formål

Context Window definerer grænserne for, hvor meget sammenhæng og historik en AI-model kan overveje, når den genererer responser, hvilket påvirker dens evne til at følge lange samtaler.

⚙️

Funktion

Context Window fungerer som en glidende "hukommelse", hvor ældre information gradvist "glemmes", når nye beskeder tilføjes, og det samlede antal tokens når modellens grænse.

🌟

Eksempel

GPT-4 har et context window på ca. 128.000 tokens. Når en samtale overstiger dette, "glemmer" modellen de ældste dele for at gøre plads til ny information.

🔗

Relateret

Context Window er relateret til tokens, memory, conversation flow og large language models.

🍄

Vil du lære mer?

Hvis du ønsker å gå dypere inn i Context Window —eller bringe denne typen opplæring til teamet ditt— la oss snakke sammen. Jeg hjelper team med å forstå og anvende disse begrepene. Jeg vil veldig gjerne høre fra deg!