Throughput vs Latency - Latenstid

I Kanban-metoden beskriver 'throughput' det samlede antal opgaver eller arbejdsgenstande, som et team formår at afslutte i løbet af en specificeret periode. Denne indikator er et mål for teamets produktivitet og effektivitet og bruges til at vurdere og forbedre præstationer over tid.

Throughput er en vigtig præstationsindikator, der hjælper teams med at forstå deres leveringskapacitet og effektivitet.

Throughput måles ved at tælle antallet af opgaver eller user stories, der er blevet afsluttet og leveret over en periode, ofte per iteration eller per uge.

Teams kan bruge throughput-data til bedre at spore forbedringer i deres leveringsproces og identificere potentielle flaskehalse.

Throughput er et kvantitativt mål for, hvor meget arbejde der bliver afsluttet over tid i et Kanban-system.

Det kan sammenlignes med outputtet fra en fabrik, der indikerer, hvor hurtigt arbejdet bliver behandlet og leveret.

Latency (Latenstid) er tiden det tager fra en AI-model modtager input til den leverer sit output - kritisk for brugeroplevelse i interaktive og realtidsapplikationer.

Lav latency har til formål at skabe responsive AI-systemer, der føles naturlige og intuitive i realtid, særligt i samtaler og interaktive applikationer.

Latency påvirkes af modellens størrelse, kompleksitet, hardware-kapacitet, netværksforsinkelser og optimeringsstrategier som caching og parallel processing.

En chatbot med høj latency (5+ sekunder responstid) føles langsom og brysom, mens lav latency (<500ms) skaber en smidig samtalefloj.

Latency er relateret til performance optimization, real-time AI og user experience.