Hvad er et Latency Budget?
Det maksimale tilladt responstid for et AI-system for at opretholde acceptabel brugeroplevelse.
Definition
Latency Budget er det maksimalt tilladte responstid for et AI-system eller en specifik operation for at opretholde acceptabel brugeroplevelse og ydelseskrav.
Formål
Latency Budget har til formål at sætte klare performancekrav, så udviklere kan optimere systemer inden for acceptable responsgrenser.
Funktion
Latency Budget fungerer som en designmæssig begrænsning, der guide arkitektur, modelvalg og optimeringsstrategier for at sikre tilfredsstillende hastighed.
Eksempel
En voice assistant har måske et latency budget på 300ms for at føles naturlig, hvilket kræver optimering af sprogmodeller og infrastruktur.
Relateret
Latency Budget er relateret til performance planning, SLA og user experience metrics.
Vill du veta mer?
Om du vill fördjupa dig i Latency Budget —eller ta den här typen av utbildning till ditt team— låt oss prata. Jag hjälper team att förstå och tillämpa dessa begrepp. Jag vill gärna höra från dig!
Hvad er AI-benchmarks?
Benchmarks eller AI-benchmarks er standardiserede tests, datasæt og målemet...
Hvad er latency i AI?
Latency (Latenstid) er tiden det tager fra en AI-model modtager input til d...
Hvad er Generativ AI?
Generativ AI er AI-systemer, der kan skabe nyt og originalt indhold som tek...
Hvad er hallucination i AI?
Hallucination i AI er når modeller producerer information, fakta eller påst...
Hvad er Middleware i AI?
Middleware i AI er software-lag, der forbinder og facilitere kommunikation...