Hva er et latensbudsjett?

Latency Budget (Latensbudsjett) refererer til den maksimale akseptable responstiden som et AI-system kan ha for å opprettholde en tilfredsstillende brukeropplevelse og møte applikasjons-krav.

Latensbudsjett har som mål å sette klare ytelsesmål for AI-systemer og guide design-beslutninger for å balansere modellkompleksitet med responshastighet.

Latensbudsjett fungerer som en begrensning som informerer valg om modellarkitektur, infrastruktur, optimalisering og kompromisser mellom nøyaktighet og hastighet.

Et chatbot-system med 200ms latensbudsjett, en sanntids oversettelsestjeneste med 100ms budget, eller en søketjeneste som må svare innen 50ms for optimal brukeropplevelse.

Latensbudsjett er relatert til ytelseskrav, SLA (Service Level Agreements), brukeropplevelsesdesign og systemarkitektur.