Co je Latency Budget?
Maximální přijatelný čas odezvy pro AI systém v konkrétní aplikaci.
Definice
Latency Budget neboli Rozpočet latence je maximální přijatelný čas odezvy definovaný pro AI systém na základě požadavků konkrétní aplikace.
Účel
Definuje performance cíle a omezení, pomáhá při navrhování architektury a optimalizaci systému.
Funkce
Stanovuje limity pro různé komponenty systému a přiděluje čas každé části pipeline zpracování.
Příklad
Real-time chatbot může mít latency budget 200ms, zatímco analýza dokumentů může mít budget 30 sekund.
Související
Součást Service Level Objectives (SLO), souvisí s performance engineeringem a system design.
Chcete se dozvědět více?
Pokud vás zajímá více o Latency Budget (Rozpočet latence), kontaktujte mě na X. Rád sdílím nápady, odpovídám na dotazy a diskutuji o zajímavostech na toto téma, tak se nebojte zastavit. Těším se na vás!
Co je benchmark v AI?
Benchmark je standardizovaný soubor testů, datasetů a metrik používaných k...
Co je Latency v AI?
Latency neboli Latence je čas, který uplyne mezi odesláním dotazu nebo poža...
Co je Escape Hatch?
Escape Hatch neboli Núdzový východ je bezpečnostní mechanismus, který umožň...
Co je Zero-Shot Learning?
Zero-Shot Learning je schopnost AI modelu vykonávat nové úkoly nebo klasifi...
Co je Model Context Protocol?
Model Context Protocol (MCP) je standardizovaný protokol definující jak AI...