Co je Latency v AI?
Čas mezi odesláním dotazu AI systému a přijetím odpovědi.
Definice
Latency neboli Latence je čas, který uplyne mezi odesláním dotazu nebo požadavku AI systému a přijetím odpovědi nebo výsledku.
Účel
Kritická metrika pro uživatelskou zkušenost, zvlášť důležitá u real-time aplikací a interaktivních AI systémů.
Funkce
Ovlivněna velikostí modelu, složitostí dotazu, hardwarem a síťovými podmínkami.
Příklad
Chatbot s latencí 200ms poskytne téměř okamžité odpovědi, zatímco latence 5 sekund vytváří frustrující zpoždění.
Související
Souvisí s throughput, inference optimalizací a edge computing pro snížení latence.
Chcete se dozvědět více?
Pokud se chcete ponořit hlouběji do tématu Latency (Latence) — nebo přinést tento druh školení do svého týmu — pojďme si promluvit. Pomáhám týmům pochopit a uplatnit tyto koncepty v praxi. Rád se vám ozvu!
Co je benchmark v AI?
Benchmark je standardizovaný soubor testů, datasetů a metrik používaných k...
Co je Latency Budget?
Latency Budget neboli Rozpočet latence je maximální přijatelný čas odezvy d...
Co je Natural Language?
Natural Language neboli Přirozený jazyk je běžný lidský jazyk (čeština, ang...
Co je Evaluation Harness?
Evaluation Harness neboli Testovací framework je softwarový nástroj, který...
Co je Swarm AI?
Swarm AI neboli AI roje je přístup umělé inteligence, který napodobuje kole...