Co je Inference?

Inference neboli Inference je proces, kdy již natrénovaný AI model aplikuje své naučené znalosti na nová, neviděná data pro vytvoření predikcí nebo odpovědí.

Umožňuje praktické využití AI modelů v reálném čase pro řešení konkrétních úkolů a poskytování odpovědí uživatelům.

Model přijímá vstup, zpracovává ho pomocí naučených parametrů a generuje výstup bez dalšího tréningu.

GPT model přijímající textový prompt a generující odpověď, nebo model rozpoznávání obrázků klasifikující fotku zvířete.

Následuje po trénování modelu, souvisí s latencí a compute požadavky pro produkční nasazení.