AI Care: průběžná správa AI agentů v praxi

AI agent na e-shopu se chová jinak než běžný software. Klasická funkce, která dnes funguje, bude fungovat i za rok, dokud na ni nikdo nesáhne. U AI to neplatí. Mění se sortiment, obchodní podmínky, dotazy zákazníků i samotné modely. Poskytovatelé staré verze modelů vypínají a nové odpovídají jinak. Agent, kterého nikdo nesleduje, se tiše zhoršuje.

Proto nasazení není konec projektu, ale začátek provozu. V tomhle článku popíšeme, co průběžná správa AI agentů obnáší: jak měřit kvalitu, jak poznat drift, jak ladit prompty, jak zvládnout konec modelu u poskytovatele, jak hlídat náklady a co od srpna 2026 vyžaduje AI Act. Na konci ukážeme, jak to řešíme v programu AI Care.

Proč se AI agent bez péče zhoršuje

Nejčastější příčiny poklesu kvality jsou čtyři:

• Zastaralá data. Agent odpovídá podle znalostní báze. Když se změní doprava, reklamační lhůta nebo sortiment a báze se neaktualizuje, agent sebevědomě odpovídá špatně. U agentů postavených na RAG architektuře je to nejčastější problém.
• Nové typy dotazů. Zákazníci se začnou ptát na věci, se kterými při nasazení nikdo nepočítal. Nová kategorie produktů, sezónní akce, změna dopravce.
• Změna modelu. Poskytovatel vydá novou verzi nebo starou vyřadí. Stejný prompt pak může vést k jinému tónu, délce nebo míře opatrnosti.
• Změny v navazujících systémech. Agent volá API e-shopu, skladu nebo dopravce. Když se změní formát odpovědi, agent začne vracet nesmysly nebo chyby.

Tomuto postupnému zhoršování se říká drift. Neprojeví se jedním velkým výpadkem. Projeví se tak, že za tři měsíce zjistíte, že agent posílá zákazníky na zrušenou stránku.

Monitoring kvality a evaluace

Základ správy je měření. Bez něj jde jen o pocity. Doporučujeme kombinovat tři vrstvy:

1. Testovací sada (evaluace). Soubor reálných otázek s ověřenými správnými odpověďmi. Na začátku stačí desítky, časem stovky. Spouští se při každé změně promptu, modelu nebo dat a výsledky se porovnají s předchozím během.
2. Kontrola vzorku z provozu. Člověk pravidelně projde náhodný vzorek skutečných konverzací a označí chyby. Najde problémy, které testovací sada nepokrývá.
3. Provozní metriky. Podíl konverzací předaných člověku, podíl nevyřešených dotazů, hodnocení od zákazníků, počet chyb při volání API.

Každá chyba nalezená v provozu by měla skončit v testovací sadě. Tak se sada postupně rozrůstá o případy, které se už nesmí opakovat.

Ladění promptů bez rozbití toho, co funguje

Prompt je u AI agenta obdoba zdrojového kódu. Tak s ním také zacházejte:

• Verzujte. Každá změna má datum, autora a důvod. Když se kvalita zhorší, víte, co se změnilo.
• Testujte před nasazením. Nová verze promptu projde testovací sadou. Oprava jednoho problému často rozbije jiný.
• Měňte jednu věc najednou. Když současně změníte prompt, model i data, nepoznáte, co pomohlo a co uškodilo.
• Nepřidávejte donekonečna. Prompt, který roste o výjimky, je dražší a méně spolehlivý. Někdy je lepší opravit data než přidat další pravidlo.

Když poskytovatel vyřadí model

Modely mají životní cyklus. Poskytovatelé je označují jako zastaralé a pak vypínají. Po vyřazení požadavky na starý model selhávají a agent přestane fungovat.

Dva aktuální příklady z oficiální dokumentace (k 9/2026):

• OpenAI vede veřejný přehled vyřazovaných modelů a rozhraní. Letos 26. srpna například vypnulo starší Assistants API a na podzim 2026 podle stejného přehledu vypíná další starší modely.
• Anthropic v dokumentaci uvádí, že vyřazení veřejně vydaného modelu oznamuje aspoň 60 dní předem a zákazníky s aktivním použitím informuje e-mailem.

Pro správu z toho plyne jednoduchý postup. Sledujte stránky s oznámeními u všech poskytovatelů, které používáte (GPT modely, Claude a další). Mějte evidenci, který agent běží na kterém modelu. Přechod na nový model otestujte na testovací sadě s předstihem, ne v týdnu vypnutí. Nový model může být levnější i dražší, delší i stručnější, a prompt na to často potřebuje úpravu.

Náklady na tokeny pod kontrolou

Jazykové modely se účtují podle spotřeby tokenů, tedy podle délky vstupu a výstupu. Ceníky se mezi modely i v čase výrazně liší, aktuální ceník ověřte u poskytovatele. Náklady rostou nenápadně: delší prompt, víc dokumentů v kontextu, víc kroků agenta.

Co pravidelně kontrolujeme:

• náklady na jednu konverzaci nebo jednu vyřízenou úlohu, ne jen celkovou fakturu,
• délku systémového promptu a množství vkládaného kontextu,
• jestli jednodušší úlohy (třídění dotazů, extrakce údajů) nemůže dělat levnější model,
• zbytečné opakování volání nástrojů a smyčky v agentních workflow, například v n8n,
• limity útraty nastavené u poskytovatele, aby chyba v kódu nevygenerovala nečekanou fakturu.

AI Act: co platí od srpna 2026

Evropský AI Act (nařízení EU 2024/1689) se uplatňuje postupně. Pro e-shopy s chatbotem je teď nejdůležitější čl. 50 o transparentnosti. Stav k září 2026:

• Od 2. srpna 2026 platí povinnosti transparentnosti podle čl. 50. Lidé musí být informováni, že komunikují se systémem AI, pokud to není zřejmé z okolností. Povinnost formálně míří na poskytovatele systému. Když si agenta necháváte postavit na míru, ověřte, kdo tuto roli nese. Prakticky doporučujeme jasnou zprávu na začátku každé konverzace.
• Digital Omnibus tuto lhůtu neodložil. Nařízení (EU) 2026/1744 vstoupilo v platnost 27. července 2026. Posunulo povinnosti pro vysoce rizikové systémy (na 2. prosince 2027, resp. 2. srpna 2028). U strojově čitelného označování generovaného obsahu podle čl. 50 odst. 2 dalo systémům uvedeným na trh před 2. srpnem 2026 lhůtu do 2. prosince 2026.
• AI gramotnost (čl. 4). Platí od února 2025. Omnibus ji přepsal na povinnost přijmout opatření na podporu AI gramotnosti lidí, kteří s AI pracují. Garantovat konkrétní úroveň nevyžaduje.

Běžný zákaznický chatbot nebo generátor produktových popisků do vysoce rizikové kategorie obvykle nespadá. Konkrétní posouzení ale nechte na právníkovi, zvlášť pokud AI rozhoduje o zákaznících (například posuzuje bonitu zákazníka). Na ochranu osobních údajů v konverzacích se zaměřuje článek AI a GDPR.

Jak to děláme v Převeďshopu

AI Care je průběžná správa a rozvoj AI agentů ve vašem e-shopu, ať už jde o podporu, obsah, nebo reporting. Zahrnuje:

• Monitoring kvality výstupů. Kontrolujeme, že odpovědi a obsah odpovídají realitě a tónu značky.
• Ladění promptů a modelů. Přesnost zlepšujeme podle reálných dat z provozu.
• Rozšiřování use-case. Další agenty přidáváme postupně, podle prokázané návratnosti.
• Reporting návratnosti. Metriky dohodneme na začátku: ušetřený čas podpory, rychlost tvorby obsahu, konverzní dopad personalizace.

Oddělení AI a automatizace vede Frank, specialista na n8n a AI agenty. AI nemusíte mít nasazenou předem. Často začínáme AI auditem a prvním nasazením přímo v rámci programu. Stavbu nových agentů popisujeme na stránce AI agenti.

Paušál stanovujeme podle počtu a složitosti nasazených agentů. Konkrétní nabídku připravíme po konzultaci podle rozsahu.

Jak na to prakticky

Pokud už AI agenta máte, projděte si tento checklist:

1. Víte, na kterém modelu a verzi každý agent běží?
2. Sledujete oznámení o vyřazení modelů u svých poskytovatelů?
3. Máte testovací sadu otázek a spouštíte ji po každé změně?
4. Kontroluje někdo pravidelně vzorek skutečných konverzací?
5. Jsou prompty verzované a víte, kdo a proč je naposledy změnil?
6. Znáte náklady na jednu konverzaci a máte nastavený limit útraty?
7. Informuje chatbot zákazníky, že mluví s AI?

Pokud jste na tři a více otázek odpověděli „ne“, agent pravděpodobně běží bez dohledu. Ozvěte se nám a projdeme, co s tím.