UK
Governance та guardrails
Бюджети, approvals, дозволи, audit logs — контроль, без якого агент у проді болить.
- Allowlist vs Blocklist (чому default-deny перемагає) + Код★★★Blocklist гниє. Allowlist масштабується. Модель tool policy, яка не дозволяє випадково наступний небезпечний інструмент.
- Budget Controls для AI агентів (кроки, час, $) + Код★★★Якщо агент може витрачати час і гроші без ліміту — він так і зробить. Бюджетна policy, яка зупиняє run’и безпечно і дає stop reasons.
- Cost Limits для AI агентів (зупинити витрати) + Код★★★Token limits недостатньо. Як зробити жорсткий cap загальної вартості (LLM + tools) зі зрозумілим stop reason, щоб не було сюрпризів.
- Human-in-the-loop approvals (зупинити writes) + Код★★★Approvals нудні — і дешевші, ніж відкотити 200 writes. Gate для ризикових tool calls: evidence, enforce в tool gateway, audit.
- Kill switch design для AI агентів (швидко зупинити writes) + Код★★★Коли агент робить шкоду, потрібен kill switch, який реально зупиняє: global + per-tenant, disable tools, і stop semantics без redeploy.
- Step limits для AI агентів (зупинити loops) + Код★★★Step limits — найдешевша страховка від нескінченних loops. Як cap’нути steps, surfacити stop reasons, і не отримати 700 tool calls.
- Tool permissions для AI агентів (least privilege) + Код★★★Коли ти даєш credentials ймовірнісній системі, потрібен least privilege. Як зробити tool permissions enforceable, auditable і зі scope.