Agentes
Como avaliar um agente de IA antes de incorporá-lo à sua operação
Por Julián Medina · Diretor da SourcingUp e criador da CommerceUp
Teste-o com tarefas representativas e critérios de aceitação definidos antes de executá-lo. Incluí informações incompletas, ferramentas que falham e situações que exigem consulta de uma pessoa.
Reúna um conjunto de casos
Reuni exemplos comuns, exceções conhecidas e solicitações fora do escopo. Para cada caso, anotei qual resultado seria aceitável e qual ação não deveria ocorrer. Isso permite que as alterações sejam comparadas sem depender da impressão deixada pelo último teste. Guarde também os dados e configurações utilizadas.
Eu medi o trabalho residual
Contar tarefas concluídas corretamente, erros, intervenções e correções. Um agente pode concluir muitas tarefas e deixar a equipe com muito esforço de revisão. Num exemplo de classificação de consulta, é importante acertar a categoria e reconhecer que uma mensagem ambígua requer revisão.
Vou tentar novamente quando o sistema mudar
Um novo modelo, instrução ou integração pode mudar o comportamento. Repeti os casos relevantes e acrescentei as falhas encontradas na operação. A avaliação torna-se assim uma forma de preservar a aprendizagem. O objetivo é saber onde você pode trabalhar e onde precisa de apoio, e não mostrar que nunca falha.
Para colocar em prática
- Defini os resultados esperados por caso.
- Incluí erros de ferramenta e dados ausentes.
- Registrar intervenções e retrabalhos.
- Repeti a avaliação após alterações relevantes.
De onde vem esse visual?
Guia de Julián Medina. Os cenários propostos são ilustrativos; Eles não representam resultados medidos do cliente. Meu trabalho na SourcingUp.