Resumo do artigo
- Um assistente fiável deve encontrar a fonte certa, respeitar permissões e reconhecer incerteza.
- Usa perguntas reais, formulações vagas, termos antigos, fontes contraditórias e casos sem resposta.
- Testa diferentes funções e documentos restritos para preservar as permissões dos sistemas de origem.
- Lança apenas após passar os testes críticos; mantém testes de regressão e monitorização contínua.
Principais conclusões
- Antes dos testes, define o comportamento obrigatório, ações proibidas e falhas críticas.
- Verifica primeiro se foi encontrada a fonte correta e atual; depois avalia a precisão da resposta.
- Exige citações nas respostas importantes e escalamento claro quando faltam provas.
- Lança apenas após passar os testes críticos; mantém testes de regressão e monitorização contínua.
Definir critérios de aceitação
Antes dos testes, define o comportamento obrigatório, ações proibidas e falhas críticas.
Criar perguntas realistas
Usa perguntas reais, formulações vagas, termos antigos, fontes contraditórias e casos sem resposta.
Medir pesquisa e resposta separadamente
Verifica primeiro se foi encontrada a fonte correta e atual; depois avalia a precisão da resposta.
Testar permissões
Testa diferentes funções e documentos restritos para preservar as permissões dos sistemas de origem.
Verificar incerteza e escalamento
Exige citações nas respostas importantes e escalamento claro quando faltam provas.
Executar um piloto com utilizadores
Permite que utilizadores reais executem tarefas e regista respostas enganadoras e falhas repetidas.
Decidir lançamento e monitorização
Lança apenas após passar os testes críticos; mantém testes de regressão e monitorização contínua.
Internal AI assistants · AI integrations · Business automation · Services and pricing · Contact