Um boom na receita de IA pode causar uma falta de responsabilidade pelo desvio do modelo de IA, de acordo com as projeções do Gartner.
A empresa de consultoria projeta que a receita produzida por IA não monitorada aumentará de US$ 150 bilhões atualmente para US$ 1 trilhão em 2028. À medida que essa receita aumenta, os protocolos de modelo e a coordenação de agentes de IA permitirão aos agentes de IA mais autonomia, conectividade e velocidade, mas sem mostrar se o processo de decisão está alinhado com as intenções de um negócio, afirmam os autores de um relatório do Gartner.
O diretor analista sênior do Gartner, Mario Capellari, definiu o desvio comportamental da IA como os resultados da IA divergindo do comportamento originalmente testado, validado e esperado.
Para impedir que o desvio de IA rejeite muitos sinistros e distorça os riscos de subscrição, as seguradoras devem conduzir revisões humanas do trabalho da IA, verificar quais informações a IA está buscando e de onde, e monitorar de forma consistente e persistente os resultados do trabalho da IA, de acordo com executivos de provedores de serviços de insurtech.
Para fluxos de trabalho de subscrição de seguros e sinistros que usam IA agêntica, o desvio acontece quando as mesmas consultas acabam gerando respostas diferentes, disse Grace Apea, vice-presidente assistente de marketing de produto e insights de mercado da Equisoft, um provedor de serviços de insurtech especializado em funções de seguro de vida.
“E se toda vez que você pedir ao agente para fazer algo, ou e se toda vez que você esperar que ele faça algo, isso mudar? Mesmo que a mudança seja muito pequena, uma fração de um por cento de mudança, qual será esse impacto?”
O desvio de IA também pode ser causado pela IA operando com base em diferentes fontes ou terceiros, de acordo com James Hannay, diretor de receita da Sapiens, uma plataforma de software de IA que atende seguradoras. Hannay descreveu o desvio de IA usando o sistema nervoso humano como ilustração.
“Se o cérebro disser para levantar a mão direita, fazer um círculo com ela e abaixá-la novamente, ele fará a mesma coisa todas as vezes”, disse Hannay. “Se a mão não estivesse conectada ao cérebro, toda vez que fosse solicitada a realizar essa ação, você obteria uma variação. Em um minuto, é um quadrado. No minuto seguinte, é um círculo. Ou pode ser oblongo ou um retângulo.” A IA precisa estar conectada à mesma fonte de instruções e informações para evitar o desvio dos resultados, acrescentou ele.
Seguradoras que estudam como usar agentes de IA não os estão conectando diretamente às fontes de conhecimento, disse Hannay. Isso contribui para o desvio de IA que Capellari e o relatório do Gartner descrevem, acrescentou ele. O uso de testes A/B de diferentes conjuntos de dados em uma plataforma de IA pode determinar se ela está navegando diretamente para fontes de dados ou se precisa de informações inseridas, disse Hannay.
Da mesma forma, um “conjunto de ouro”, um grupo de casos de teste de subscrição já revisados por uma pessoa, que depois passa por um grande modelo de linguagem ou IA, pode mostrar se a IA está desviando, disse Apea da Equisoft. “Um bom conjunto de ouro tem que cobrir casos extremos, não apenas os casos de subscrição comuns”, disse ela. “Você quer ter certeza de que está realmente medindo o desvio corretamente. Você precisa ter certeza de que está cobrindo diferentes tipos de riscos, diferentes tipos de demografia, diferentes tipos de produtos também. O mais importante, o mais importante, revise as versões dos resultados para saber se há uma mudança nas entradas de dados e ser capaz de rastrear isso.”
Para sinistros de seguros, Apea disse, uma regra geral é que se um cenário específico de sinistros normalmente leva a uma taxa de aprovação de 98%, e a taxa de rejeição sobe para 5%, o uso da IA deve ser revisado.
