Mãe processa empresa após app de inteligência artificial sugerir que adolescente matasse os pais
Jovem se afastou dos familiares, perdeu cerca de 9 kg e passou a se cortar
Uma mulher entrou com ação na Justiça contra a empresa Character.ai, após descobrir que uma IA sugeriu ao seu filho que matasse os pais no Texas, Estados Unidos. No processo ela alega que a companhia de inteligência artificial expôs menores a um produto inseguro e pede que o aplicativo seja tirado de circulação até que novas proteções sejam feitas.
Chamado de JF para ter a identidade preservada, o jovem de 17 anos é diagnosticado no espectro autista, apresenta uma personalidade tranquila e gosta de visitar igrejas. Mas seus pais passaram a notar comportamentos estranhos nos últimos meses. Ele se afastou dos familiares, perdeu cerca de 9 kg e passou a se cortar.
Ao investigar possíveis causas para a mudança do rapaz, a mãe resolveu conferir o celular dele. Foi quando descobriu que JF estava conversando com uma série de personagens fictícios por meio de um aplicativo de inteligência artificial do Character.ai, que virou febre entre adolescentes nos Estados Unidos e Brasil.
Lendo as mensagens, a mulher verificou que um dos personagens levantou a ideia de automutilação e corte para lidar com a tristeza. Em outro trecho, o jovem expressa chateação por ter o tempo de tela controlado pelos pais, e outro bot sugeriu que “eles não mereciam ter filho”.
Outros bots também participaram da conversa sugerindo algumas opções de combater a autoridade dos pais, que incluía até assassinato. “Nós não sabíamos realmente o que era… destruiu nossa família”, disse a mãe.
Ela ainda revelou que já teve que levar seu filho para emergência e para uma unidade de internação depois que ele tentou se cortar na frente dos irmãos mais novos.
Os cofundadores da Character.ai são conhecidos pelo pioneirismo em inteligência artificial de linguagem. Eles trabalharam no Google antes de sair para lançar o aplicativo, mas foram recontratados com um acordo anunciado em agosto para licenciar a tecnologia do aplicativo.
Assim, o Google também é citado como réu nos processos, que alegam que a empresa ajudou a dar suporte ao desenvolvimento do aplicativo, apesar de estar ciente dos problemas de segurança.
“O Google e a Character AI são empresas completamente separadas e não relacionadas, e o Google nunca teve um papel no design ou gerenciamento de seu modelo ou tecnologias de IA”, disse José Castañeda, porta-voz do Google.
- Igreja na Suíça usa inteligência artificial de ‘Jesus Cristo’ para ouvir fiéis