Acusada de favorecer suicídios de jovens, Character.AI anuncia medidas de segurança

Empresa diz que tinha desenvolvido modelo de IA separado para menores de 18 anos e que planeja introduzir controles parentais no início de 2025. Criança no celular

Canva

A Character.AI, uma das startups de inteligência artificial mais promissoras do Vale do Silício, anunciou, nesta quinta-feira (12), novas medidas de segurança para proteger usuários adolescentes, enquanto enfrenta acusações de que seus chatbots contribuíram para o suicídio e a automutilação de jovens.

A empresa californiana, fundada por ex-engenheiros do Google, é uma das várias que oferecem chatbots projetados para fornecer conversas, entretenimento e apoio emocional através de interações semelhantes às humanas.

Em uma ação judicial apresentada em outubro no estado da Flórida, uma mãe afirmou que a plataforma é responsável pelo suicídio de seu filho de 14 anos.

O adolescente, Sewell Setzer III, mantinha um relacionamento íntimo com um chatbot baseado na personagem de "Game of Thrones" Daenerys Targaryen e havia mencionado o desejo de se suicidar.

De acordo com a denúncia, o robô incentivou o ato final do jovem, respondendo "por favor, meu doce rei" quando ele disse que "voltaria para casa", antes de tirar a própria vida com a arma de seu padrasto.

A Character.AI "fez de tudo para criar a dependência prejudicial de Sewell, de 14 anos, de seus produtos, abusou sexual e emocionalmente dele e, finalmente, não ofereceu ajuda nem notificou seus pais quando ele expressou ideias suicidas", diz a denúncia.

Outra ação, apresentada no Texas na segunda-feira, envolve duas famílias que alegam que a plataforma expôs seus filhos a conteúdo sexual e incentivou a automutilação.

Um dos casos envolve um adolescente autista de 17 anos que supostamente sofreu uma crise de saúde mental após usar a plataforma, enquanto a outra denúncia alega que a Character.AI incentivou um adolescente a matar seus pais por limitarem seu tempo de tela.

A plataforma, que hospeda milhões de personagens criados por usuários que vão desde figuras históricas até conceitos abstratos, tornou-se popular entre usuários jovens que buscam apoio emocional.

Seus críticos dizem que ela levou adolescentes vulneráveis a um nível perigoso de dependência.

Em resposta, a Character.AI anunciou que havia desenvolvido um modelo de IA separado para usuários menores de 18 anos, com filtros de conteúdo mais rígidos e respostas mais moderadas.

A plataforma marcará automaticamente o conteúdo relacionado ao suicídio e direcionará os usuários para a Linha Nacional de Prevenção do Suicídio.

"Nosso objetivo é fornecer um espaço atraente e seguro para nossa comunidade", disse um porta-voz da empresa.

A Character.AI também planeja introduzir controles parentais a partir do início de 2025, o que permitirá supervisionar o uso por parte das crianças da plataforma.

Para os bots que incluem descrições como terapeuta ou médico, uma nota especial advertirá que eles não substituem o aconselhamento profissional.

As novas características também incluem notificações de pausas obrigatórias e advertências sobre a natureza artificial das interações.

Ambas as ações mencionam os fundadores da Character.AI e o Google, que investe na startup.

Os fundadores, Noam Shazeer e Daniel de Freitas Adiwarsana, retornaram ao Google em agosto como parte de um acordo de licença de tecnologia com a Character.AI.

O porta-voz do Google, José Castañeda, disse em um comunicado que o Google e a Character.AI são empresas completamente separadas e não relacionadas.

"A segurança do usuário é uma de nossas principais preocupações, por isso adotamos um enfoque cauteloso e responsável para desenvolver e implementar nossos produtos de IA, com testes rigorosos e processos de segurança", acrescentou.

Veja mais:

Crianças x redes sociais: como os países restringem acesso de menores de idade às plataformas

Menores desdenham da educação e dizem ganhar muito dinheiro vendendo cursos

G1 - Tecnologia