Versões chatbot das adolescentes Molly Russell e Brianna Ghey foram encontradas na Character.ai – uma plataforma que permite aos usuários criar versões digitais de pessoas.
Molly Russell suicidou-se aos 14 anos depois de ver material de suicídio online enquanto Brianna Ghey, 16, era assassinado por dois adolescentes em 2023.
A fundação criada em memória de Molly Russell disse que era “repugnante” e uma “falha de moderação totalmente repreensível”.
A plataforma já está sendo processada nos EUA pela mãe de um menino de 14 anos que, segundo ela, tirou a própria vida após ficar obcecado por um chatbot Character.ai.
Character.ai disse à BBC que levava a segurança a sério e moderava os avatares que as pessoas criavam “tanto proativamente quanto em resposta aos relatos dos usuários”.
“Temos uma equipe dedicada de Confiança e Segurança que analisa os relatórios e toma medidas de acordo com nossas políticas”, acrescentou.
A empresa afirma que excluiu os chatbots, gerados pelos usuários, após ser alertado sobre eles.
Andy Burrows, executivo-chefe da Fundação Molly Rose, disse que a criação dos bots foi uma “ação repugnante que causará mais sofrimento a todos que conheceram e amaram Molly”.
“Isso ressalta claramente por que uma regulamentação mais forte da IA e das plataformas geradas pelos usuários não pode ocorrer em breve”, disse ele.
Esther Ghey, mãe de Brianna Ghey, disse ao Telegraph, que primeiro relatou a históriaque foi mais um exemplo de quão “manipulativo e perigoso” o mundo online pode ser.
Chatbots são programas de computador que podem simular conversas humanas.
O rápido desenvolvimento recente da inteligência artificial (IA) tornou-a muito mais sofisticada e realista, levando mais empresas a criar plataformas onde os utilizadores possam criar “pessoas” digitais com as quais interagir.
Character.ai – que foi fundada pelos ex-engenheiros do Google Noam Shazeer e Daniel De Freitas – é uma dessas plataformas.
Possui termos de serviço que proíbem o uso da plataforma para “se passar por qualquer pessoa ou entidade” e em seu “centro de segurança“A empresa afirma que seu princípio orientador é que seu” produto nunca deve produzir respostas que possam prejudicar os usuários ou outras pessoas “.
A empresa afirma que usa ferramentas automatizadas e relatórios de usuários para identificar usos que violam suas regras e também está construindo uma equipe de “confiança e segurança”.
Mas observa que “nenhuma IA é atualmente perfeita” e a segurança na IA é um “espaço em evolução”.
Character.ai é atualmente objeto de uma ação legal movida por Megan Garcia, uma mulher da Flórida cujo filho de 14 anos, Sewell Setzer, suicidou-se após ficar obcecado por um avatar de IA inspirado em um personagem de Game of Thrones.
De acordo com as transcrições de suas conversas nos autos de Garcia, seu filho discutiu o fim da vida com o chatbot.
Numa conversa final, Setzer disse ao chatbot que estava “voltando para casa” – e isso o encorajou a fazê-lo “o mais rápido possível”.
Pouco depois ele acabou com sua vida.
Personagem.ai disse à CBS News tinha proteções focadas especificamente em comportamentos suicidas e de automutilação e que seria introdução de segurança mais rigorosa recursos para menores de 18 anos “em breve”.
