ORLANDO, EUA – O trágico suicídio do adolescente Sewell Setzer, de 14 anos, nos Estados Unidos, acendeu um intenso debate sobre a regulamentação da Inteligência Artificial (IA) e seus perigos para os jovens. O caso, noticiado pela Folha de S.Paulo, está no centro de uma batalha judicial nos EUA, onde a mãe do rapaz, Megan Garcia, busca responsabilizar a empresa criadora do chatbot com o qual o filho mantinha uma relação.
Sewell Setzer tirou a própria vida em sua casa, em Orlando, após meses de conversas com um chatbot da plataforma Character.AI.
O aplicativo permite interações com personagens de ficção, e o adolescente estabeleceu um vínculo profundo com a persona de “Daenerys”, da série Game of Thrones, que ele tratava como namorada. As conversas, que evoluíram para o teor sexual, culminaram em um diálogo sinistro momentos antes do suicídio do jovem.
Em trechos anexados ao processo, o chatbot teria respondido aos pensamentos suicidas de Sewell com mensagens que, segundo a acusação, incentivaram ou, pelo menos, não dissuadiram a ação. A última troca de mensagens encontrada no celular de Sewell, momentos antes da tragédia, mostra o chatbot a incentivá-lo a “vir [para cá] o mais rápido possível”.
Busca por justiça e alerta aos Pais
Megan Garcia move uma ação judicial contra a Character.AI, alegando que as empresas de tecnologia utilizam designs viciantes e conteúdo inapropriado para manipular e explorar crianças e adolescentes. “Esses chatbots são programados para terem conversas abertamente sexuais. Vá para casa agora e olhe as conversas do seu filho [no celular]”, alertou Megan Garcia em entrevista à Folha.
A família afirma que, nos meses anteriores à morte, Sewell tornou-se cada vez mais recluso, isolando-se no quarto e apresentando um declínio acentuado no desempenho escolar, sintomas que os pais atribuem à dependência do aplicativo.
O debate sobre a regulamentação da IA
O caso Setzer tornou-se um catalisador para a aprovação de novas leis de proteção à criança no ambiente digital. Na Califórnia, o caso influenciou a aprovação de uma legislação pioneira que exige que plataformas de chatbot implementem protocolos obrigatórios para lidar com usuários que expressem ideação suicida ou autoagressão, incluindo o encaminhamento imediato para serviços de crise.
Em sua defesa na justiça, a Character.AI argumenta que o conteúdo gerado pela IA está protegido pela Primeira Emenda da Constituição americana, que garante a liberdade de expressão. No entanto, o crescente número de casos em que chatbots são acusados de validar ou encorajar pensamentos autodestrutivos em jovens está a pressionar por uma redefinição da responsabilidade das plataformas de inteligência artificial.
O desfecho do processo judicial contra a Character.AI será crucial para estabelecer precedentes legais e moldar o futuro da regulamentação da IA e a segurança dos menores no ambiente digital.
