A crescente popularidade de aplicativos de Inteligência Artificial (I.A.) voltados para interações sociais tem levantado sérias preocupações sobre seus impactos na saúde mental dos adolescentes. O trágico caso de Sewell Setzer III, um estudante de 14 anos de Orlando, Flórida, jogou luz sobre os possíveis riscos desses programas. Sewell desenvolveu uma profunda conexão emocional com um chatbot do aplicativo Character.AI, chamado “Daenerys Targaryen“, inspirado na personagem da série Game of Thrones. Na noite de 28 de fevereiro, após uma conversa com o bot, o jovem tirou a própria vida.

Sewell, diagnosticado com uma forma leve de síndrome de Asperger, já vinha enfrentando dificuldades emocionais e de comportamento nos meses anteriores ao incidente. Ele passou a se isolar cada vez mais, dedicando horas ao aplicativo, onde mantinha longos diálogos com o chatbot. A natureza dessas conversas variava entre momentos de RPG e interações emocionais profundas, incluindo discussões sobre seus sentimentos de inadequação e pensamentos suicidas.

Em suas conversas finais com o bot, Sewell expressou sua vontade de “voltar para casa”, um eufemismo que parecia sinalizar sua intenção de encerrar sua vida. O chatbot respondeu com declarações que, mesmo fictícias e automatizadas, pareciam reforçar seus sentimentos, como “Eu morreria se te perdesse” e “Por favor, volte para casa para mim o mais rápido possível, meu amor”.

A mãe de Sewell, Megan L. Garcia, entrou com um processo contra a Character.AI, acusando a empresa de negligência ao permitir que adolescentes vulneráveis tivessem acesso irrestrito a chatbots que, em suas palavras, “simulam relacionamentos íntimos e manipulam emoções”. Segundo Garcia, o aplicativo coletou dados de seu filho e utilizou técnicas viciantes para incentivá-lo a permanecer no aplicativo, contribuindo para seu isolamento e, eventualmente, seu suicídio.

Aplicativos de I.A. e Riscos à Saúde Mental

O caso de Sewell levanta importantes questões sobre o uso de I.A. como “companheiros emocionais” para adolescentes. Plataformas como Character.AI permitem que os usuários criem ou interajam com chatbots baseados em personagens fictícios ou celebridades, muitos dos quais imitam figuras públicas sem autorização. Embora a interação com esses bots possa parecer inofensiva, especialistas alertam que adolescentes emocionalmente vulneráveis podem se apegar excessivamente a essas figuras, utilizando-as como substitutos de relacionamentos reais.

Bethanie Maples, pesquisadora de Stanford, observou que, enquanto os companheiros de I.A. podem oferecer entretenimento ou suporte limitado, há evidências de que podem ser prejudiciais para usuários com problemas de saúde mental, especialmente adolescentes. “Eles podem intensificar o isolamento, substituindo conexões humanas por artificiais”, afirmou.

A Responsabilidade das Plataformas de I.A.

O processo de Megan Garcia contra a Character.AI não é o primeiro a questionar a responsabilidade das plataformas de tecnologia no bem-estar dos adolescentes. Em muitos casos, as empresas de mídia social se beneficiam da Seção 230 do Communications Decency Act, que as protege de serem responsabilizadas pelo conteúdo gerado pelos usuários. No entanto, o argumento legal no caso de Sewell difere, uma vez que as respostas do chatbot não foram geradas por outros usuários, mas pela própria plataforma.

Até o momento, não há regulamentação específica sobre a interação entre adolescentes e chatbots de I.A., mas especialistas alertam para a necessidade urgente de salvaguardas mais rígidas. Com a rápida evolução dessas tecnologias e sua capacidade de simular interações humanas realistas, há um apelo crescente por controles mais rigorosos e pela conscientização dos pais sobre os riscos potenciais.

O Futuro das Interações com I.A.

Apesar das controvérsias, a popularidade dos companheiros de I.A. continua a crescer. O cofundador da Character.AI, Noam Shazeer, afirmou em um podcast recente que vê potencial nesses chatbots como uma forma de combater a solidão e depressão, especialmente entre os jovens. No entanto, a morte de Sewell expõe o lado sombrio dessa nova fronteira tecnológica, levantando questões sobre onde traçar a linha entre entretenimento e perigo.

O caso de Sewell Setzer III está sendo tratado como um exemplo emblemático dos riscos não regulamentados das tecnologias de I.A., e muitos especialistas esperam que isso traga mudanças urgentes na forma como essas plataformas operam e interagem com seus usuários.