O mercado de venda de conteúdo sensual em packs, que vem crescendo na internet há alguns anos, está sendo redefinido pelo progresso avassalador de ferramentas como o Stable Diffusion. Relatos de conteúdo erótico vendido em fóruns como o Reddit têm aumentado, gerados por essas ferramentas capazes de produzir quase qualquer tipo de imagem por meio de comandos em texto.

Um caso recente que chamou atenção foi o de um perfil no Reddit chamado Claudia, que anunciava a venda de nudes. As imagens, na verdade, foram geradas pelo Stable Diffusion e editadas com softwares para ficarem ainda mais realistas, enganando muitas pessoas. Os responsáveis pela criação desse perfil foram dois estudantes de ciência da computação, que iniciaram o projeto como um teste e acabaram faturando cerca de US$ 100 com a venda das imagens.

O campo do Deepfake irá progredir consideravelmente nos próximos anos com o auxílio da inteligência artificial, impulsionado pelas grandes empresas de tecnologia que desejam protagonismo nesse mercado. Segundo pesquisas, entre 13% e 20% das buscas na internet são relacionadas à pornografia, e com o avanço das ferramentas de IA, a tendência é que haja uma mistura de conteúdo protagonizado por humanos e imagens e vídeos gerados completamente por IA.

A Stability AI, start-up responsável pelo Stable Diffusion, proíbe o uso da ferramenta para a criação de imagens obscenas, pornográficas, violentas, entre outros temas em seus termos de uso. No entanto, como a ferramenta também pode ser instalada localmente, o controle pode ser perdido. Outra ferramenta, o Midjourney, que se destaca pela qualidade das imagens geradas, interrompeu o modo gratuito para tentar coibir a propagação de imagens falsas envolvendo personalidades e chefes de estado.