Pornografia deepfake se espalha por escolas da Coreia do Sul e vítimas são jovens estudantes | Tecnologia

“Fiquei petrificado, me senti tão sozinho”, disse Heejin à BBC. Mas ela não estava sozinha.

Dois dias antes, a jornalista sul-coreana Ko Narin publicou o que se tornaria o maior furo de reportagem de sua carreira. Recentemente, descobriu-se que a polícia estava investigando redes de pornografia falsas em duas das melhores universidades do país, e Ko estava convencido de que deveria haver mais.

Ela começou a pesquisar mídias sociais e descobriu dezenas de grupos de bate-papo no aplicativo de mensagens Telegram, onde usuários compartilhavam fotos de mulheres que conheciam e usavam software de inteligência artificial para convertê-las em imagens pornográficas falsas em segundos.

“A cada minuto, as pessoas enviavam fotos de garotas que conheciam e pediam que elas fossem transformadas em deepfakes”, disse Ko à BBC.

Ko descobriu que esses grupos não tinham como alvo apenas estudantes universitárias. Havia salas de bate-papo dedicadas a escolas específicas de ensino médio e até escolas de ensino fundamental.

Se muito conteúdo fosse criado a partir de imagens de um determinado aluno, ela poderia até conseguir seu próprio quarto. Genericamente rotuladas como “salas de humilhação” ou “salas de amigos de amigos”, elas geralmente têm termos de entrada rígidos.

O relatório de Ko, publicado no jornal Hankyoreh, chocou a Coreia do Sul. Na segunda-feira (2/9), a polícia anunciou que estudava abrir uma investigação sobre o Telegram, seguindo o exemplo das autoridades francesas, que recentemente acusaram o fundador do aplicativo de crimes relacionados à plataforma. O governo prometeu impor punições mais severas aos envolvidos e o presidente apelou aos jovens para que tenham mais educação.

O Telegram afirmou, por sua vez, que “combate ativamente conteúdos nocivos na sua plataforma, incluindo pornografia ilegal”, num comunicado enviado à BBC.

‘Um processo sistemático e organizado’

A BBC teve acesso a descrições de várias destas salas de chat. Um deles pede aos integrantes que postem mais de quatro fotos de alguém, além do nome, idade e região em que a pessoa mora.

“Fiquei chocado com o quão sistemático e organizado foi o processo”, disse Ko.

“A coisa mais horrível que descobri foi um grupo para estudantes menores de idade numa escola que tinha mais de 2.000 membros.”

Nos dias seguintes à publicação do relatório de Ko, ativistas dos direitos das mulheres também começaram a vasculhar o Telegram – e a seguir pistas.

No final daquela semana, mais de 500 escolas e universidades tinham sido identificadas como alvos. O número real de pessoas afetadas ainda não foi estabelecido, mas acredita-se que muitas tenham menos de 16 anos, que é a idade de consentimento na Coreia do Sul. Uma grande proporção dos alegados perpetradores são adolescentes.

Heejin disse que saber da escala da crise piorou sua ansiedade, porque ela começou a se preocupar com quantas pessoas poderiam ter visto seus deepfakes. Inicialmente, ela se culpou.

“Não conseguia parar de pensar que isso aconteceu porque postei minhas fotos nas redes sociais: deveria ter tomado mais cuidado?”

Dezenas de mulheres e adolescentes em todo o país removeram as suas fotos das redes sociais ou desativaram completamente as suas contas, temendo que fossem ainda mais exploradas.

“Estamos frustrados e zangados por termos de censurar o nosso comportamento e a utilização das redes sociais quando não fizemos nada de errado”, disse Ah-eun, uma estudante universitária cujos colegas de turma foram alvo.

Ah-eun disse que a polícia disse a uma vítima de sua universidade para não se preocupar em prosseguir com o caso porque seria muito difícil capturar o autor do crime – e que “não foi realmente um crime”, já que “as fotos eram falsas”. “.

No centro deste escândalo está o aplicativo de mensagens Telegram. Ao contrário dos sites públicos, aos quais as autoridades podem acessar facilmente e solicitar a remoção das imagens, o Telegram é um aplicativo de mensagens criptografado e privado.

Na semana passada, os políticos e a polícia responderam vigorosamente, prometendo investigar estes crimes e levar os perpetradores à justiça.

Na segunda-feira (2/9), a Agência Nacional de Polícia de Seul anunciou que iria investigar o Telegram por permitir a distribuição de imagens pornográficas falsas de crianças.

O fundador do aplicativo, Pavel Durov, foi acusado na semana passada na França de ser cúmplice de uma série de crimes relacionados ao aplicativo, incluindo permitir o compartilhamento de pornografia infantil.

Mas os ativistas dos direitos das mulheres acusam as autoridades da Coreia do Sul de permitirem que o abuso sexual no Telegram permanecesse sem controlo durante tanto tempo porque o país já enfrentou esta crise antes. Em 2019, descobriu-se que uma rede sexual criminosa usava o Telegram para coagir mulheres e crianças a criar e compartilhar imagens sexualmente explícitas de si mesmas.

Na época, a polícia pediu ajuda ao Telegram na investigação, mas o aplicativo ignorou todos os sete pedidos. Embora o chefe da rede criminosa tenha sido condenado a mais de 40 anos de prisão, nenhuma ação foi tomada contra a plataforma devido a temores de censura.

“Eles condenaram os protagonistas, mas, por outro lado, negligenciaram o problema e acho que isso piorou a situação”, diz Ko.

Park Jihyun, que revelou o escândalo da Nth Room em 2019 quando era uma jovem estudante de jornalismo, tornou-se uma ativista política que defende vítimas de crimes sexuais digitais. Ela disse que desde que estourou o escândalo do deepfake, alunos e pais ligam para ela chorando várias vezes ao dia.

“Eles viram a escola deles na lista compartilhada nas redes sociais e ficaram apavorados”.

Park liderou apelos para que o governo regulamentasse ou até mesmo proibisse o aplicativo na Coreia do Sul.

“Se estas empresas tecnológicas não vão cooperar com as agências de segurança pública, o Estado precisa de regulamentá-las para proteger os seus cidadãos”, disse ele.

Antes do início da última crise, o Centro de Defesa das Vítimas de Abuso Sexual Online (ACOSAV) da Coreia do Sul já notava um aumento acentuado no número de menores vítimas de pornografia deepfake.

Em 2023, eles aconselharam 86 vítimas adolescentes. Esse número saltou para 238 apenas nos primeiros oito meses deste ano. Só na semana passada, outras 64 vítimas adolescentes se apresentaram.

Uma das líderes do centro, Park Seonghye, disse que na última semana sua equipe recebeu uma enxurrada de ligações – e estava trabalhando 24 horas por dia.

“Foi uma emergência em grande escala para nós, como uma situação de guerra”, disse ele.

“Com a tecnologia deepfake mais avançada, agora há muito mais imagens do que costumavam existir, e estamos preocupados que isso só vá aumentar.”

Além de aconselhar as vítimas, o centro monitora conteúdos nocivos e trabalha com plataformas digitais para removê-los. Park disse que houve alguns casos em que o Telegram removeu conteúdo a seu pedido.

“Portanto, não é impossível”, observou ele.

Em comunicado, o Telegram disse à BBC que seus moderadores “monitoram proativamente as partes públicas do aplicativo, usam ferramentas de IA e aceitam relatórios de usuários para remover milhões de conteúdos todos os dias que violam os termos de uso do Telegram”.

Embora as organizações de direitos das mulheres admitam que a inteligência artificial está a facilitar a exploração das vítimas, argumentam que esta é apenas a mais recente forma de misoginia online a manifestar-se na Coreia do Sul.

Primeiro, as mulheres foram submetidas a ondas de abuso verbal na Internet. Depois veio a epidemia de câmeras escondidas, em que eles foram filmados sem saber em banheiros públicos e vestiários.

“A causa raiz disto é o sexismo estrutural, e a solução é a igualdade de género”, afirma uma declaração assinada por 84 grupos de mulheres.

Esta é uma crítica direta ao presidente do país, Yoon Suk Yeol, que negou a existência de sexismo estrutural, cortou o financiamento para grupos de apoio às vítimas e está a abolir o Ministério da Igualdade de Género do governo.

Lee Myung-hwa, que trata de jovens criminosos sexuais, concorda que, embora o surto de abusos deepfake possa parecer repentino, já demorou muito para acontecer.

“Para os adolescentes, os deepfakes se tornaram parte de sua cultura, são vistos como um jogo ou uma brincadeira”, disse a terapeuta, que dirige o Centro Cultural Juvenil Aha Seul.

Lee acrescentou que era fundamental educar os jovens, citando pesquisas que mostram que quando os infratores são informados exatamente sobre o que fizeram de errado, eles ficam mais conscientes do que é considerado abuso sexual, o que os impede de reincidir.

Enquanto isso, o governo disse que aumentará as penas para quem criar e compartilhar imagens deepfake – e também punirá quem visualizar pornografia.

O anúncio foi feito após críticas de que não havia perpetradores suficientes sendo punidos. Um dos problemas é que a maioria dos suspeitos são adolescentes, que normalmente são julgados pelo Juizado Especial de Menores, onde recebem penas mais brandas.

Desde que as salas de chat foram expostas, muitas foram fechadas, mas novas certamente tomarão o seu lugar. Já foi criada uma sala de humilhação para atingir os jornalistas que cobrem este caso. Ko, que deu a notícia, diz que isso o mantém acordado à noite.

“Fico verificando a sala para ver se minha foto foi enviada”, revela.

Esta ansiedade é sentida por quase todas as adolescentes e mulheres jovens na Coreia do Sul. Ah-eun, a estudante universitária, disse que isso a fez suspeitar de conhecidos homens.

“Agora não posso ter certeza de que as pessoas não cometerão esses crimes pelas minhas costas sem que eu saiba”, disse ele.

“Tornei-me hipervigilante em todas as minhas interações com as pessoas, o que não pode ser bom.”

*Reportagem adicional de Hosu Lee e Suhnwook Lee.