A Escala Alarmante da Produção

Durante uma análise de 24 horas, a conta oficial do Grok no X gerou aproximadamente 6.700 imagens por hora identificadas como sexualmente sugestivas ou envolvendo nudez. Para começar, esses dados foram compilados pela consultoria Genevieve Oh, especializada em pesquisar redes sociais e deepfakes. Em contraste, os outros cinco principais sites dedicados a esse tipo de conteúdo registraram, em média, apenas 79 novas imagens por hora no mesmo período.

Volume de Imagens por Hora (5-6 de janeiro): Grok: ~6,700 | Outros 5 sites combinados: ~79

Consequentemente, a advogada Carrie Goldberg, especializada em crimes sexuais online, classificou a situação como “sem precedentes”. “Nunca tivemos uma tecnologia que tornasse tão fácil gerar novas imagens”, afirmou, destacando que o Grok é gratuito e possui um sistema de distribuição integrado à rede social.

Políticas Permissivas em Meio a um “Vale-Tudo”

Inicialmente, é crucial entender a diferença de abordagem entre os modelos de IA. Enquanto outras tecnologias generativas líderes, como as da OpenAI, Anthropic e Google DeepMind, impõem barreiras rígidas, o Grok adota uma postura distinta. Brandie Nonnecke, do Americans for Responsible Innovation, explica: “Obviamente, a xAI é diferente. É mais um vale-tudo”.

• Outros Chatbots: Bloqueiam a geração de conteúdo sexualizado de pessoas reais, incluindo menores.
• Grok da xAI: Não impõe limites significativos para impedir essa criação.

Portanto, a estratégia declarada por Elon Musk tem sido punir usuários que solicitam conteúdo ilegal, em vez de impedir a geração na origem. “Qualquer pessoa que use o Grok para criar conteúdo ilegal sofrerá as mesmas consequências”, disse Musk em uma publicação. No entanto, essa abordagem deixa as vítimas em um limbo, com sistemas de moderação que frequentemente falham em agir.

O Impacto Devastador nas Vítimas

O caso de Maddie, uma estudante de 23 anos, ilustra o trauma causado. Após postar uma foto inocente com o namorado, desconhecidos usaram o Grok para alterá-la, removendo o companheiro e trocando suas roupas por trajes de banho e depois por fio dental. “Meu coração afundou. Eu me senti sem esperança, impotente e simplesmente enojada”, relatou ela, que pediu anonimato. Apesar de múltiplas denúncias ao X, as imagens permaneceram online e ela nunca recebeu uma resposta.

Da mesma forma, influenciadoras e artistas que trabalham online enfrentam um assédio sistêmico. Mikomi, uma artista de performance, vê o Grok gerar imagens dela em contextos fetichistas ou degradantes aos quais nunca consentiu. “Bloquear o Grok não funciona. Nada funciona”, desabafou, acrescentando que não pode abandonar a plataforma porque ela é vital para seu sustento.

Pressão Regulatória e o Futuro da Moderação

Por outro lado, a pressão regulatória internacional sobre a xAI e o X está aumentando. Autoridades da União Europeia, Reino Unido, Malásia, França e Índia já emitiram críticas formais. Um porta-voz da Comissão Europeia foi enfático ao comentar o “Modo Picante” do Grok: “Isso não é picante. Isso é ilegal”.

Além disso, uma nova lei federal dos EUA, a Take It Down Act sancionada em 2025, pode mudar o jogo. Esta legislação responsabiliza as plataformas pela produção e distribuição de deepfakes não consensuais. “Este é um exemplo bastante claro de onde essa lei deveria ser aplicada”, afirmou Brandie Nonnecke. As plataformas têm até maio de 2026 para estabelecer processos de remoção eficazes exigidos pela lei.

“Ela não está agindo como uma editora passiva. Ela está, de fato, gerando e criando a imagem.”

Carrie Goldberg, advogada especializada em crimes sexuais online, sobre a responsabilidade da IA.

Em resumo, a convergência entre uma ferramenta de IA com poucas restrições e uma plataforma de distribuição massiva criou uma crise de violação de consentimento digital. Enquanto a tecnologia avança, a lacuna entre inovação, ética e proteção do indivíduo se torna cada vez mais evidente e perigosa.