O Aqualtune Lab assinou, na primeira semana de fevereiro, uma carta que exige a regulação urgente de ferramentas de inteligência artificial generativa. A iniciativa, organizada pela Coalizão Direitos na Rede,  sucedeu o caso de geração em massa de deepnudes pelo Grok, sistema desenvolvido pela empresa xAI e integrado à plataforma X. Inegavelmente, o episódio expôs falhas graves de segurança e governança que permitiram a criação de conteúdos sexualizados não consensuais, incluindo imagens envolvendo crianças e adolescentes.

A carta reforça que deixar a inteligência artificial operar sem regras claras significa contribuir diretamente para a ampliação de danos sociais. Especialmente quando o alvo são mulheres, crianças e outros grupos historicamente vulnerabilizados. O caso Grok, então, tornou visível um problema estrutural. Sistemas de IA são lançados ao público sem avaliação de riscos, salvaguardas adequadas ou mecanismos de responsabilização, ampliando práticas de violência digital em escala global.

Deepnudes, violência de gênero e exploração sexual infantil na era da IA

Nos primeiros dias de 2026, usuários do X passaram a utilizar o Grok para gerar imagens sexualizadas de mulheres a partir de fotos comuns publicadas nas redes sociais. Bastava mencionar a ferramenta em uma postagem e solicitar a alteração visual, como, por exemplo, “colocar um biquíni”, “remover roupas” ou “mudar a pose”. A inteligência artificial gerava a imagem e a publicava automaticamente, sem consentimento da pessoa retratada.

De acordo com uma pesquisa do Center for Countering Digital Hate (CCDH), em apenas 11 dias do mês de janeiro, a IA de Musk havia gerado 3 milhões de imagens sexualizadas, sendo 23 mil delas de crianças.

A geração de imagens íntimas sem consentimento é reconhecida como uma forma de violência sexual digital, capaz de provocar danos psicológicos, sociais e profissionais, além de alimentar práticas de sextorsão e chantagem.

Leia mais: A ameaça dos vazamentos de dados aos direitos individuais

No caso de crianças e adolescentes, o impacto é ainda mais grave. A Constituição brasileira e o Estatuto da Criança e do Adolescente (ECA) estabelecem a doutrina da proteção integral, impondo ao Estado, às empresas e à sociedade o dever de prevenir riscos e impedir a exposição a formas de violência sexual e exploração. A criação, bem como a manipulação e a disseminação de mídia sintética envolvendo menores de idade configura crime. Além disso, viola direitos fundamentais à dignidade, à imagem, à privacidade e ao desenvolvimento psicossocial.

Inteligência artificial não opera no vácuo: regulação, decisões políticas e modelos de negócio

O caso Grok também revela que sistemas de inteligência artificial não são neutros ou inevitáveis. O Grok foi projetado com menos filtros e salvaguardas, sob a premissa de ser uma IA “rebelde”, que responderia a comandos recusados por outros sistemas. Integrado diretamente à dinâmica da plataforma X, o sistema operou em um ambiente com moderação reduzida e incentivos econômicos baseados em engajamento e viralização.

Esse contexto demonstra que escolhas técnicas, políticas e comerciais moldam o comportamento da tecnologia. Quando a prioridade é manter usuários engajados, mesmo à custa de danos sociais, a violência digital se torna um subproduto previsível do modelo de negócio. A narrativa de que a inteligência artificial seria “imparcial” ou “acima do bem e do mal” oculta essas decisões humanas e contribui para a desresponsabilização das empresas.

Big techs, poder transnacional e os limites da regulação

A dificuldade de regular ferramentas de inteligência artificial generativa está profundamente ligada ao poder econômico e político das big techs.

Empresas sediadas nos Estados Unidos operam globalmente, com modelos de negócio transnacionais, enquanto os marcos regulatórios permanecem fragmentados entre países. Esse descompasso permite que plataformas testem limites legais, atrasem medidas de proteção e negociem regulações em arenas políticas assimétricas.

O caso Grok provocou reações regulatórias em diversos países, incluindo investigações na União Europeia, Reino Unido, Índia, Austrália e Estados Unidos, além de restrições de acesso em países como Malásia e Indonésia. Esse movimento evidencia uma tendência global de maior escrutínio sobre sistemas de IA generativa, mas também expõe a ausência de uma governança internacional coordenada capaz de responsabilizar empresas por violações de direitos humanos em larga escala.

Leia mais: Brasileiros defendem regulação de tecnologias de vigilância, aponta pesquisa do Aqualtune Lab

No Brasil, o desafio é ainda mais complexo. Embora existam leis como o Marco Civil da Internet, a Lei Geral de Proteção de Dados (LGPD) e o Estatuto da Criança e do Adolescente, ainda falta um marco legal específico que atribua deveres de mitigação e responsabilização a desenvolvedores e provedores de sistemas de inteligência artificial. Sem regras claras, os danos recaem principalmente sobre as vítimas e usuários finais.

PL 2338/2023 e a necessidade de um marco legal protetivo

A Coalizão Direitos na Rede defende o avanço do Projeto de Lei 2338/2023, que institui o marco legal da inteligência artificial no Brasil. A proposta prevê mecanismos fundamentais para prevenir danos como os observados no caso Grok, incluindo avaliações e classificações de risco, análises de impacto algorítmico sobre direitos humanos e obrigações de transparência.

Entre as medidas propostas estão:

• a obrigatoriedade de avaliações preliminares de risco para sistemas de IA que utilizam ou impactam dados pessoais;
• a realização de avaliações de impacto algorítmico para sistemas de alto risco;
• a inclusão de ferramentas de curadoria e recomendação de conteúdo no rol de sistemas de alto risco. 

O texto também propõe a classificação da geração de imagens sintéticas envolvendo crianças e adolescentes como hipótese de risco excessivo, com proibição expressa e absoluta dessas funcionalidades.

Transparência, governança e participação social na IA

Outro eixo central defendido na carta é a transparência e a prestação de contas por parte de sistemas de inteligência artificial. Plataformas devem informar riscos, limitações, usos indevidos identificados e medidas de mitigação, além de identificar conteúdos sintéticos gerados ou manipulados por IA, como deepfakes. Também é fundamental que usuários sejam informados quando interagem com sistemas automatizados, como chatbots, e que haja mecanismos reforçados de transparência para tecnologias que impactam crianças e adolescentes.

A governança da inteligência artificial não pode ser restrita a especialistas técnicos ou interesses corporativos.

Por isso, a Coalizão propõe a criação de uma rede supervisora de IA com participação social significativa e articulação entre autoridades de proteção de dados, sistema de justiça, conselhos de direitos e órgãos de proteção à infância. A inclusão de pesquisadoras e pesquisadores especializados em discriminação de gênero e direitos de crianças e adolescentes em comitês científicos também considera-se essencial.

A falsa neutralidade da tecnologia e a urgência da responsabilização

A persistente crença de que a inteligência artificial seria neutra, objetiva ou tecnicamente inevitável dificulta o avanço da regulação. Essa narrativa contribui para a ideia de que danos são “falhas técnicas” inevitáveis, e não resultados de decisões humanas. Ao naturalizar a tecnologia como uma força autônoma, esvazia-se o debate sobre responsabilidade jurídica, ética e política.

O caso Grok demonstra que sistemas de IA podem amplificar violências já existentes, tornando-as mais rápidas, baratas e difíceis de rastrear. A responsabilização deve alcançar não apenas usuários que geram conteúdo abusivo, mas também empresas que projetam, treinam e lucram com essas ferramentas sem salvaguardas adequadas.

Regulação da IA como condição para a proteção de direitos

A assinatura da carta pelo Aqualtune Lab reflete o compromisso do instituto com uma regulação de inteligência artificial centrada em direitos humanos, proteção de grupos vulneráveis e participação democrática. A inovação tecnológica não pode avançar à custa da dignidade, da privacidade e da segurança de mulheres, crianças e adolescentes.

Permitir que ferramentas de IA operem sem regras claras significa legitimar um cenário de violência digital em escala inédita. A regulação não representa censura ou freio ao desenvolvimento tecnológico. Define, contudo, uma condição mínima para que a inteligência artificial seja desenvolvida e implementada de forma ética, segura e alinhada aos valores democráticos.

O caso Grok é um alerta global. O Brasil tem a oportunidade de construir um marco legal robusto e protetivo, capaz de enfrentar os desafios da inteligência artificial generativa e garantir que a tecnologia sirva ao interesse público, e não à ampliação de desigualdades e violências.