A crise envolvendo o Grok, ferramenta de inteligência artificial integrada ao X (antigo Twitter), trouxe o debate regulatório a um novo patamar. Após a liberação, em dezembro de 2025, da funcionalidade que permite criar imagens de pessoas reais, a tecnologia passou a ser amplamente utilizada para gerar conteúdos sexualizados - inclusive envolvendo crianças e adolescentes -, expondo falhas de governança e reacendendo a discussão sobre a responsabilização dessas plataformas.
O episódio se insere em um contexto mais amplo. Nos últimos anos, a regulação das redes sociais e a segurança digital passaram ao centro da agenda pública, impulsionadas pelo impacto dessas plataformas na vida social e política. Em resposta, diversos países adotaram marcos com foco especial na proteção de menores, como o Online Safety Act (Austrália), o Age Appropriate Design Code (Reino Unido) e o Digital Services Act (União Europeia). No Brasil, a tendência se consolidou com o Estatuto da Criança e do Adolescente Digital (ECA Digital), que entrará em vigor no dia 17 de março de 2026.
O Grok não é a primeira tecnologia a permitir a geração de imagens assim - um estudo conduzido pelo Tech Transparency Project identificou pelo menos 102 aplicativos disponíveis na Google Play Store e Apple App Store capazes de remover digitalmente roupas de mulheres ou deixá-las apenas de roupas íntimas. Contudo, ao ser integrado a uma das maiores redes sociais do mundo, com centenas de milhões de usuários, a ferramenta expandiu significativamente o alcance, a velocidade de disseminação e o dano potencial de tais conteúdos, em uma escala nunca vista.
De acordo com pesquisa do CCDH - Center for Countering Digital Hate, estima-se que o Grok tenha gerado cerca de três milhões de imagens sexualizadas em seus primeiros 11 dias de operação, incluindo aproximadamente 23 mil imagens que parecem retratar crianças. Acredita-se que essas imagens representam cerca de 65% de todo o conteúdo produzido pela IA durante esse período.
A reação de vários países e organizações internacionais foi imediata. Malásia e Indonésia proibiram o funcionamento do Grok em seus territórios. A União Europeia anunciou a abertura de uma investigação formal contra a plataforma X para determinar se ela cumpriu as obrigações estabelecidas na DSA. Reino Unido e França também lançaram seus próprios inquéritos sobre o X.
No Brasil, a ANPD - Autoridade Nacional de Proteção de Dados, o MPF - Ministério Público Federal e a Senacon - Secretaria Nacional do Consumidor emitiram conjuntamente recomendações que previam, entre outros pontos, (i) a criação de procedimentos claros e eficazes para identificar e remover conteúdos já produzidos e ainda disponíveis na plataforma X; e (ii) a suspensão imediata de contas envolvidas na geração dessas imagens.
Em resposta, o X anunciou em 9 de janeiro que a funcionalidade seria restrita apenas a assinantes. A ANPD, o MPF e a Senacon concluíram que as respostas fornecidas foram insuficientes e decidiram adotar uma postura mais rigorosa: emitiram uma ordem administrativa exigindo que o Grupo X implemente imediatamente medidas para impedir que o Grok gere conteúdos retratando pessoas em contextos sexualizados - medidas que devem ser aplicadas a todas as versões, planos e modalidades do Grok. Além disso, o X fica obrigado a apresentar um relatório detalhado das etapas seguidas, incluindo evidências documentais que comprovem sua eficácia.
Safety By Design: quando a prevenção começa no desenho do produto
O caso Grok levanta uma questão importante: apesar de diversos países terem desenvolvido novos marcos regulatórios digitais, vários deles - incluindo o Brasil - já possuíam instrumentos jurídicos capazes de lidar com tais condutas ilícitas, mesmo quando cometidas online. Entretanto, mesmo com um grande número de leis antigas e novas tratando dessas práticas, elas continuam a crescer no ambiente digital.
Essa realidade expõe as limitações de um modelo regulatório focado predominantemente em oferecer remédios apenas após a ocorrência do dano. Em casos envolvendo a criação e circulação de imagens sexualizadas, a remoção posterior ou a responsabilização subsequente, por si sós, raramente são capazes de reverter os efeitos nocivos. Uma vez que o dano à dignidade, privacidade e integridade da vítima ocorreu, ele tende a perdurar.
É nesse cenário que a relevância de medidas associadas ao campo de T&S - Trust and Safety torna-se cada vez mais evidente. Em vez de tratar a segurança como uma preocupação secundária ou como uma resposta de emergência a crises, essa abordagem reconhece que certos riscos são previsíveis e, por isso, devem ser considerados desde as etapas iniciais de design e desenvolvimento do produto.
A partir da lógica de Trust and Safety, as plataformas assumem um papel ativo na identificação, avaliação e mitigação de danos potenciais decorrentes do uso de suas tecnologias. É precisamente por isso que as equipes de T&S tornaram-se departamentos cada vez mais centrais, com equipes trabalhando ao lado de desenvolvedores de produtos e engenheiros para entender como novos produtos e tecnologias podem ser usados indevidamente.
Nessa linha, o Safety by Design nasce então como uma extensão natural das práticas de Trust and Safety. Enquanto profissionais de T&S estruturam políticas, processos e respostas institucionais para lidar com riscos, o Safety by Design traz essa preocupação para um estágio anterior: o design das próprias funcionalidades do produto.
Assim, as empresas de tecnologia começam a examinar suas escolhas mais de perto durante as fases iniciais de desenvolvimento. A pergunta não é mais apenas “o que esta funcionalidade permite aos usuários fazer?”, mas também “quem poderia ser afetado?”, “como ela poderia ser mal utilizada?” e “que tipos de salvaguardas fazem sentido antes do lançamento?”.
No caso do Grok, por exemplo, a capacidade de gerar imagens realistas baseadas em pessoas reais tornava o risco de produzir conteúdo sexualizado não autorizado inteiramente previsível. A ausência de salvaguardas mais robustas desde o início expôs precisamente o tipo de lacuna que o Safety by Design busca preencher.
O objetivo do Safety by Design não é eliminar todo dano potencial ao usuário final, mas sim: (i) construir sistemas que promovam a segurança e o bem-estar; (ii) reduzir e prevenir danos, inclusive criando mecanismos que ajudem os usuários a identificar situações de risco e exercer controles eficazes para evitá-las; e (iii) remediar danos garantindo mecanismos apropriados de resposta e reparação quando eles ocorrerem.
Além disso, é importante entender que o Safety by Design não é uma forma de autorregulação e nem pretende substituir a regulação estatal - ele nada mais é do que uma abordagem complementar. E, para isso, exige uma ação integrada entre advogados, engenheiros, designers, pesquisadores e lideranças executivas.
O episódio envolvendo o Grok evidencia que quando as decisões são movidas apenas por critérios como velocidade de lançamento ou métricas de engajamento, a atenção aos riscos é frequentemente deixada de lado. Priorizar a inovação rápida gerou custos reputacionais, pressão regulatória e impactos sociais significativos - efeitos que poderiam ter sido mitigados com uma abordagem mais cautelosa desde o início.
Em um contexto de crescente escrutínio regulatório sobre o papel desempenhado pelas empresas de tecnologia, o caso Grok reforça uma lição que não pode ser ignorada: além de incorporar a segurança como um elemento estrutural no design das tecnologias, a lógica da segurança no desenho dos produtos agrega benefícios não apenas para a proteção do usuário, mas fortalece a confiança na plataforma, preserva sua reputação e facilita a sua conformidade com marcos regulatórios cada vez mais exigentes.