Arquitetura algorítmica e responsabilidade civil: O caso Grok

Em janeiro de 2026, a Agência Nacional de Proteção de Dados instaurou processo de fiscalização para apurar possíveis violações à LGPD - Lei Geral de Proteção de Dados relacionadas ao sistema de inteligência artificial generativa Grok, integrado à plataforma X. A investigação decorreu de  denúncias sobre a possibilidade da ferramenta manipular imagens reais para gerar  conteúdos sintéticos sexualizados, inclusive envolvendo crianças e adolescentes, sem salvaguardas técnicas eficazes.

A nota técnica 1/26 destacou que a funcionalidade criava risco estrutural e previsível, especialmente em ambiente digital marcado por práticas reiteradas de violência sexual e exploração de vulneráveis.

O episódio desloca o debate de conduta individual do usuário para a responsabilidade decorrente do design e da governança do sistema. Afinal, quando a estrutura de um modelo permite a produção reiterada de resultados ilícitos, quem deve responder civilmente pelos danos?

A definição normativa de inteligência artificial e seus efeitos jurídicos

O PL 2.338/23, em tramitação na Câmara dos Deputados, define sistema de inteligência artificial como modelo baseado em máquina capaz de inferir, a partir de dados recebidos, resultados como previsões, recomendações ou decisões que influenciem o ambiente virtual ou real. O texto também conceitua IA generativa como aquela destinada a gerar ou modificar significativamente conteúdos como texto, imagem, áudio, vídeo ou código.

Essa definição não é juridicamente neutra. Ao reconhecer que o sistema opera a partir de dados fornecidos, o legislador admite que a IA não possui personalidade ou animus próprio, atuando sempre a partir de parâmetros definidos por terceiros.

A própria ANPD, ao analisar o caso Grok, afirmou que conteúdos sintéticos gerados por sistemas de inteligência artificial relacionados a pessoas identificadas ou identificáveis configuram tratamento de dados pessoais, podendo inclusive envolver dados sensíveis quando presentes elementos biométricos.

A geração de deepfakes, portanto, não constitui fenômeno neutro, mas atividade sujeita integralmente aos princípios da LGPD, especialmente os da finalidade, necessidade, prevenção e responsabilização.

Responsabilidade civil subjetiva e objetiva no CC

O CC brasileiro adota, como regra, a responsabilidade subjetiva. Nos termos do art. 186, comete ato ilícito aquele que, por ação ou omissão voluntária, negligência ou imprudência, viola direito e causa dano a outrem, exigindo-se a comprovação da conduta, do dano, do nexo causal e da culpa ou dolo.

Paralelamente, o ordenamento admite responsabilidade objetiva quando a atividade normalmente desenvolvida implicar risco para terceiros, conforme o art. 927, parágrafo único. A jurisprudência do STJ é consolidada no sentido de que, nesses casos, a culpa torna-se irrelevante, bastando a demonstração do dano e do nexo causal.

No contexto das IAs generativas, essa distinção ganha complexidade. Nem sempre é possível identificar se o dano decorre de conduta humana diretamente imputável ou de risco inerente ao funcionamento do sistema. A escalabilidade dos modelos algorítmicos potencializa essa tensão, pois falhas podem ser replicadas de forma massiva, atingindo grande número de titulares em curto espaço de tempo.

De acordo com a IBM, no Cost of a Data Breach Report 2025, incidentes de segurança que envolvem aplicações ou modelos de IA tendem a gerar impactos ampliados, especialmente quando associados a práticas como o uso de shadow AI, ferramentas de IA utilizadas sem aprovação ou supervisão institucional, as quais acrescentaram, em média, US$ 670 mil ao custo total dos incidentes analisados. Essa escalabilidade reforça a adequação da responsabilidade objetiva nos casos em que a atividade tecnológica, por sua natureza, impõe riscos relevantes a terceiros.

Há situações em que a imputação de responsabilidade ao usuário final é inequívoca. O uso deliberado de ferramentas de IA generativa para criar imagens sexualizadas ou deepfakes de terceiros, com finalidade ofensiva ou ilícita, constitui típica responsabilidade subjetiva, pois o sistema atua como instrumento de execução de vontade direcionada ao dano, sendo plenamente aplicáveis às categorias tradicionais de dolo ou culpa consciente.

Contudo, mesmo nesses casos, a análise não se esgota na conduta individual. Como evidenciado no caso Grok, a materialização do resultado lesivo depende do tratamento de dados e das funcionalidades incorporadas à arquitetura da plataforma. A iniciativa pode ser do usuário, mas o risco é potencializado pela estrutura tecnológica disponibilizada.

A responsabilidade do usuário não exclui, por si só, a avaliação do dever de cuidado do fornecedor. A tecnologia não opera como meio neutro, mas como estrutura organizada que condiciona, potencializa e amplia o risco do dano.

O desenvolvedor e o risco da atividade tecnológica

Ainda que o comando seja inserido pelo usuário, o resultado somente se viabiliza em razão do tratamento de dados pessoais e das funcionalidades incorporadas ao modelo. Nessa perspectiva, a insuficiência de salvaguardas técnicas e administrativas, pode configurar falha estrutural de governança.

Sob a ótica do direito brasileiro, a resposta passa necessariamente pela teoria do risco da atividade, advinda do Código do Consumidor. A jurisprudência pátria é firme ao reconhecer que os fornecedores devem ser responsáveis pelos danos resultantes dos defeitos de seus produtos e serviços,não se restringindo a falhas de funcionamento, mas também a ausência de mecanismos capazes de prevenir riscos previsíveis e evitáveis

No caso Grok, a autoridade reguladora afastou a caracterização da plataforma como agente neutro ou meramente passivo, destacando que a funcionalidade de manipulação de imagens integra deliberadamente a infraestrutura tecnológica do serviço.

Assim, a disponibilização de sistemas de IA sem salvaguardas proporcionais ao risco pode caracterizar defeito de concepção, entendido como inadequação do produto aos padrões mínimos de segurança. O desenvolvedor não responde por todo uso indevido, mas pode ser responsabilizado quando deixa de adotar medidas razoáveis para mitigar riscos inerentes à própria arquitetura do sistema.

Dados empíricos reforçam essa leitura. A IBM indica que organizações sem governança estruturada para IA enfrentam custos significativamente superiores em incidentes, especialmente em ambientes com uso intensivo de soluções terceirizadas. A ausência de governança, assim, deixa de ser elemento neutro e passa a integrar a avaliação do defeito sob dimensão técnica e organizacional.

Governança, transparência e dever de prevenção

A governança algorítmica não constitui apenas um compromisso ético ou reputacional, mas verdadeiro dever jurídico de prevenção. A ausência de mecanismos adequados de mitigação de riscos pode caracterizar negligência estrutural, especialmente quando os danos são recorrentes e previsíveis.

A nota técnica 1/26 indica que a ineficácia das medidas de mitigação não configura evento isolado, mas pode revelar fragilidade sistêmica na arquitetura de prevenção de riscos do modelo. A constatação de que titulares, inclusive não usuários da plataforma, estavam expostos a riscos reiterados evidencia que a governança em inteligência artificial não se limita à previsão contratual de proibições, exigindo implementação concreta de controles técnicos, avaliação prévia de riscos e monitoramento contínuo.

A governança em inteligência artificial também se revela um elemento central para a construção de confiança e legitimidade institucional. O Cisco 2026 Data and Privacy Benchmark Study indica que 90% das organizações ampliaram o escopo de seus programas de privacidade em razão do uso de IA, e 93% planejam aumentar investimentos em privacidade e governança de dados nos próximos dois anos.

O mesmo estudo aponta que apenas 12% das organizações consideram seus comitês de governança de IA maduros e proativos, evidenciando um descompasso relevante entre adoção tecnológica e capacidade de controle. Essa lacuna reforça o entendimento de que a ausência de governança adequada pode caracterizar falha no dever de prevenção, sobretudo em ambientes regulados ou de alto risco.

A experiência prática no assessoramento jurídico de organizações que utilizam inteligência artificial evidencia que a responsabilização civil não pode ser analisada de forma dissociada da maturidade dos modelos de governança adotados. Avaliações de impacto algorítmico, políticas de uso responsável, mecanismos de supervisão humana, auditorias periódicas e estruturas claras de accountability passaram a funcionar como elementos centrais para a mitigação de riscos jurídicos e regulatórios.

Nesse cenário, a governança de inteligência artificial assume papel estratégico, não apenas como instrumento de conformidade normativa, mas como fator determinante para a redução de riscos, a preservação da confiança e a sustentabilidade do uso da tecnologia.

O caso Grok demonstra que o direito brasileiro dispõe de fundamentos sólidos para enfrentar os desafios impostos pelas IAs generativas. A  responsabilidade civil no contexto de inteligências artificiais generativas não pode ser analisada apenas sob a ótica da conduta individual do usuário. A arquitetura do sistema, as escolhas de design, os mecanismos de mitigação e a maturidade da governança passam a integrar o próprio juízo de imputação jurídica. A tecnologia, embora funcionalmente autônoma, permanece juridicamente vinculada às estruturas que a concebem, desenvolvem e exploram economicamente.