Em 2023, dois advogados norte-americanos protocolaram uma peça processual com citações de precedentes. Todas fictícias. O ChatGPT os havia inventado, com dados muito plausíveis, mas completamente inexistentes. Quando o juiz pediu esclarecimentos, os advogados consultaram o próprio ChatGPT para verificar se os casos eram reais. O modelo respondeu que sim, mantendo o erro.

O Juiz Kevin Castel sancionou os dois com base na Rule 11, que prevê, basicamente, a responsabilidade das partes e advogados pelas informações e fundamentos que usam no processo judicial¹. O caso tornou-se referência obrigatória sobre o que não fazer com inteligência artificial generativa na prática jurídica.

Além do que aconteceu no caso Mata v. Avianca, a justiça norte-americana acumula precedentes que iluminam os riscos do uso algorítmico pelo próprio Estado e que deveriam funcionar como alerta preventivo para a Advocacia Pública brasileira.

Um deles é Houston Federation of Teachers v. Houston ISD (Texas, 2017).² Nesse caso, professores foram demitidos com base em um sistema estatístico, cujo código era segredo industrial do fornecedor. O tribunal foi direto: sem acesso ao algoritmo, não há contraditório, e sem contraditório, não há devido processo. O caso acabou com um acordo que permitiu o uso da ferramenta apenas como auxílio nas decisões e com a oportunidade dos professores questionarem dados e resultados.

Outro caso é K.W. v. Armstrong (9º Circuito, 2015-2023).³ Nesse processo, um algoritmo do Medicaid cortou até 30% dos benefícios de pessoas com deficiência. Com isso, a ACLU obteve uma liminar que suspendeu os cortes e obrigou o Estado a tornar públicas as fórmulas do Medicaid para que todos os residentes de Idaho pudessem analisá-las.

Com a análise dos dados, o tribunal declarou inválida a fórmula utilizada pelo Departamento e determinou que o Estado elaborasse planos abrangentes para adequar o sistema aos requisitos constitucionais. Com o plano, o tribunal aprovou um acordo coletivo, exigindo que o Departamento de Saúde e Bem-Estar desenvolvesse um novo sistema, com participação e supervisão da ACLU de Idaho, dos beneficiários e de suas famílias em todo o estado.

Embora os casos envolvam contextos distintos, advocacia privada, educação pública e assistência social, todos revelam um elemento comum: o dano à confiança institucional. Quando decisões, manifestações ou políticas públicas passam a ser associadas a erros produzidos ou potencializados por sistemas algorítmicos sem supervisão adequada, não é apenas o resultado concreto que é questionado. Também se deterioram a credibilidade da instituição, a percepção de legitimidade de suas decisões e o respeito social necessário ao exercício de suas funções.

No setor público, esse impacto é ainda mais grave, porque a confiança da sociedade constitui um ativo indispensável para a própria efetividade da atuação estatal. A perda dessa confiança pode comprometer a adesão às políticas públicas, ampliar a litigiosidade e enfraquecer a legitimidade das decisões administrativas.

Para evitar que o uso indevido de ferramentas de inteligência artificial cause danos amplos e generalizados, o Brasil, assim como outros países, tenta equilibrar a regulação das tecnologias com o avanço da digitalização, acesso aos serviços e estímulo ao desenvolvimento de soluções tecnológicas que reduzam os custos do Estado.

Nesse sentido, o art. 20 da LGPD garantiu ao cidadão, desde 2018, o direito de questionar decisões tomadas “unicamente com base em tratamento automatizado de dados pessoais”.⁴ O § 2º do mesmo artigo conferiu à ANPD poderes de fiscalização para verificar eventual discriminação em tratamento automatizado.

Além disso, o PL 2.338/23 está avançando no Congresso⁵ com uma abordagem baseada em risco, ou seja, para os sistemas de "alto impacto", que ficariam sujeitos a avaliações obrigatórias de impacto algorítmico e ao direito à explicação. O que, por si só, poderia ser objeto de muitos artigos, mas que aqui destaco apenas como iniciativa de regulação legal.

A experiência comparada demonstra que a inovação tecnológica e a proteção de direitos não são objetivos incompatíveis. Em verdade, a inteligência artificial tem potencial real de transformar a realidade digital do Brasil, trazer soluções mais eficazes e resolver problemas repetitivos que atingem milhares de pessoas ao mesmo tempo. Contudo, a transformação responsável tem um custo de entrada que não pode ser ignorado: governança, treinamento e revisão humana. Esses três elementos não são obstáculos à inovação, mas tornam a inovação juridicamente sustentável.

Em última análise, a governança da inteligência artificial não deve ser vista como um entrave à inovação, mas como uma estratégia de proteção institucional. Cabe às organizações públicas estabelecer diretrizes, normas internas, guias de utilização e mecanismos de supervisão capazes de orientar o uso adequado dessas ferramentas. Quanto mais relevante for a função exercida pela instituição, maior será o impacto de eventuais falhas associadas ao uso inadequado da tecnologia.

Por tudo isso, investir em governança não significa desconfiar da inovação. Significa assegurar que o uso da inteligência artificial ocorra de forma compatível com os deveres de legalidade, transparência e accountability que regem a atuação estatal. Em outras palavras, é evitar que erros previsíveis comprometam a credibilidade, a legitimidade e a confiança pública construídas ao longo de anos.

_____