Quem vigia o algoritmo?

Há uma pergunta antiga que voltou a ser urgente: quem vigia o vigia? Quis custodiet ipsos custodes?

A expressão, tradicionalmente associada ao controle do poder, ganha novo sentido na era da IA. Se antes a preocupação era saber quem fiscalizava os fiscalizadores humanos, agora precisamos perguntar quem controla os sistemas que passaram a orientar, classificar, ranquear, sugerir, auditar e influenciar decisões relevantes da vida pública e privada.

A inteligência artificial já não está restrita aos laboratórios, às empresas de tecnologia ou aos debates futuristas. Ela está nos escritórios de advocacia, nos departamentos jurídicos, nos tribunais, nas instituições financeiras, nos hospitais, nas seguradoras, nas plataformas digitais, nos processos seletivos, nos sistemas de crédito, na administração pública e nas relações de consumo.

A pergunta, portanto, deixou de ser se usaremos IA. A pergunta real é outra: como estamos usando, quem responde por esse uso e quais mecanismos existem para impedir que a eficiência tecnológica produza irresponsabilidade institucional?

A tecnologia costuma entrar nas organizações pela porta da produtividade. Primeiro, resume documentos. Depois, revisa contratos. Em seguida, sugere cláusulas, organiza provas, aponta riscos, elabora relatórios, orienta fluxos internos e, em alguns casos, passa a influenciar decisões sensíveis.

O problema não está no uso da inteligência artificial. O problema está na delegação sem governança.

Quando uma organização adota IA sem inventário, sem política de uso, sem classificação de riscos, sem supervisão humana qualificada, sem critérios de validação, sem registro das decisões e sem mecanismos de auditoria, ela não está inovando com segurança. Está apenas transferindo parte de sua responsabilidade para uma ferramenta que não responde juridicamente por seus próprios efeitos.

Essa transferência é especialmente delicada no campo jurídico. A advocacia, o Poder Judiciário e os setores de compliance lidam com direitos, patrimônio, reputação, liberdade, dados pessoais, assimetrias de poder e acesso à Justiça. Nesses ambientes, a IA não pode ser tratada como simples atalho operacional. Ela precisa ser compreendida como tecnologia de impacto.

Outro ponto importante de reflexão é que governança e compliance são frequentemente utilizados como expressões equivalentes, mas não são. O compliance regulatório está relacionado ao cumprimento de leis, normas, regulamentos, padrões técnicos e obrigações contratuais. Ele responde à pergunta: estamos cumprindo aquilo que nos é exigido?

No que é pertinente à governança de IA trata-se de um instituto mais amplo. Envolve estruturas, políticas, responsabilidades, critérios de decisão, gestão de riscos, supervisão, documentação, monitoramento, prestação de contas e controle ao longo de todo o ciclo de vida do sistema. Ela responde a uma pergunta anterior e mais profunda: estamos controlando a IA de forma compatível com nossos valores, nossos riscos e nossos deveres institucionais?

Quanto aos valores cabe a lembrança da orientação de Cíntia Rosa Pereira de Lima e Kelvin Peroli1 quando afirmaram que "a implementação de valores e princípios humanos em tecnologias é uma questão de necessidade e de adequação: cada aplicação possui especificidades que requerem o input de distintas reflexões, visões e valores humanos – para as tomadas de decisão e funcionamento efetivo de seus sistemas tecnológicos inteligentes (para que sejam, portanto, destituídos de vieses não programados)".

Em termos simples, o compliance verifica a conformidade. A governança cria as condições para que essa conformidade seja real, contínua e demonstrável. Sem governança, o compliance pode virar formulário. Sem compliance, a governança pode virar discurso sem aderência normativa. A maturidade está em integrar os dois.

Governança de IA não é um documento arquivado em uma pasta institucional. É infraestrutura de responsabilidade. É o conjunto de mecanismos que permite saber quais sistemas estão sendo utilizados, com quais dados, para quais finalidades, por quem, com que nível de autonomia, sob quais controles e com quais consequências.

A IA impressiona porque responde rápido, escreve bem e transmite segurança. Mas segurança retórica não equivale à verdade. E, no ambiente jurídico, esse risco é ainda mais evidente. Modelos generativos podem produzir textos coerentes, argumentos sofisticados, citações plausíveis e conclusões aparentemente técnicas. Ainda assim, podem conter erros graves, omissões relevantes ou referências inexistentes.

Tainá Aguiar Junquilho2 já nos alertava que "o direito é ciência complexa, que lida com emoções e dores das pessoas e para produzir uma decisão é preciso sentir". Enquanto Heloisa Rodrigues da Rocha3 ao analisar o direito à revisão das decisões automatizadas por IA à luz do PL 2338/23 e da LGPD assevera que "a atual complexidade dos sistemas de IA é tamanha que, muitas vezes, nem os próprios desenvolvedores são capazes de explicar e entender todas as etapas envolvidas na produção de cada decisão individualmente considerada".

Por isso, a revisão humana não pode ser meramente simbólica. Não basta afirmar que "um humano revisou". É preciso saber quem revisou, com qual competência, a partir de quais fontes, com quais critérios e com qual grau de independência em relação à sugestão automatizada. A presença de uma pessoa no fluxo decisório não elimina, por si só, o risco de automação indevida. Muitas vezes, o ser humano apenas confirma a recomendação da máquina, especialmente quando a resposta parece tecnicamente convincente. A supervisão humana precisa ser efetiva, qualificada e documentada. Do contrário, teremos apenas aparência de controle.

A pergunta "quem vigia o vigia?" torna-se ainda mais sofisticada quando falamos em auditorias algorítmicas.

Nos últimos anos, cresceu a defesa de auditorias de IA como instrumentos de transparência, controle e accountability. O assunto é imprescindível visto que sistemas de IA, especialmente os de alto risco, devem ser avaliados quanto a vieses, segurança, robustez, explicabilidade, qualidade dos dados, impactos sobre direitos fundamentais e conformidade regulatória.

Mas surge outro problema: quem controla a qualidade, a independência e a legitimidade dos próprios auditores?

Se uma empresa contrata um auditor para validar seu sistema de IA, mas esse auditor depende economicamente da própria empresa, utiliza metodologia opaca, não se submete a padrões independentes e não permite contestação externa, a auditoria pode deixar de ser mecanismo de controle e se transformar em instrumento reputacional. Pode parecer governança, mas funcionar como compliance washing.

É nesse ponto que surge a importância da meta-auditoria: auditar a auditoria, verificar os critérios utilizados, examinar a independência do avaliador, testar a metodologia aplicada, exigir transparência mínima, avaliar conflitos de interesse e permitir algum grau de escrutínio institucional. A meta-auditoria desloca a governança de IA de uma lógica meramente privada para uma lógica mais pública, participativa e democrática.

Há outro ponto que não pode ser negligenciado: a forma como falamos sobre IA influencia a forma como regulamos a IA.

Expressões como "inteligência", "caixa-preta" e "alucinação" não são neutras. Elas moldam a percepção pública, jurídica e institucional sobre a tecnologia. Quando chamamos um erro de IA de “alucinação”, por exemplo, podemos involuntariamente suavizar a responsabilidade. Nem vou entrar na discussão sobre o próprio termo e se ele deveria ou não ser substituído por “confabulação”. A palavra sugere algo estranho, quase patológico, inesperado. Mas muitos erros da IA não são fenômenos inexplicáveis. São riscos previsíveis, decorrentes de escolhas de design, bases de dados, parâmetros, treinamento, contexto de uso e interação humana.

Por isso, talvez seja mais adequado falar em falhas de validação, riscos de confiança indevida, déficits de rastreabilidade ou ausência de controles adequados. Então, aquilo que nomeamos mal, regulamos mal.

Há quem ainda enxergue governança como obstáculo à inovação. Essa percepção precisa ser superada. A governança não existe para impedir o uso da inteligência artificial. Ela existe para permitir que a IA seja utilizada com segurança, confiança e sustentabilidade.

Uma organização sem governança tende a experimentar muito e escalar pouco. Cria pilotos, adota ferramentas isoladas, permite usos informais, acumula riscos invisíveis e descobre tarde demais que não sabe quais sistemas usa, quais dados compartilha, quais decisões automatiza e quem responde pelos impactos.

Uma organização com governança inova melhor. Ela define casos de uso, classifica riscos, estabelece limites, cria fluxos de aprovação, treina equipes, monitora resultados, documenta evidências e corrige falhas.

Nesse cenário, o jurídico deixa de ser apenas revisor de contratos ou controlador de danos. Passa a atuar como arquiteto institucional da confiança. O profissional jurídico precisa compreender o funcionamento básico da tecnologia, dialogar com equipes técnicas, conhecer os marcos regulatórios, identificar riscos setoriais e transformar princípios em controles verificáveis.

É nesse ponto que governança, compliance, proteção de dados, ética, segurança da informação e gestão de riscos se encontram.

Vale aqui a lembrança de Ana Frazão4 quando afirmava, baseada no paradigma do homo oeconomicus, que as escolhas humanas "são condicionadas pela racionalidade limitada, vieses e falhas de percepção" e somada à assimetria informacional, chegou à conclusão que dificilmente as pessoas decidem com base em cálculos precisos e eficientes. Reforçou assim, a autora, quanto ao papel do compliance de dados, a necessidade de que os sujeitos ao seu cumprimento devem não só ser esclarecidos das razões de sua proteção enquanto tutela dos objetivos legislativos como pelo fato de tornar-se "importante vetor de reputação, competitividade e posicionamento no mercado".

No mesmo sentido, a pontual observação de Ana Carolina Moreira Bavon e Gabriela Blanchet5, na excelente obra "Mulheres em compliance", quanto a inclusão da evolução social no processo de governança corporativa e compliance, considerando "a ética como um elemento vivo que se desenvolve a partir de aspectos individuais a moral, tendo a diversidade como elemento catalisador de novas reflexões sobre o que é ou não é ético".

E, ao falar em ética, Dora Kaufman6 afirma que "a IA não tem uma ética própria, trata-se de elaborar um conjunto de melhores práticas que possa ser replicado em uma ampla variedade de configurações. O que não é nada trivial dada a complexidade de seus sistemas".

O artigo da UNESCO "Artificial intelligence: do we still need to think?" propõe uma provocação essencial: em uma época em que sistemas automatizados escrevem, resumem, calculam, organizam e respondem, ainda precisamos pensar? A resposta deveria ser evidente: precisamos pensar ainda mais.

A IA pode ampliar capacidades humanas, mas não substitui discernimento, responsabilidade, prudência e julgamento contextual. Delegar tarefas à IA não significa delegar consciência crítica. No Direito, essa distinção é vital. A pergunta não é se a IA pensa. A pergunta é se nós continuaremos pensando enquanto a utilizamos.

Quando o profissional apenas aceita a resposta automatizada, sem investigar premissas, fontes, limites, vieses e consequências, ele abdica daquilo que torna sua atuação propriamente profissional: a capacidade de julgar. Nas palavras de Fernanda de Carvalho Lage7 "só é possível falar em automação e eficiência se outros valores importantes como responsabilidade, transparência e imparcialidade não forem comprometidos".

Por isso, a governança de IA não é apenas um tema técnico ou regulatório. É também um tema de formação intelectual, responsabilidade profissional e preservação do pensamento crítico.

A IA pode ser uma das maiores aliadas da advocacia, da justiça, da administração pública e das organizações. Mas ela não pode ser incorporada como se fosse neutra, infalível ou autossuficiente.

A pergunta "quem vigia o vigia?" deve orientar uma nova agenda jurídica.

Quem vigia os sistemas que classificam pessoas? Quem vigia os algoritmos que influenciam decisões? Quem vigia os auditores que validam modelos? Quem vigia as organizações que dizem estar em conformidade? Quem garante que a supervisão humana não seja apenas simbólica? Quem assegura que a eficiência não se sobreponha aos direitos fundamentais?

A resposta não está em rejeitar a tecnologia. Está em construir governança.

Governança com inventário, rastreabilidade, supervisão humana qualificada, auditoria independente, meta-auditoria, participação social, compliance real e pensamento crítico.

Se a inteligência artificial passa a vigiar, orientar, sugerir e influenciar decisões humanas, precisamos garantir que ela também seja vigiada. E mais do que isso: precisamos garantir que, diante das máquinas, o ser humano não deixe de pensar. Conforme recomendação de Fátima Nancy Andrighi e José Flávio Bianchi8 "o relevante é assimilar a IA adequada e eticamente, não demonizá-la nem endeusá-la".

Convido a todos a compartilhar essas reflexões.

_________