Introdução
Vivemos em um momento histórico em que decisões que afetam profundamente a vida das pessoas - se alguém receberá crédito, se um réu permanecerá preso, se um currículo chegará à fase de entrevistas, se uma família terá acesso a um benefício social - são cada vez mais mediadas por sistemas automatizados. Algoritmos, modelos de aprendizado de máquina e inteligência artificial deixaram de ser curiosidades tecnológicas para se tornarem infraestrutura invisível do poder contemporâneo.
Essa transformação ocorre de forma silenciosa, quase imperceptível para a maioria das pessoas que são por ela afetadas. E é exatamente nesse silêncio que reside um dos problemas mais graves que o Direito precisa enfrentar neste século: A discriminação que se perpetua não pela mão visível do preconceito humano, mas pela lógica opaca de sistemas que se apresentam como objetivos, eficientes e neutros.
A neutralidade tecnológica é, em grande medida, uma ficção. Uma ficção confortável para quem desenvolve essas ferramentas, para quem as adota em processos decisórios e, muitas vezes, para quem as regula - ou deixa de regulá-las. Mas para os grupos historicamente marginalizados que continuam sendo prejudicados por essas decisões automatizadas, a consequência é muito concreta: A discriminação simplesmente mudou de rosto. Ela deixou de ter um nome, um rosto, uma intenção declarada, e passou a ter um código-fonte.
Este artigo propõe uma reflexão crítica sobre o fenômeno da discriminação algorítmica estrutural e sua relação com o Direito. Busca-se compreender como os algoritmos reproduzem e amplificam desigualdades históricas sob o manto da aparente objetividade, quais são os desafios que isso impõe ao ordenamento jurídico e quais caminhos podem ser trilhados em direção a uma regulação mais justa e efetiva.
2. Algoritmos e Tomada de Decisão: uma visão geral
2.1. O que são algoritmos e como funcionam
De forma bastante simples, um algoritmo é uma sequência de instruções que um sistema computacional segue para chegar a um resultado. Em termos matemáticos e computacionais, trata-se de um conjunto finito de regras que transforma entradas em saídas. Mas quando falamos em algoritmos no contexto contemporâneo - especialmente nos sistemas de aprendizado de máquina -, estamos falando de algo muito mais complexo e, em certa medida, mais opaco do que uma simples sequência de comandos.
Os sistemas de inteligência artificial modernos aprendem a partir de dados. Eles identificam padrões em grandes volumes de informações passadas e constroem modelos preditivos com base nesses padrões. Um sistema de concessão de crédito, por exemplo, não recebe uma lista de regras previamente escritas por um ser humano dizendo "negar crédito a quem mora em determinado bairro". Em vez disso, ele analisa milhares de casos históricos de concessão e inadimplência, extrai correlações e aprende quais características estão associadas a maior ou menor risco - e passa a aplicar esse aprendizado automaticamente a novos casos.
Esse processo é sofisticado, mas não é mágico, e muito menos neutro. O sistema aprende o que os dados ensinam. E os dados ensinam o que a história produziu.
2.2. A expansão do uso de sistemas automatizados em contextos jurídicos e sociais
Nas últimas décadas, a automação da tomada de decisão avançou de forma acelerada para além do setor privado, penetrando instituições públicas e processos que têm impacto direto sobre direitos fundamentais. No sistema de justiça criminal dos Estados Unidos, ferramentas como o COMPAS - Correctional Offender Management Profiling for Alternative Sanctions - passaram a ser utilizadas para calcular o risco de reincidência de réus, influenciando decisões sobre fiança, liberdade condicional e sentenciamento. Estudos posteriores revelaram que o sistema classificava réus negros como de alto risco com uma frequência significativamente maior do que réus brancos com perfis semelhantes, mesmo quando eles não reincidiam.
No Brasil, o uso de tecnologias de reconhecimento facial pela segurança pública já resultou em prisões equivocadas de pessoas negras, identificadas incorretamente por sistemas com taxas de erro substancialmente maiores para esse grupo demográfico. No campo da proteção social, algoritmos são utilizados para identificar possíveis fraudes em programas de benefícios, com efeitos que frequentemente recaem de forma desproporcional sobre populações vulneráveis.
Essa expansão não é em si mesma negativa. A automação pode trazer ganhos reais de eficiência, consistência e velocidade em processos decisórios que, quando feitos por humanos, também estão sujeitos a erros e arbitrariedades. O problema está em como esses sistemas são construídos, com que dados são treinados, quem os supervisiona e como as suas decisões podem ser contestadas.
3. O Mito da Neutralidade Tecnológica
3.1. A construção social da tecnologia
Existe uma crença amplamente difundida - e muito conveniente - de que a tecnologia é neutra. Segundo essa visão, máquinas não têm sentimentos, não têm preconceitos, não têm história. Elas simplesmente processam dados e produzem resultados. Qualquer problema seria, portanto, atribuível ao mau uso humano, nunca à tecnologia em si.
Essa visão, contudo, ignora décadas de produção acadêmica no campo dos estudos sociais da ciência e da tecnologia. Autores como Langdon Winner já demonstravam, na década de 1980, que artefatos técnicos têm política - que eles são projetados por pessoas situadas em contextos sociais específicos, com interesses, valores e pontos cegos que inevitavelmente se inscrevem nos sistemas que criam. Uma tecnologia não nasce no vácuo. Ela nasce em laboratórios, empresas e instituições que são parte de uma sociedade estruturada por relações de poder.
Quando uma equipe de desenvolvimento é composta majoritariamente por homens brancos de classe alta, quando os dados utilizados para treinar sistemas foram coletados em contextos que excluíam ou sub-representavam determinados grupos, e quando os critérios de sucesso de um sistema são definidos sem considerar seus efeitos sobre populações marginalizadas, o produto final carrega essas marcas. Não por má vontade necessariamente, mas por omissão, por falta de perspectiva, por ausência das vozes que deveriam estar na mesa.
3.2. Dados históricos como espelho das desigualdades estruturais
O ponto mais sensível da questão algorítmica está nos dados. Sistemas de aprendizado de máquina são tão bons - ou tão ruins - quanto os dados com os quais são treinados. E quando esses dados são registros históricos de uma sociedade profundamente desigual, o algoritmo aprende a desigualdade como se ela fosse a norma.
Pense no seguinte exemplo: um sistema treinado para prever o desempenho de funcionários em uma empresa recebe como dado de treinamento os históricos de promoções dos últimos vinte anos. Se nesse período as mulheres eram sistematicamente preteridas em promoções - não por falta de competência, mas por preconceito institucional -, o sistema aprenderá que ser mulher está correlacionado a menor potencial de crescimento. E passará a reproduzir essa correlação nas suas recomendações futuras, agora com o respaldo de uma suposta objetividade matemática.
O dado histórico, nesse caso, não é um reflexo da realidade objetiva. É um reflexo da injustiça histórica. E quando um algoritmo aprende com esse dado, ele não está sendo neutro: está sendo cumplice da perpetuação de uma desigualdade que a sociedade deveria estar tentando superar.
3.3. Objetividade aparente versus viés real
A aparência de objetividade que os algoritmos projetam é, paradoxalmente, um dos elementos que os torna mais perigosos do ponto de vista dos direitos humanos. Quando uma decisão é tomada por um ser humano, ela pode ser questionada, seus fundamentos podem ser exigidos, seu raciocínio pode ser escrutinado. Existe uma responsabilidade que se pode atribuir a alguém.
Quando a decisão vem de um sistema automatizado, porém, ela frequentemente é apresentada como o resultado de um cálculo que está além das subjetividades humanas. "O sistema indicou", "o algoritmo classificou", "o modelo apontou" - essas expressões criam uma espécie de escudo contra a contestação. Quem vai discutir com a matemática?
Esse fenômeno foi descrito pela pesquisadora Virginia Eubanks como "lavagem de automatização" - o processo pelo qual decisões políticas e sociais que seriam inaceitáveis se tomadas abertamente por humanos tornam-se palatáveis quando delegadas a máquinas. O resultado é uma discriminação que se torna mais difícil de identificar, mais difícil de contestar e, portanto, mais difícil de combater.
4. Discriminação Algorítmica Estrutural
4.1. Conceito e distinção de discriminação individual e institucional
Para compreender a discriminação algorítmica estrutural, é necessário situá-la dentro de uma taxonomia mais ampla das formas de discriminação reconhecidas pelo Direito e pelas ciências sociais. A discriminação individual é aquela que deriva de um ato consciente e intencional de um sujeito que trata outra pessoa de forma desfavorável em razão de uma característica protegida - raça, gênero, orientação sexual, entre outras. É a forma de discriminação mais visível e, historicamente, aquela com a qual o Direito desenvolveu ferramentas mais consolidadas de combate.
A discriminação institucional ou estrutural, por sua vez, opera de forma difusa, por meio de práticas, políticas e sistemas que produzem resultados desiguais para diferentes grupos, independentemente da intenção de quem os criou ou os opera. Ela não exige um agente malévolo: basta que as estruturas existentes favoreçam sistematicamente alguns grupos em detrimento de outros.
A discriminação algorítmica estrutural é aquela que se manifesta quando sistemas automatizados de tomada de decisão reproduzem ou amplificam essas desigualdades estruturais por meio de mecanismos técnicos. Ela pode ocorrer mesmo quando nenhum dado explicitamente sensível — como raça ou gênero — é utilizado pelo sistema, pois variáveis aparentemente neutras como CEP, nível de escolaridade ou histórico de crédito frequentemente funcionam como proxies de raça e classe em sociedades marcadas por segregação socioespacial e desigualdade histórica.
4.2. Mecanismos de produção e reprodução do viés algorítmico
O viés algorítmico pode se instalar em diferentes momentos do ciclo de vida de um sistema automatizado. Na fase de coleta de dados, grupos sub-representados ou historicamente excluídos de determinados serviços simplesmente não aparecem nos conjuntos de treinamento com a frequência necessária para que o sistema aprenda a lidar bem com eles. Na fase de rotulagem - quando humanos classificam dados para que o sistema aprenda o que é correto -, os preconceitos dos rotuladores se transferem para o modelo.
Na definição dos objetivos do sistema, escolhas aparentemente técnicas sobre o que se quer otimizar carregam valores implícitos. Um sistema penal que otimiza para "redução de risco de reincidência" sem questionar o que os dados históricos de encarceramento revelam sobre quem o sistema criminal perseguiu com mais intensidade estará, na prática, otimizando para a perpetuação de uma política criminal racialmente seletiva.
Há ainda o problema do feedback loop, ou ciclo de retroalimentação. Quando as decisões de um algoritmo influenciam os dados futuros que o alimentarão, o sistema pode se tornar progressivamente mais distorcido. Uma política de policiamento preditivo que concentra recursos em bairros periféricos majoritariamente negros gerará mais prisões nessas áreas, o que alimentará o sistema com dados que confirmam que essas áreas têm maior criminalidade, o que justificará ainda mais policiamento, e assim por diante - numa espiral que a tecnologia ajuda a naturalizar e legitimar.
4.3. Casos emblemáticos: raça, gênero e classe nos sistemas automatizados
Os casos concretos de discriminação algorítmica são numerosos e geograficamente dispersos, o que demonstra que não se trata de falhas pontuais, mas de um padrão sistêmico. Além do já mencionado caso COMPAS nos Estados Unidos, merece destaque o trabalho da pesquisadora Joy Buolamwini, do MIT, que demonstrou que sistemas de reconhecimento facial de grandes empresas tecnológicas apresentavam taxas de erro significativamente maiores para mulheres negras do que para homens brancos - chegando, em alguns casos, a uma diferença de mais de trinta pontos percentuais.
No campo do emprego, a Amazon desenvolveu e depois abandonou um sistema de triagem de currículos baseado em inteligência artificial que penalizava candidatos que incluíam a palavra "mulheres" em seus currículos - como em referência a atividades em grupos femininos - e desvalorizava candidatos egressos de faculdades predominantemente femininas. O sistema havia aprendido, com base em dez anos de histórico de contratações da empresa, que homens eram preferíveis. E reproduzia essa preferência.
No Brasil, pesquisas sobre o uso de sistemas de reconhecimento facial pela segurança pública documentaram casos de prisão de pessoas negras erroneamente identificadas por essas tecnologias. A Coalizão Negra por Direitos e outras organizações da sociedade civil têm denunciado sistematicamente esses casos e demandado regulação específica, sem até o momento obterem resposta legislativa adequada.
5. O Direito Diante dos Algoritmos
5.1. Lacunas regulatórias e desafios de responsabilização
O Direito foi construído, em grande medida, a partir de categorias pensadas para um mundo em que decisões são tomadas por pessoas. A imputabilidade, a responsabilidade civil e penal, o contraditório e a ampla defesa - todos esses institutos pressupõem que é possível identificar um agente responsável por uma decisão e exigir que esse agente preste contas. Quando a decisão é tomada por um algoritmo, essas categorias começam a revelar suas insuficiências.
Quem é responsável quando um sistema automatizado nega indevidamente um benefício a uma família em situação de vulnerabilidade? O desenvolvedor do algoritmo? A empresa que o vendeu? O gestor público que o contratou? O servidor que apertou o botão? A indefinição de responsabilidade é, ela própria, um problema jurídico grave - e frequentemente funciona como um escudo que protege a manutenção de sistemas discriminatórios.
A isso se soma a dificuldade probatória. Para demonstrar que houve discriminação algorítmica, muitas vezes seria necessário acessar o código -fonte do sistema, os dados de treinamento e os critérios de tomada de decisão - informações que são, na maior parte dos casos, protegidas como segredo comercial. Assim, cria-se uma situação em que a vítima de discriminação precisa provar algo que, estruturalmente, não tem como provar.
5.2. O problema da opacidade: o direito à explicação das decisões automatizadas
Uma das principais demandas no campo da regulação de algoritmos é o que se convencionou chamar de direito à explicação - o direito de que uma pessoa submetida a uma decisão automatizada possa compreender os fundamentos dessa decisão de forma inteligível e contestá-la efetivamente.
Esse direito encontra fundamento em princípios jurídicos já consolidados, como o contraditório, a ampla defesa, a motivação dos atos administrativos e a dignidade da pessoa humana. No plano constitucional brasileiro, ele pode ser derivado do inciso LV do art. 5º da Constituição Federal, que garante aos litigantes em processo judicial ou administrativo o contraditório e a ampla defesa. Uma decisão que não pode ser explicada, compreendida ou contestada viola, em sua essência, esses princípios.
O problema é que muitos sistemas de inteligência artificial - especialmente os baseados em redes neurais profundas - são, por sua própria natureza técnica, difíceis de explicar. São os chamados sistemas de "caixa-preta", em que mesmo os seus criadores têm dificuldade de indicar com precisão por que o sistema chegou a determinado resultado. Isso coloca um desafio prático enorme para a efetivação do direito à explicação, exigindo não apenas respostas jurídicas, mas também soluções técnicas - como o desenvolvimento de sistemas de inteligência artificial explicável, campo em crescente desenvolvimento.
5.3. Experiências comparadas de regulação — União Europeia, Estados Unidos e Brasil
A União Europeia tem liderado internacionalmente os esforços regulatórios nesse campo. O RGPD - Regulamento Geral de Proteção de Dados - já previa, desde 2018, o direito de não ser submetido a decisões tomadas exclusivamente por meios automatizados que produzam efeitos jurídicos significativos, bem como o direito de obter explicação sobre essas decisões. Em 2024, entrou em vigor o Regulamento de Inteligência Artificial - o AI Act -, que adota uma abordagem baseada em risco e impõe obrigações mais estritas para sistemas classificados como de alto risco, categoria que inclui explicitamente sistemas utilizados em contextos como justiça criminal, emprego e serviços públicos essenciais.
Nos Estados Unidos, a abordagem tem sido mais fragmentada, com iniciativas setoriais e estaduais na ausência de uma legislação federal abrangente. O Consumer Financial Protection Bureau tem atuado para exigir explicações em decisões de crédito automatizadas, e alguns estados, como Illinois e Nova York, aprovaram legislações específicas sobre uso de algoritmos em processos seletivos de emprego.
No Brasil, a LGPD - lei Geral de Proteção de Dados -, em seu art. 20, prevê o direito do titular de dados de solicitar revisão de decisões tomadas unicamente com base em tratamento automatizado, bem como de obter informações claras e adequadas sobre os critérios e procedimentos utilizados. É um avanço importante, mas que ainda encontra desafios de implementação e fiscalização consideráveis, especialmente diante da limitada capacidade operacional da ANPD - Autoridade Nacional de Proteção de Dados - e da ausência de uma regulação específica para inteligência artificial no país, cuja proposta legislativa ainda tramitava no Congresso Nacional ao tempo da elaboração deste artigo.
6. Caminhos para um Direito Algorítmico mais Justo
6.1. Auditoria e transparência dos sistemas de decisão
Um dos instrumentos mais promissores no combate à discriminação algorítmica é a exigência de auditoria independente dos sistemas automatizados utilizados em contextos de alto impacto. A lógica é similar à que justifica a auditoria financeira: quando uma organização toma decisões que afetam terceiros de forma significativa, existe um interesse público legítimo em verificar se essas decisões estão sendo tomadas de forma justa e adequada.
Uma auditoria algorítmica efetiva precisaria ir além da verificação formal do código e examinar os resultados produzidos pelo sistema para diferentes grupos populacionais, identificando disparidades injustificadas. Precisaria também avaliar se os dados de treinamento são representativos e se os objetivos do sistema estão alinhados com os valores e direitos que o ordenamento jurídico pretende proteger.
Para que isso seja possível, é necessário superar o argumento do segredo comercial - que frequentemente é utilizado para blindar sistemas discriminatórios de qualquer escrutínio externo. Uma forma de equilibrar esses interesses é o modelo de auditoria sob confidencialidade, em que auditores independentes - incluindo representantes da sociedade civil e dos grupos mais afetados - têm acesso às informações necessárias sem que elas sejam divulgadas publicamente de forma irrestrita.
6.2. Diversidade no desenvolvimento tecnológico como fator de justiça
A composição das equipes que desenvolvem sistemas de inteligência artificial não é uma questão meramente de política de recursos humanos. É uma questão de justiça epistêmica. Equipes diversas - em termos de raça, gênero, classe, formação e experiência de vida - tendem a identificar problemas e pontos cegos que equipes homogêneas simplesmente não enxergam, porque nunca precisaram enxergar.
Quando uma equipe de desenvolvimento inclui pessoas que pertencem aos grupos mais frequentemente prejudicados pelos sistemas que estão sendo construídos, aumenta a probabilidade de que esses problemas sejam identificados antes que o sistema entre em produção e cause dano. Isso não é uma solução suficiente por si só - é necessário também estruturas de governança, incentivos e responsabilização adequados -, mas é uma condição importante para que as demais medidas possam funcionar.
O Direito pode contribuir para isso de diferentes formas: por meio de políticas de incentivo à diversidade em empresas do setor tecnológico, pela exigência de que processos de desenvolvimento de sistemas de alto impacto demonstrem ter considerado perspectivas diversas, e pelo fortalecimento de iniciativas de educação tecnológica voltadas para grupos historicamente excluídos desse setor.
6.3. A proteção de dados como instrumento antidiscriminatório — LGPD e suas possibilidades
A lei Geral de Proteção de Dados brasileira contém, em seu núcleo, um conjunto de princípios e direitos que, se levados a sério, têm potencial antidiscriminatório significativo. O princípio da não discriminação, expressamente previsto no art. 6º, inciso IX, determina que o tratamento de dados não pode ser realizado para fins discriminatórios ilícitos ou abusivos. O artigo 20, já mencionado, garante o direito à revisão de decisões automatizadas.
Mas o potencial da LGPD como instrumento de combate à discriminação algorítmica ainda está longe de ser plenamente realizado. Faltam regulamentações específicas sobre o que constitui tratamento discriminatório no contexto de sistemas automatizados. Falta capacidade de fiscalização da ANPD para lidar com a complexidade técnica desses sistemas. E falta, talvez mais fundamentalmente, uma jurisprudência consolidada que dê concretude aos direitos previstos na lei.
O desenvolvimento dessa jurisprudência será um dos grandes desafios dos próximos anos para o Judiciário brasileiro. Tribunais precisarão desenvolver competências técnicas para avaliar alegações de discriminação algorítmica, o que pode exigir tanto a formação especializada de magistrados quanto o uso mais sistemático de perícias técnicas em processos que envolvam sistemas automatizados. Mais do que isso, precisarão estar dispostos a enfrentar o argumento da opacidade e exigir das empresas e órgãos públicos que demonstrem que seus sistemas não discriminam - e não apenas que não tinham intenção de discriminar.
7. Conclusão
A discriminação algorítmica estrutural representa um dos desafios mais complexos e urgentes que o Direito contemporâneo precisa enfrentar. Ela é complexa porque não se encaixa perfeitamente nas categorias que o ordenamento jurídico desenvolveu para lidar com discriminação - categorias pensadas para atos intencionais de sujeitos identificáveis. E é urgente porque, enquanto o Direito hesita, sistemas automatizados continuam sendo implantados em contextos que afetam diretamente direitos fundamentais de milhões de pessoas.
A neutralidade tecnológica é um mito que precisa ser desconstruído com firmeza, tanto no plano acadêmico quanto no plano jurídico. Não basta que um sistema não tenha sido projetado com intenção discriminatória: é preciso que ele não produza resultados discriminatórios. E é preciso que seja possível verificar isso, contestá-lo e responsabilizar quem o desenvolveu ou o adotou quando os resultados se revelarem injustos.
O caminho para um Direito algorítmico mais justo não é simples nem rápido. Ele exige regulação específica e com dentes, capacidade institucional para implementá-la, desenvolvimento de ferramentas técnicas que permitam a auditoria e a explicabilidade dos sistemas, diversificação das equipes que os constroem, e uma mudança cultural que reconheça a tecnologia não como algo que está além da política e da ética, mas como algo que é profundamente político e ético - e que, portanto, deve ser tratado com o mesmo rigor com que tratamos qualquer outra forma de exercício de poder sobre a vida das pessoas.
A tecnologia tem o potencial de ser uma força poderosa para a igualdade. Mas para que esse potencial se realize, é preciso que ela seja construída, regulada e contestada por uma sociedade que não aceite a desigualdade como dado, mas a reconheça como escolha - e como escolha, a rejeite.