Discriminação algorítmica

A discriminação algorítmica constitui um dos fenômenos mais inquietantes do mundo digital contemporâneo. A crença de que as tecnologias computacionais seriam neutras e objetivas revelou-se ilusória à medida que se comprovou que os algoritmos podem reproduzir, e até ampliar, preconceitos e desigualdades históricas. Conforme Cormen (2022, p. 5), um algoritmo é "uma sequência clara e precisa de instruções que transforma uma entrada em uma saída desejada, com garantia de término". Essa definição clássica sugere previsibilidade e imparcialidade, mas, na prática, as decisões automatizadas dependem de dados e parâmetros definidos por seres humanos, o que significa que carregam consigo os vieses de quem os cria ou dos contextos sociais em que foram concebidos.

No campo da inteligência artificial, os algoritmos deixam de ser apenas sequências fixas de instruções e passam a aprender com os dados. O aprendizado de máquina, segundo Russell e Norvig (2021, p. 88), consiste em ajustar automaticamente parâmetros com base em padrões identificados em grandes volumes de informações. Essa capacidade adaptativa, embora poderosa, torna os sistemas vulneráveis à reprodução de injustiças, uma vez que os dados históricos frequentemente refletem discriminações raciais, econômicas e sociais. Quando um algoritmo é treinado com dados enviesados, ele aprende a discriminar com a mesma lógica que estruturou tais desigualdades.

A integração de grandes volumes de informações, conhecida como big data, permitiu a criação de modelos analíticos complexos, capazes de mapear riscos e prever comportamentos. Em segurança pública, sistemas de geoprocessamento associam registros criminais, dados demográficos e imagens de câmeras para produzir mapas de risco. Contudo, conforme observa Kaufmann (2019, p. 217), esses sistemas tendem a concentrar a vigilância em regiões periféricas, reforçando estigmas e perpetuando o ciclo da criminalização de grupos vulneráveis.

Esse problema se manifesta de modo evidente em experiências concretas recentes. Um exemplo paradigmático é o programa Smart Sampa, implantado pela prefeitura de São Paulo para integrar câmeras de videomonitoramento e reconhecimento facial em todo o território municipal. O projeto, embora apresentado como medida de modernização e segurança, tem sido duramente criticado por pesquisadores e organizações civis, que alertam para o risco de discriminação algorítmica, sobretudo contra populações negras e periféricas (CARTA CAPITAL, 2025, p. não paginada). Estudos técnicos mostram que o sistema apresenta margens elevadas de falsos positivos e impactos nulos na redução da criminalidade (PLATÓ BRASIL, 2025, p. não paginada). O foco territorial nas zonas mais pobres amplia o controle sobre grupos historicamente vulneráveis, convertendo desigualdade social em critério automatizado de vigilância.

Outro caso emblemático ocorreu na Bahia, onde o uso de câmeras com reconhecimento facial durante o Carnaval resultou em 903 alertas e apenas 15 prisões válidas, representando uma taxa de eficácia de 1,6%. Relatórios revelaram que 96% das identificações foram indevidas, e que a maioria dos falsos positivos envolvia pessoas negras (CARTA CAPITAL, 2025, p. não paginada). O episódio ilustra como algoritmos de reconhecimento facial, ao operar sobre bases de dados enviesadas e em contextos de desigualdade racial, podem reforçar estigmas e promover abordagens indevidas.

No campo econômico, um estudo desenvolvido no Brasil por Vilarino e Vicente (2020, p. 4) demonstrou que sistemas de pontuação de crédito baseados em aprendizado de máquina incorporam vieses raciais e socioeconômicos. Mesmo sem utilizar a variável "raça", os algoritmos associam fatores como endereço e histórico financeiro à probabilidade de inadimplência, penalizando consumidores de regiões periféricas - majoritariamente negros. Essa forma de discriminação algorítmica revela a dimensão estrutural do problema, na medida em que dados historicamente desiguais alimentam modelos de decisão automatizada que perpetuam a exclusão financeira.

Esses três casos evidenciam que o viés algorítmico constitui uma forma contemporânea de discriminação estrutural. Conforme O'Neil (2016, p. 124), os algoritmos são "armas de destruição matemática" quando transformam dados contaminados por injustiças históricas em decisões que parecem objetivas, mas que, na realidade, aprofundam desigualdades. Sob a aparência de neutralidade técnica, decisões automatizadas passam a definir quem tem acesso a crédito, emprego, saúde e segurança, sem oferecer aos afetados qualquer oportunidade de questionamento.

A ausência de transparência é conhecida como a "caixa-preta algorítmica". Wachter, Mittelstadt e Russell (2021, p. 14) alertam que muitos sistemas de inteligência artificial operam sem permitir a compreensão de seus critérios internos, o que inviabiliza a responsabilização jurídica e a contestação de decisões injustas. A falta de explicabilidade mina o princípio da prestação de contas e contraria o direito fundamental à informação.

Nesse contexto, surge o conceito de inteligência artificial explicável (Explainable AI - XAI), proposto por Gunning (2017, p. 3), que visa tornar compreensível o processo decisório das máquinas. A transparência e a interpretabilidade não são apenas exigências técnicas, mas imperativos éticos e jurídicos, sobretudo em áreas sensíveis como saúde, justiça e segurança pública.

O avanço dessas ferramentas, aliadas a bases biométricas, reconhecimento facial e monitoramento constante, dá origem ao que Wermuth (2021, p. 42) denomina biopolítica digital. Nesse regime, corpos, deslocamentos e interações são convertidos em dados e administrados por sistemas de controle social automatizados.

Segundo Eubanks (2018, p. 25), a automação de políticas públicas "penaliza desproporcionalmente os pobres, os negros e as mulheres, sob o pretexto de eficiência", institucionalizando desigualdades sob roupagem tecnológica. Essa visão é corroborada por Singletary (2020, p. não paginada), para quem "créditos deveriam ser neutros em relação à raça. Isso é impossível", pois os algoritmos de pontuação incorporam desigualdades raciais históricas.

No Brasil, o episódio de Danilo Félix - jovem negro preso por erro de reconhecimento facial no Rio de Janeiro - evidencia o impacto social da discriminação algorítmica (BALBI; ALBERGARIA, 2024, p. 12). O relatório da CPI do reconhecimento fotográfico da Alerj registrou taxas de falsos positivos entre 9 e 10% (ALERJ, 2024, p. 3).

O Direito Europeu já impõe limites claros. O art. 22 do GDPR - Regulamento Geral sobre a Proteção de Dados assegura ao titular o direito de não se submeter exclusivamente a decisões baseadas em processamento automatizado que afetem significativamente sua esfera jurídica (UNIÃO EUROPEIA, 2016, p. 45). No Brasil, o art. 20 da lei 13.709/18 (LGPD) prevê o direito de solicitar revisão humana de decisões automatizadas (BRASIL, 2018, p. 12).

A doutrina brasileira tem aprofundado esse debate. Mendes (2014, p. 73) defende que o direito à proteção de dados pessoais constitui instrumento essencial de controle e transparência sobre decisões automatizadas. Em trabalho posterior, a autora reitera que a explicabilidade é componente indispensável da autodeterminação informativa (MENDES, 2019, p. 58).

A ética algorítmica, ou algorética, surge como campo interdisciplinar destinado a estudar as condições morais que devem reger o desenvolvimento e uso dos algoritmos (GANASCIA, 2017, p. 6). Essa perspectiva reforça que o princípio da explicabilidade é não apenas técnico, mas jurídico e ético, essencial para a preservação da dignidade humana na sociedade digital.

A discriminação algorítmica evidencia que a tecnologia não é neutra. É necessário que o direito imponha limites claros e garanta que as inovações tecnológicas operem sob o primado da igualdade e da justiça, preservando o núcleo essencial dos direitos fundamentais.

_______________________

ALERJ. Audiência Pública da CPI do Reconhecimento Fotográfico. Assembleia Legislativa do Estado do Rio de Janeiro, Rio de Janeiro, 2024.

BALBI, Mariana; ALBERGARIA, Thiago. Relatório da CPI do Reconhecimento Fotográfico na Alerj. Rio de Janeiro: Assembleia Legislativa do Estado do Rio de Janeiro, 2024.

BBC NEWS. A-levels and GCSEs: Students to get teacher assessed grades. Londres, 2020. Disponível em: https://www.bbc.com/news/education-53787219. Acesso em: 20 out. 2025.

BRASIL. Lei nº 13.709, de 14 de agosto de 2018. Lei Geral de Proteção de Dados Pessoais. Diário Oficial da União, Brasília, DF, 15 ago. 2018.

CARTA CAPITAL. O racismo agravado pelo uso de câmeras e IA na segurança pública. São Paulo, 2025. Disponível em: https://www.cartacapital.com.br/opiniao/o-racismo-agravado-pelo-uso-de-cameras-e-ia-na-seguranca-publica. Acesso em: 20 out. 2025.

CORMEN, Thomas H. Introduction to Algorithms. 4. ed. Cambridge: MIT Press, 2022.

EUBANKS, Virginia. Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor. Nova York: St. Martin's Press, 2018.

GANASCIA, Jean-Gabriel. Le mythe de la singularité: Faut-il craindre l'intelligence artificielle? Paris: Seuil, 2017.

GUNNING, David. Explainable Artificial Intelligence (XAI). Defense Advanced Research Projects Agency (DARPA), 2017.

KAUFMANN, Matias. Predictive Policing and the Risk of Algorithmic Discrimination. Journal of Law and Technology, v. 33, n. 2, p. 210-230, 2019.

MENDES, Laura Schertel. Privacidade, proteção de dados e defesa do consumidor: linhas gerais de um novo direito fundamental. São Paulo: Revista dos Tribunais, 2014.

MENDES, Laura Schertel. Autodeterminação informativa e o direito fundamental à proteção de dados pessoais no Brasil. Brasília: IDP, 2019.

O'NEIL, Cathy. Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. Nova York: Crown Publishing, 2016.

PLATÓ BRASIL. Estudo aponta impacto zero do Smart Sampa, carro-chefe de Ricardo Nunes. São Paulo, 2025. Disponível em: https://platobr.com.br/estudo-aponta-impacto-zero-do-smart-sampa-carro-chefe-de-ricardo-nunes. Acesso em: 20 out. 2025.

RUSSELL, Stuart; NORVIG, Peter. Artificial Intelligence: A Modern Approach. 4. ed. Nova Jersey: Pearson, 2021.

SINGLETARY, Michelle. Credit Scores Are Not Color-Blind. The Washington Post, 2020. Disponível em: https://www.washingtonpost.com/business/2020/09/17/credit-scores-race. Acesso em: 20 out. 2025.

TAVARES, Felipe. Os rostos negros do reconhecimento facial. Revista Piauí, UOL, 2023. Disponível em: https://piaui.folha.uol.com.br/os-rostos-negros-do-reconhecimento-facial. Acesso em: 20 out. 2025.

UNIÃO EUROPEIA. Regulamento (UE) 2016/679 do Parlamento Europeu e do Conselho, de 27 de abril de 2016. Jornal Oficial da União Europeia, Bruxelas, 4 mai. 2016.

VILARINO, V.; VICENTE, M. Bias in Machine Learning Credit Scoring Models in Brazil. arXiv preprint arXiv:2011.09865, 2020.

WACHTER, Sandra; MITTELSTADT, Brent; RUSSELL, Chris. Why Fairness Cannot Be Automated: Bridging the Gap Between EU Non-Discrimination Law and AI. Computer Law & Security Review, v. 41, p. 1-16, 2021.

WERMUTH, Maiquel Ângelo Dezordi. Biopolítica digital e o direito penal do inimigo algorítmico. Porto Alegre: Canal Ciências Criminais, 2021.