Apesar dos benefícios de diversas aplicações de IA, há casos correntes de "bias", envolvendo classe, raça e gênero, em especial no caso do reconhecimento facial e decisões automatizadas na área criminal, mas há também diversas outras correlações, classificações e criação de perfis, como nas áreas de emprego, educação, saúde e habitação, limitando ou restringindo as oportunidades das pessoas.

É o que aponta Ruha Benjamin, professora do departamento de estudos afro-americanos da Universidade de Princeton, autora do livro "Race after technology - abolitionist for the new Jim Code", baseando-se no livro "The New Jim Crow", de Michelle Alexander (2012), afirmando que os designers técnicos estariam a erguer um sistema de castas digitais, assim como ocorreu com a criação de novas castas raciais pelo sistema de prisão nos EUA anteriormente, tema objeto de estudos por Ângela Davis em dois livros "Are Prisons Obsolete?"¹ e "Abolition Democracy. Beyond Empire, Prisons, and Torture"². O novo fenômeno agora embutido em novas tecnologias é denominado por Ruha Benjamin de "Novo Código Jim", isto é, os vieses embutidos em novas tecnologias, mas que são promovidas e percebidas como objetivas e neutras.

Corrobora tal assertiva uma pesquisa demonstrando o impacto dos nomes na experiência das pessoas no mercado de trabalho, pois os candidatos a emprego com primeiros nomes que soavam como sendo de brancos acabavam por receber mais oportunidades de serem chamados para o emprego em comparação com os candidatos a emprego com nomes que soavam como sendo de negros. É o que Latanya Sweeney aponta, em sentido semelhante, afirmando haver uma associação de busca online de "nomes de negros" a registros de detenção de forma majorada, em comparação com "nomes de brancos".

Diversas pesquisas demonstram a ocorrência de vieses nos algoritmos de IA, seja em razão pela ausência de uma diversidade e qualidade dos dados pessoais utilizados, seja pela ausência de diversidade da equipe técnica, ou pela falta de treinamento correto dos algoritmos, com destaque para Frank Pasquale em seu livro "The Black Box Society: The Secret Algorithms That Control Money and Information"³, questionando a problemática da proteção dos "algoritmos secretos" via proteção do segredo comercial, considerado na maior parte das vezes de forma absoluta, mesmo diante de colisão com outros direitos fundamentais, sem se realizar a necessária ponderação entre tais direitos, diante do caso concreto. Definitivamente, é preciso "levar a sério os direitos", sobretudo aqueles fundamentais, reconhecendo que nenhum tem caráter absoluto, sendo sempre relativizados uns em relação aos outros, se quisermos realmente preservar a dignidade humana, e preservá-la absolutamente - só ela é absoluta, e ela não é um direito fundamental, mas a razão de ser de todos eles.

É o que apontam também Cathy O'Neil ("Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy"), Virginia Eubanks ("Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor"), Safiya Umoja Noble ("Algorithms of Oppression: How Search Engines Reinforce Racism"), e Latanya Sweeney, professora da universidade de Harvard, sendo que as discriminações são múltiplas, envolvendo raça, gênero e classe.

Há uma intersecção dos vieses, sendo fundamental neste sentido a contribuição clássica de Ângela Davis, no livro "Mulheres, raça e classe", apontando para tal intersecc¸a~o e também no sentido de uma duplicada discriminação na codificação cultural e em sua incorporação na codificação técnica de programas de software.

É o chamado "algorithmic nuisance", ou "inconveniente algorítmico", quando ocorre a discriminação ou a manipulação de indivíduos (Jack Balkin), destacando-se como caso paradigmático o do exame nacional de admissão para Universidades denominado "Ofqual" no Reino Unido, objeto de diversas críticas em agosto 2020, por trazer enviesamento no sentido de vantagem para escolas mais ricas e mais bem estruturadas.

Além de apostar nas alternativas abolicionistas, como a desmilitarização das escolas, e a revitalização da educação, Davis comenta acerca da necessidade de uma democracia da abolição, abrangendo a eliminação dos estabelecimentos prisionais.  No mesmo sentido, sinaliza Ruha Benjamin, denominando de complexo prisional-industrial (PIC) ou "complexo industrial de correções", para chamar a atenção para a liberdade condicional e vigilância como a parte da indústria que mais rapidamente cresce.

Há diversos casos de vieses nos modelos de policiamento preditivo utilizando-se de IA, como constatou o Grupo de Análise de Dados de Direitos Humanos - HRDAG, ao mencionar que a ferramentas de software de policiamento preditivo denominada de "PredPol" estaria longe da alegada imparcialidade e neutralidade, pois os dados utilizados para "treinar" os algoritmos codificam os preconceitos raciais nas ferramentas. O racismo e a discriminação tornam-se assim duplicados.

Diversos estados dos EUA trazem também uma punição eterna ao ex-condenado, já que ficam impossibilitados do direito de votar, mesmo após o cumprimento da pena, uma inexplicável penalidade extra e sem remição, além de ser quase impossível uma recolocação profissional, condenando-os à marginalidade e a um perpétuo retorno ao sistema prisional.

Em sentido complementar, Cathy O'Neil no livro "Weapons of Math Destruction" (2016) comenta sobre um sistema de IA denominado "Impact" (modelagem de valor agregado) envolvendo a classificação de professores de escolas públicas e sua demissão em massa, apontando para a mensuração da eficácia dos professores, com viés discriminatório contra professores, por exemplo, que testavam métodos alternativos de ensino e um incentivo aos professores que praticam condutas de manipulação do sistema apenas para garantir uma boa avaliação e pontuação.

Como aponta Ruha Benjamin, a própria raça revela-se como tecnologia. Neste sentido, é que Foucault chama atenção para o nascimento do biopoder e os temas da sociedade da normalização, típica do século XIX, baseando-se no elemento da norma, elemento que vai circular entre o poder disciplinar e o regulamentador, indo se aplicar, da mesma forma, ao corpo e à população, o que permite a um só tempo controlar a ordem disciplinar do corpo e os acontecimentos aleatórios de uma multiplicidade biológica: esse elemento que circula entre um e outro, é a norma. A norma é o que pode tanto se aplicar a um corpo que se quer disciplinar quanto a uma população que se quer regulamentar.

Ocorre assim o surgimento de um novo tipo de racismo, agora inserido nos mecanismos do Estado, em razão da emergência do biopoder, efetuando um corte entre as pessoas, em busca de uma vida pura e saudável, através da eliminação do perigo biológico e do fortalecimento, diretamente ligado à eliminação da própria espécie ou da raça que a representa. A raça, o racismo é a condição de aceitabilidade de tirar a vida numa sociedade de normalização, sendo indispensável ao biopoder.

O racismo moderno, portanto, encontra-se ligado de forma intrínseca ao biopoder, sendo um fenômeno típico do fim do século XIX. Assim, liga-se ao funcionamento de um Estado que é obrigado a utilizar a raça, a eliminação das raças e a purificação das raças para exercer seu poder soberano. Ocorre dessa forma a generalização absoluta do biopoder, sendo que tal fenômeno estaria efetivamente inscrito no funcionamento de todos os Estados na época contemporânea.

Um dos mais importantes casos envolvendo tais questões foi julgado pela Corte Constitucional alemã, consagrando um Computergrundrecht, ao discutir a constitucionalidade de lei do Estado de Nordrhein-Westfalen, por permitir às autoridades locais de inteligência realizar a busca remota de informações e o monitoramento on-line de computadores de suspeitos de práticas criminosas. O relator do caso, Hoffman-Riem, em sua fundamentação, afirmou o direito fundamental à garantia da confidencialidade e da integridade dos sistemas informáticos, derivado da cláusula geral de proteção à personalidade (art. 2º, I, c/c art. 1º, I, da lei fundamental alemã). A Corte entendeu ser possível a utilização desses mecanismos de investigação, contudo, estabeleceu a necessidade de certas condições basilares, tais como a existência de uma base legal específica, a emissão de autorização judicial e a identificação de um perigo concreto a um bem jurídico fundamental, como a vida, a liberdade ou a segurança da coletividade. Também houve o reconhecimento da necessidade de serem adotadas medidas adicionais de segurança para a proteção de informações íntimas e excessivas, evitando sua coleta, ou seu descarte e desconsideração no processo de avaliação dos dados.

Como resposta ao design dominante no sentido de contribuir para a perpertuação de discriminações ou racismo há a criação e imaginação de contra-codificações denominadas por Ruha Benjamin de instrumentos abolicionistas para o Novo Código Jim, no sentido de práticas de design orientadas para a justiça. Seria preciso reimaginar a ciência e a tecnologia para fins libertários, e em atenção aos princípios para uma justiça digital, como uma espécie de criação de um rótulo de "equidade".

É fundamental na construção de um design voltado para a justiça digital o questionamento e a abordagem dos temas de sistemas opressivos da supremacia branca, patriarcalismo e capitalismo.

Devemos então repensar o "design thinking", e talvez até mesmo o conceito de "justiça de design", diante da existência do design discriminatório, questionando quais os seres humanos que são considerados prioritários no processo, mesmo quando se menciona um "human centered design".

Podem ser citados como exemplos de tecnologias com um "ethos" emancipatório", na linha de uma "justiça de design":

1) A Stop LAPD Spying Coalition com seus esforços de combate à vigilância (https://stoplapdspying.org)

2) A liga da justiça algorítmica e sua iniciativa denominada de "Compromisso de Segurança Facial", exigindo das empresas uma posição pública no sentido de mitigar o abuso da tecnologia de reconhecimento facial. Segundo referido compromisso há a proibição do uso letal da tecnologia, o uso policial sem lei, além de exigira  transparência em qualquer uso governamental, bem como incluir compromissos radicais tais como "mostrar valor para a vida humana, dignidade, e direitos" (https://www.ajl.org);

3) O Data & Society Research Institute ao elaborar uma proposta de "responsabilidade algorítmica" (https://datasociety.net);

4) O Detroit Digital Justice Coalition com a criação do modelo DiscoTech ("descoberta de tecnologia"), visando desmistificar a ecnologia como primeiro passo para mobilizar a participação da comunidade no questionamento da sociedade de dados, e de seus impactos (http://detroitdjc.org);

5) A Allied Media Network com a iniciativa da criação do Portal Tecnológico Comunitário de Detroit, trazendo a elaboração de princípios de justiça digital (https://alliedmedia.org);

6) A Hyphen-Labs, e sua proposta de criação de desenhos subversivos, incluindo viseiras e outras roupas que impedem o reconhecimento facial (http://hyphen-labs.com);

7) O Data for Black Lives e sua missão de usar dados pessoais para criar de forma concreta e mensurável uma mudança de vida para pessoas negras (https://d4bl.org).

As ferramentas abolicionistas, desta forma, preocupam-se não só com as tecnologias emergentes, mas também com o racismo e discriminação já existentes nas estruturas sociais, baseando-se em uma abordagem holística, emancipatória, reinterpretando a justiça não como um valor estático, mas uma metodologia contínua que pode e deve ser incorporada na concepção tecnológica.

O conceito de "justiça de design" foi desenvolvido por Sasha Constanza-Chock, professora no MIT, com os colaboradores da Allied Media Network, visando repensar a dinâmica do design através de múltiplos eixos de opressão, com destaque para a necessária inclusão das comunidades marginalizadas em todas as fases do processo de concepção tecnológica.

Portanto, além de uma mudança de abordagem no design tecnológico, pensando-se a longo prazo, de forma sustentável, talvez na forma de um "design subversivo" ao invés do design dominante no sentido de um projeto colonizador,  também a regulamentação estatal deverá rever diversos pontos de fragilidade, trazendo o foco na proteção sistêmica e neste sentido é necessária uma reformulação do que se tem tratado como proteção de direitos fundamentais no âmbito da proteção de dados e da inteligência artificial, por ignorarem em muitos casos a construção epistemológica e metodológica da teoria dos direitos fundamentais enquanto teoria fundamental do direito, trazendo equívocos no que tange à natureza dos direitos fundamentais, e a correta resolução de colisão de normas de direitos fundamentais, via princípio da proporcionalidade, adequadamente entendido, o que ainda precisa ser melhor compreendido.

Vê-se, assim, conforme já destacado, que efetivamente onde há o poder há também resistência, como no caso de contra-argumentos sobre as dimensões sociais e políticas do novo código Jim, instrumentos de combate contra a iniquidade codificada, denominadas de ferramentas abolicionistas, fundamentadas em uma abordagem mais holística, emancipatória e orientada para a justiça e a solidariedade, com a qual nos alinhamos e entendemos deva prevalecer, em benefício de todos nós.

Seriam necessárias, pois, duas soluções conjuntas, uma por parte do design, e das ferramentas abolicionistas e descoloniais, e de outra parte uma necessária mudança da estrutura social. Como aponta Ruha Benjamin, para mudar as pessoas que produzem contextos discriminatórios, teremos de mudar a cultura em que elas vivem. Para mudar a cultura teremos que repensar de forma radical como vivemos, por meio da reescrita dos códigos culturais dominantes e à incorporação de novos valores e novas relações sociais no mundo.

Contudo, mesmo na área do direito vemos também a influência do pensamento voltado à uma ética utilitarista, como na análise econômica do Direito ("Law and economics"), de Jeremy Bentham e seus desenvolvimentos por Richard Posner, fundada em princípios modernos individualistas, pressuposto das teorias jurídico-econômicas da Escola de Chicago. Trata-se de uma teoria da eficiência visando, segundo Posner a maximização da riqueza (eficientismo econômico).

Fala-se em um neofeudalismo: a consolidação da riqueza e poder da elite muito além dos mecanismos de consentimento democrático. Neste sentido Piketty ("O capital no século XXI"), sendo questionável a legitimidade democrática do Poder Executivo, como aponta Shoshana Zubof (" A era do capitalismo de vigilância"), pois as elites financeiras nos Estados Unidos financiariam um ciclo de restrição política que protege seus interesses de questionamentos políticos, financiando as campanhas dos candidatos presidenciais especialmente republicanos que se comprometeram a limitar regulações, cortar impostos e reduzir direitos.

Como aponta, por sua vez, Ruha Benjamin as escolhas da indústria privada são decisões de política pública, isto é, são influenciadas por valores políticos fortemente influenciados pelo liberalismo, exaltando a autonomia individual e a liberdade das empresas em relação à regulação governamental. Os "valores políticos" têm impacto nas questões de poder, ética, equidade, e socialidade, sendo a ética dominante nesta arena melhor expressa pelo lema: "Move Fast and Break Things".

_____

1 Disponível aqui. 

2 Disponível aqui.

3 Disponível aqui.

4 Disponível aqui.