Não existe discriminação algorítmica no Judiciário brasileiro

Em nenhum dos mais de 60 (sessenta) sistemas de Inteligência Artificial (IA) existentes no Judiciário brasileiro foram relatadas ou identificadas situações de discriminação algorítmica ou de violação de direitos fundamentais. Nenhuma destas iniciativas de IA tem como tarefa a interpretação de textos legais, a elaboração de argumentação jurídica e, muito menos, a tomada de decisão autônoma pela máquina.

A discussão é fundamental porque o Projeto de Lei 2.338/23, que regulamenta o uso da IA para todos os setores e pode ser aprovado em breve pelo Senado, sob a relatoria do Senador Eduardo Gomes (PL/TO), prevê que são considerados "sistemas de inteligência artificial de alto risco" aqueles utilizados para "administração da justiça, incluindo sistemas que auxiliem autoridades judiciárias na investigação dos fatos e na aplicação da lei" (art. 17, inc. VII, do PL). Para sistemas considerados de alto risco, o fornecedor ou operador "respondem objetivamente pelos danos causados, na medida de sua participação no dano" (art. 27, §1º, do PL).

Sistemas de administração da justiça englobam os utilizados por todos os órgãos do setor: Judiciário, Polícias, Defensorias, Ministério Público etc. Em suma, pela redação legal, todos os sistemas de IA atualmente existentes no Judiciário são de alto risco e geram responsabilidade objetiva, sem verificação da culpa, em caso de dano patrimonial, moral, individual ou coletivo.

O PL 2.338/23 é resultado de um trabalho rico, extenso e de qualidade, realizado pela Comissão de Juristas criada no Senado, sob a presidência do Ministro Ricardo Cueva, que fez inovações no PL 21/2020, de autoria do Deputado Federal Eduardo Bismarck (PDT/CE). O objetivo deste curto texto é demonstrar que o critério para a classificação de riscos para a sociedade, adotado pelo PL 2.338/23, não considera as especificidades do Judiciário brasileiro e será um entrave para o desenvolvimento de outras iniciativas pelos Tribunais. Para comprovar essa afirmação, inicia-se esclarecendo o que é discriminação algorítmica no Judiciário. Na segunda parte, são expostas as tarefas desempenhadas pelos sistemas de IA do Judiciário e quais os riscos por eles gerados. Na última parte, ensaia-se uma breve proposta de classificação de riscos, sem pretensão de ser definitiva.   

O QUE É DISCRIMINAÇÃO ALGORÍTMICA NO JUDICIÁRIO?

A Resolução CNJ 332/2020, que dispõe sobre a ética, a transparência e a governança na produção e no uso de IA no Poder Judiciário, em seu art. 7º, dispõe que "as decisões judiciais apoiadas em ferramentas de inteligência artificial devem preservar a igualdade, a não discriminação, a pluralidade e a solidariedade, auxiliando no julgamento justo".

O princípio da não discriminação serve para prevenir que sistemas de IA incorporem vieses que possam gerar discriminação entre pessoas - os chamados vieses algorítmicos. Esse viés constitui erro de decisão algorítmica e ocorre quando o sistema de IA comporta-se de modo a refletir os valores humanos implícitos nos dados ou nas escolhas associadas à programação, afetando os resultados gerados pela máquina¹.

As preocupações mais comuns relacionam-se com o risco de incorporação de valores humanos negativos presentes nas decisões anteriores usadas para o treinamento do sistema. Um algoritmo é tão bom quanto os dados usados para treiná-lo, de modo que, se "o algoritmo se baseia em dados históricos repletos de preconceitos, ele reproduzirá, de forma automatizada, os mesmos padrões preconceituosos utilizados como base de seu processamento"².

Exemplo muito citado de ocorrência do viés algorítmico diz respeito ao sistema Compas (Correctional Offender Management Profiling for Alternative Sanctions - Perfil de Gerenciamento de Criminoso Correcional para Sanções Alternativas), utilizado na justiça criminal dos Estados Unidos para auxiliar o magistrado na previsão de risco de reincidência do réu.

O sistema ficou conhecido mundialmente em razão do caso Loomis vs. Wisconsin. Eric Loomis, acusado de dirigir veículo roubado e fugir da polícia, foi condenado a seis anos de prisão em agosto de 2013. Ao decidir, o juiz afirmou que o réu foi identificado, por meio da avaliação do Compas, como indivíduo de alto risco para a comunidade. Loomis recorreu, arguindo que o uso do sistema de IA na sentença seria violação do direito ao devido processo legal, já que o funcionamento do modelo computacional é segredo comercial e os magistrados não poderiam avaliar como os fatores são ponderados para a análise da reincidência. O recurso foi negado. Em última instância, a Suprema Corte americana decidiu pela ausência de violação dos direitos do réu, ainda que a metodologia usada para a avaliação de risco de reincidência não tenha sido divulgada³.

O algoritmo do Compas não usa dados de raça como entrada, o que poderia sugerir que o sistema é cego para raça. No entanto, uma análise feita por certa empresa particular coletou e analisou o resultado de pontuações de reincidência fornecidas pelo sistema em mais de 10 mil casos de réus criminais no Condado de Broward, na Flórida⁴. De acordo com os resultados obtidos, o sistema previa que réus negros tinham quase duas vezes mais chances de serem erroneamente classificados como de maior risco em comparação com réus brancos (45% contra 23%), o que demonstrou a existência de viés discriminatório. Outro estudo sobre o Compas chega a conclusão similar: o sistema indicava que negros são de maior risco, e brancos são de menor risco⁵.

Os resultados enviesados gerados pelo Compas, entretanto, não representam a regra em relação aos sistemas de IA usados no Judiciário brasileiro e não há identificação de situações como esta nos nossos Tribunais. Para comprovar essa afirmação, serão analisados a seguir os riscos de ocorrência de discriminação em razão de vieses, conforme as tarefas atribuídas a cada tipo de sistema. 

QUAIS AS TAREFAS DESEMPENHADAS PELOS SISTEMAS DE IA E QUAIS OS RISCOS GERADOS?

Até 2022, haviam sido identificadas 64 ferramentas de Inteligência Artificial espalhadas por 44 Tribunais (STJ, STJ, TST, os cinco TRFs, 23 Tribunais de Justiça e 13 TRTs), além da Plataforma Sinapses do CNJ⁶. Estes modelos computacionais, nas suas diferentes fases - em ideação, em desenvolvimento ou já implantadas -, podem ser  divididos em 4 (quatro) grupos principais⁷.

O primeiro grupo de sistemas de IA é composto por uma pequena parcela que se destina a auxiliar nas atividades-meio do Judiciário, relacionadas à administração, objetivando melhor gerir recursos financeiros e de pessoal, e não auxiliar o magistrado na prestação jurisdicional.  Citem-se, como exemplo, o Chatbot DIGEP, do TJ/RS, que responde dúvidas dos servidores quanto aos assuntos relacionados à Gestão de Pessoas,  e o AMON do TJDFT, que faz o reconhecimento facial de quem ingressa no Tribunal, para fins de segurança.

Os chatbots citados não são preocupantes em relação ao risco de discriminação ou violação de direitos fundamentais, já que sequer utilizam dados sensíveis. A ferramenta que exige mais acompanhamento é a que realiza reconhecimento facial, tendo em vista os relatos de efeitos discriminatórios em alguns casos⁸, embora em aplicações bastante diversas da presente. Note-se, ademais, que o AMON não está diretamente associado ao julgamento de processos. Eventuais falhas nos dados podem ser rapidamente identificadas, sem impactos negativos para a igualdade dos usuários dos Fóruns.

O segundo grupo, composto pela grande maioria dos sistemas, auxilia na atividade-fim, na prestação jurisdicional pelo magistrado, mas é restrito ao apoio à gestão de secretarias e gabinetes, fazendo triagem e agrupamento de processos similares, classificação da petição inicial, transcrição de audiências etc. São exemplos: no STJ, o ATHOS faz a identificação e o monitoramento de Temas Repetitivos, assim como há ferramenta que otimiza a identificação e indexação das peças processuais vindas com os autos originários; e no TJ/AL, o HÉRCULES faz a triagem de petições em processos de execução fiscal.

Aqui igualmente não há preocupação relevante em relação à incorporação de vieses implícitos. Eventuais erros no resultado gerado pelo sistema podem ser identificados e corrigidos, no decorrer da tramitação da causa, pelo servidor ou magistrado, pois os dados referem-se a situações de natureza processual, e o sistema é usado para análises objetivas, voltadas à automação de volumosas tarefas repetitivas, o que confere maior confiabilidade ao resultado e maior produtividade em relação ao ser humano. Em relação a tarefas deste grupo, sequer se exige supervisão humana, seja porque as tarefas desempenhadas são previsíveis e constituem atos ordinatórios ou despachos de mero expediente (sem conteúdo decisório e sem possibilidade de causar prejuízo às partes), seja porque colocar um servidor ou magistrado para rever atos de categorização, classificação e agrupamento de processos seria desperdiçar toda a economia de tempo que se objetiva com o uso do sistema de IA.

O terceiro grupo é composto por menor quantidade de sistemas, relacionados à atividade-fim, auxiliando ou atuando na elaboração direta de minutas com conteúdo decisório. São exemplos: no STF, o VICTOR auxilia na identificação da presença de temas de repercussão geral; no TRT da 9ª Região, o MAGUS incrementa a busca de jurisprudência; e no TJ/ES, o ARGOS, e no TJ/PB, o MIDAS, ambos auxiliando nas decisões sobre o deferimento ou indeferimento da justiça gratuita.

Difícil prever situações de risco discriminatório em relação aos sistemas que buscam jurisprudência ou fazem a admissibilidade recursal, seja porque os dados do treinamento desses sistemas são de natureza processual e, portanto, dizem respeito a situações objetivas, seja porque é exigida a revisão humana, que pode facilmente identificar e corrigir eventual equívoco da máquina, sem prejuízo às partes. Essa mesma conclusão aplica-se a diversos sistemas que elaboram minutas instantaneamente. Por exemplo, o sistema ELIS, do TJPE, é empregado para agilizar a etapa de conferência e deferimento da petição inicial da execução fiscal. A ferramenta elabora, automaticamente, minuta padrão de decisão e encaminha para a análise e aprovação do magistrado. Segundo a estimativa do TJPE, antes do uso do Elis, 70 mil petições iniciais levavam cerca de um ano e meio para serem conferidas manualmente. Atualmente, esse mesmo volume é analisado pela inteligência artificial em 15 minutos.

Finalmente, o quarto grupo é composto por ferramentas que auxiliam na solução adequada dos conflitos. Os sistemas ICIA, do TRT4, e o Concilia JT, do TRF12, não elaboram proposta de acordo, mas apenas analisam o histórico de conciliações do passado e estimam a probabilidade de o processo ser conciliado no estágio em que se encontra. A base de dados é reflexo de conciliação do passado, portanto, pode haver viés originário da prática dos servidores. De todo modo, não parece haver aumento do risco que normalmente ocorreria na seleção feita pelos servidores.

Falta analisar o uso de sistemas de IA no Judiciário brasileiro relacionados à questão criminal, tendo em vista os impactos que podem gerar para os direitos fundamentais do acusado ou réu. No Brasil, não há sistemas que auxiliam na avaliação da reincidência ou do cometimento do crime.

No TJ/RO, o PETICIONAMENTO INTELIGENTE ajuda as delegacias de polícia a enviar documentos (termo circunstanciado, inquérito policial etc) ao PJe. De acordo com as informações prestadas pelo Tribunal para a citada pesquisa do CIAPJ/FGV, de fato, não foram identificados riscos, incluindo discriminatórios, uma vez que o sistema consiste em acelerar o preenchimento dos campos.

No TJ/DFT, o SAREF controla a presença dos apenados da Vara de Execuções Penais em regime aberto por meio de reconhecimento facial, criando alternativa à apresentação presencial de uma população de cerca de 20 mil apenados. Em vez de comparecer pessoalmente, o apenado comprova sua localização por meio do aplicativo. O risco, como informado pelo Tribunal na citada pesquisa, é a possibilidade de reconhecer um apenado com metadados de outro, bem como a tentativa de fraude com simulação de imagem digital prévia. A princípio, inexiste identificação de risco de discriminação, no entanto, é relevante que haja acompanhamento constante no seu uso e que a base com os dados pessoais dos apenados não seja utilizada para outros fins, em observância ao art. 6º, I, da LGPD⁹.

Como sintetizam Maranhão, Florêncio e Almada, os sistemas existentes no Judiciário brasileiro, e não apenas os usados em matéria penal, utilizam métodos de predição empíricos, ou seja, "extraem os resultados de uma série de decisões judiciais e as correlacionam com fatores como o tipo de demanda, valor envolvido e o Tribunal em que a demanda é julgada". Justamente por isso, os sistemas de aprendizado de máquina "não levam em consideração qualquer justificação normativa sobre como deve ser a decisão a partir das características e argumentos do caso"¹⁰.

Mesmo nos modelos computacionais que fornecem subsídios para a elaboração de minutas com conteúdo decisório, a tarefa da máquina limita-se a identificar temas repetitivos ou fundamentos presentes nas peças, a pesquisar jurisprudência e a sugerir decisões simples como de gratuidade de justiça, sendo os resultados sujeitos à supervisão do juiz. Em suma, as máquinas atuais são capazes de utilizar a inteligência de dados, mas não a consciência hermenêutica própria do raciocínio humano¹¹.

A análise feita acima permite concluir que, no estado atual do uso da inteligência artificial no Judiciário brasileiro, as iniciativas em produção e em desenvolvimento não têm aplicação que permita identificar relevante risco discriminatório.

Esta conclusão não dispensa a necessidade de deveres de cuidado no desenvolvimento e implementação da IA no Judiciário, assim como constante monitoramento e auditorias das iniciativas atuais e futuras. Ainda há pouco conhecimento sobre o potencial lesivo dessa tecnologia, bem como sobre as formas de responsabilização por danos dela decorrentes¹².

BREVE PROPOSTA DE CLASSIFICAÇÃO DE RISCOS: PARA DISCUSSÃO

O Regulamento de Inteligência Artificial proposto pelo Parlamento Europeu prevê que há risco elevado em para determinados sistemas de IA concebidos para a administração da justiça e a democracia, mas não para todo e qualquer sistema usado para a administração da justiça. O Regulamento não considera como de risco elevado os sistemas de IA que desempenham atividades administrativas puramente auxiliares que não afetam a administração efetiva da justiça em casos individuais e a afetação de recursos. Veja-se:

 "Determinados sistemas de IA concebidos para a administração da justiça e os processos democráticos devem ser classificados como de risco elevado, tendo em conta o seu impacto potencialmente significativo na democracia, no Estado de direito e nas liberdades individuais, bem como no direito à ação e a um tribunal imparcial. Em particular, para fazer face aos riscos de potenciais enviesamentos, erros e opacidade, é apropriado classificar como de risco elevado os sistemas de IA concebidos para auxiliar as autoridades judiciárias na investigação e na interpretação de factos e do direito e na aplicação da lei a um conjunto específico de factos. Contudo, essa classificação não deve ser alargada aos sistemas de IA concebidos para atividades administrativas puramente auxiliares que não afetam a administração efetiva da justiça em casos individuais, como a anonimização ou a pseudonimização de decisões judiciais, documentos ou dados, comunicações entre pessoal, tarefas administrativas ou afetação de recursos."¹³(grifei)

Considerando os 4 (quatro) grupos de sistemas de IA tratados acima, divididos conforme as tarefas desempenhadas, sugere-se, a seguir, uma classificação de riscos para sistemas usados pelo Judiciário, que diferencia entre as utilizações de IA que criam: i) risco baixo; ii) risco médio; iii) risco elevado e iv) risco proibido.

1. São sistemas de risco baixo:

i) os que se destinam a auxiliar nas atividades-meio do Judiciário, relacionadas à administração dos Tribunais (desempenham as tarefas previstas no primeiro grupo que tratamos). Seus resultados não têm conteúdo decisório e nem possibilidade de causar prejuízo às partes, por isso sequer demandam revisão humana;

ii) os que auxiliam na atividade-fim, ou seja, na prestação jurisdicional pelo magistrado, mas são restrito ao apoio à gestão de secretarias e gabinetes, fazendo triagem e agrupamento de processos similares e classificação de petições (desempenham as tarefas previstas no segundo grupo).  Seus resultados não têm conteúdo decisório e nem possibilidade de causar prejuízo às partes, por isso sequer demandam revisão humana;

iii) os que auxiliam na atividade-fim, elaborando ou ajudando nas minutas com conteúdo decisório (desempenham algumas das tarefas previstas no terceiro grupo). O risco é baixo quando as tarefas se referirem a situações objetivas, como admissibilidade recursal, cálculos de prescrição e decadência tributária, análise de gratuidade de justiça, processos de direito de massa, todas sujeitas à revisão humana; e

iv) os que auxiliam na solução adequada dos conflitos, por meio da conciliação e mediação (desempenham as tarefas descritas no quarto grupo). A depender de como o sistema funciona, o risco pode ser médio, de modo que a classificação deve ser contextual.  

2. São sistemas de risco médio:  

- os que auxiliam na atividade-fim, elaborando ou ajudando nas minutas com conteúdo decisório (desempenham algumas das tarefas previstas no terceiro grupo). O risco é médio quando as tarefas se referirem a situações objetivas, porém, sem supervisão humana, portanto, em situações em que se confere maior autonomia à máquina. Ainda que as tarefas sejam padronizadas, possuem conteúdo decisório, por isso geram um aumento do risco quando não sujeitas à revisão judicial imediata. Eventual falha poderia ser corrigida em sede recursal.

3. São sistemas de risco elevado:

Os sistemas que podem ter impacto potencialmente significativo na democracia, no Estado de Direito e nas liberdades individuais. É o caso dos sistemas de IA concebidos:

i) para a automação e oferecimento de subsídios destinados ao cálculo de penas, prescrição criminal e verificação de reincidência criminal. Tratam-se de tarefas autorizadas pelo art. 23, § 1º, da Res. 332/2020 do CNJ; e

ii) para auxiliar as autoridades judiciárias na interpretação de fatos e do direito e na aplicação da lei a um conjunto específico de fatos que exija uma análise subjetiva. Trata-se de uma definição similar à utilizada pela proposta do Regulamento da Comissão Europeia. Como visto, não há no Judiciário brasileiro sistemas de IA que atualmente desempenhem tarefas de interpretação de normas e nem análise subjetiva de fatos.

Sistemas de risco elevado podem ser utilizados, desde que: haja supervisão humana para prevenir ou minimizar os riscos para os direitos fundamentais, bem como cumpram requisitos relativos à qualidade dos conjuntos de dados utilizados, à documentação técnica e à manutenção de registos, à transparência e à prestação de informações aos utilizadores e à cibersegurança.

4. Sistemas de risco proibido:

 Incluem os sistemas de IA cuja utilização seja considerada inaceitável no Poder Judiciário. Por exemplo, para a sugestão de decisões preditivas em matéria criminal, com impacto imediato na absolvição ou condenação do réu. Classificar um sistema como de risco elevado ou proibido é contextual e não depende só da função do sistema de IA, mas também da finalidade específica e das modalidades para as quais aquele sistema é utilizado.

Conclui-se reconhecendo que o PL 2.338/23 é um convite ao debate público, com a participação de todos os setores da sociedade, sobre uma questão fundamental: definir o que esperamos da IA e como podemos aproveitá-la, de forma ética e segura, para o aprimoramento do ser humano e para a melhoria das condições de vida em escala global.

No entanto, é importante lembrar que a regulação de qualquer matéria, seja sáude suplementar, petróleo ou transporte aéreo, exige que antes se conheçam os resultados positivos e negativos da atuação do mercado para que se possa aferir a medida da regulação dos riscos. Na inteligência artificial, como há novas possibilidades de aplicação de tecnologias a cada dia e previsão de riscos que sequer ocorreram, optar por regular antes da ocorrência de resultados negativos exige uma cautela ainda maior - ou os efeitos da lei podem ser piores do que a ausência de regulação. 

_____________

1 Fizemos uma análise abrangente no artigo "Inteligência artificial no judiciário brasileiro: estudo empírico sobre algoritmos e discriminação", disponível em: https://periodicos.uesc.br/index.php/dike/article/view/3819

2 DONEDA, Danilo; MENDES, Laura; SOUZA, Carlos Affonso Pereira de; ANDRADE, Norberto Nuno Gomes de. Considerações iniciais sobre inteligência artificial, ética e autonomia pessoal. Pensar, Fortaleza, v. 23, n. 4, p. 1-17, out./dez. 2018, aqui, p. 5.

3 State v. Loomis: 881 N.W.2d 749 (Wis. 2016). Harvard Law Review, vol. 130, p. 1530-1537, 10 mar 2017, aqui, p. 1532. Disponível: [https://harvardlawreview.org/2017/03/state-v-loomis/].

4 ANGWIN, Julia; LARSON, Jeff; MATTU, Surya; KIRCHNER, Lauren. How we analyzed the Compas recidivism algorithm. Pro Publica, 23, mai 2016. Disponível: [https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm].

5 TAN, Sarah; CARUANA, Rich; HOOKER, Giles; LOU, Yin. Detecting Bias in Black-Box Models Using Transparent Model Distillation. Proceedings of the 2018 AAAI/ACM Conference on AI, Ethics, and Societ, dezembro, 2018, p. 303-310, aqui, p. 305. Disponível: [https://www.aies-conference.com/2018/contents/papers/main/AIES_2018_paper_96.pdf].

6 CIAPJ/FGV Conhecimento. Tecnologia aplicada à gestão dos conflitos no âmbito do Poder Judiciário. 2 ed., Rio de Janeiro, 2022. Disponível: [https://ciapj.fgv.br/sites/ciapj.fgv.br/files/relatorio_ia_2fase.pdf].

7 Fizemos uma análise sobre cada sistema de IA em: https://www.conjur.com.br/2022-mai-11/salomao-tauk-estamos-perto-juiz-robo/

8 THE GUARDIAN. The Guardian View on Facial Recognition: A Danger to Democracy. Editorial, 9 jun 2019. Disponível em: [https://www.theguardian.com/commentisfree/2019/jun/09/the-guardian-view-on-facial-recognition-a-danger-to-democracy] .

9 Pesquisa sobre todos os sistemas de IA nos Tribunais de Brasília: CIAPJ/FGV Conhecimento. Tecnologia aplicada à gestão dos conflitos no âmbito do Poder Judiciário. 3 ed., Rio de Janeiro, 2023. Disponível: https://ciapj.fgv.br/sites/ciapj.fgv.br/files/relatorio_ia_3a_edicao_0.pdf

10 MARANHÃO, Juliano Souza de Albuquerque; FLORÊNCIO, Juliana Abrusio e ALMADA, Marco. Inteligência artificial aplicada ao direito e o direito da inteligência artificial. Suprema - Revista de Estudos Constitucionais, v. 1, n. 1, p. 154-180, jan./jun. 2021, aqui, p.165. Disponível: [https://suprema.stf.jus.br/index.php/suprema/article/view/20].

11 MARRAFON, Marco Aurélio. Filosofia da linguagem e limites da IA na interpretação jurídica (parte II).. Conjur, 8 jun 2020. Disponível: [https://www.conjur.com.br/2020-jun-08/constituicao-poder-filosofia-limites-ia-interpretacao-juridica-parte-ii].

12 DE TEFFÉ, Chiara Spadaccini; MEDON, Filipe. Responsabilidade civil e regulação de novas tecnologias: questões acerca da utilização de inteligência artificial na tomada de decisões empresariais. REI - revista estudos institucionais, v. 6, p. 301-333, 2020.

13 COMISSÃO EUROPEIA. Proposta de Regulamento Inteligência Artificial do Parlamento Europeu e do Conselho, Considerando n. 40. Disponível: https://eur-lex.europa.eu/legal-content/PT/TXT/DOC/?uri=CELEX:52021PC0206