A previsão de julgamentos judiciais é um dos campos mais aclamados para a área de pesquisa e atuação que combina Inteligência Artificial e Direito. Por previsão legal, entendemos um sistema inteligente capaz de prever desfechos judiciais específicos. Veremos neste artigo que esta área de estudo já se encontra avançada em alguns países do hemisfério norte enquanto dá os primeiros passos aqui no Brasil. Será que num futuro próximo todo escritório de advocacia terá sua própria "bola de cristal"? Será que irão "jogar com as regras"? Play by the rules?  Vejamos como poderá ser esse jogo.

Preliminares

O exercício da previsão de julgamentos judiciais não é domínio apenas de advogados especialistas e de réus agoniados. Estranhamente, um dos textos clássicos mais referenciados sobre este tema é do professor emérito de Matemática da Universidade de Arkansas, EUA, Ernest Ray Keown [KEOWN, 1980]. Neste texto de 1980, Prof. Keown aborda modelos lineares clássicos que agrupam julgamentos semelhantes em grupos temáticos, o que chamamos vizinhos próximos. Um caso novo, ainda por julgar, seria avaliado quanto à maior proximidade de um destes grupos temáticos e, consequentemente, a previsão seria a mesma dos casos deste grupo particular, o mais semelhante ao caso novo. Considero este artigo emblemático pois, logo na seção introdutória, Prof. Keown comenta outro célebre artigo, este datado de 1976, do também Prof. Emérito, L. Thorne McCarty, da Rutgers State University, que, há 45 anos atrás, aplica teorias baseadas em Inteligência Artificial para desenvolver métodos lógicos para analisar e prever decisões judiciais [MCCARTY, 1976].

Atualmente a pesquisa e atuação da previsão de julgamentos judiciais é bem extensa e muito aplicada, principalmente nos países que adotam a Common Law. O grupo do Dr. Yao atualiza a definição deste tipo de previsão como a que visa determinar as decisões judiciais pela descrição do fato de uma ação penal. Yao vai além e enfatiza as várias sub tarefas da previsão de julgamentos, ou seja, previsão de desfecho, previsão de artigo de lei, previsão de carga e condições de previsão de penalidade [YAO et al., 2021]. Todos sabemos que o núcleo central da Common Law, o uso de precedentes, não é um princípio comum do Civil Law, nosso modelo, embora se considere que o uso de precedentes tenha sido muito recorrente, especialmente após a Constituição do Brasil de 1988 [Lexecology, 2018].

Como chegamos aqui?

Uma questão oportuna aqui seria: Mas por que escolher a área de Direito como aplicação? Já não existem outras áreas do conhecimento as quais a coleta de dados é mais fácil de ser realizadas e os dados mais objetivos para serem interpretados? Direito lida com argumentos, códigos e interpretações. A Inteligência Artificial (IA) já compreende todas essas frentes?

Vamos por partes. Um dos ramos da IA é conhecido como Processamento de Língua Natural (PLN). PNL compreende uma vasta área de técnicas computacionais embasadas em teorias matemáticas para a análise automática e representação da linguagem humana [CAMBRIA & WHITE, 2014]. Os assistentes de voz Siri, da Apple, Google Assistente e a Alexa, da Amazon, são bons exemplos de aplicações dos conhecimentos da área de PLN.

Mas e os textos? Eles não são mais difíceis de serem processados do que, por exemplo, uma tabela de produtos e valores? Sim, uma tabela que relaciona produtos e valores pode servir, por exemplo, para um site que ajuda as pessoas em pesquisa de preços de produtos, enquanto que fazer uma máquina "ler" mapa meteorológico e "escrever uma previsão do clima", por exemplo, é muito mais complicado. (Nota: essa aplicação em meteorologia também já existe.). Vale lembrar que o Direito é baseado num sistema de regras que regulam o comportamento humano. É praxe no Direito a produção de documentos logicamente organizados, não apenas no sentido semântico, mas no sentido organizacional do documento. Existe um padrão esperado de escrita que induz a um raciocínio. Regras, lógica, organização sequencial, indução ao raciocínio: são todos elementos que um cientista da Computação, um programador ou um analista de sistema tem plena afinidade profissional. Direito e Computação são áreas muito próximas, acreditem. Assim, recolher os atributos textuais de documentos legais, muito embora seja uma tarefa complexa, gera bons resultados justamente por provocar uma certa indução ao conhecimento. Esses atributos textuais, as palavras, frases, menções a artigos e fatos, entre outros elementos, contribuem para a formação de um arcabouço semântico que é singularmente captado pela Computação.

O que diferencia as metodologias atuais, com forte reforço da IA, das metodologias passadas é basicamente o fato que esses atributos textuais, quando recuperados dos textos e armazenados, eram colocados todos como se num "grande saco de atributos", ou seja, sem uma ordem lógica devida, sem uma precedência ou noção de causa e efeito. Bem parecido com o famoso dito popular, "todos juntos e misturados". Atualmente, com as novas metodologias e recursos da IA, especialmente das estratégias que usam técnicas de aprendizado profundo, esses atributos são recuperados e armazenados sequencialmente, ou seja, o texto é lido e "entendido" na ordem que foi escrito. Parece sim ser muito óbvia essa abordagem sequencial, mas na lógica computacional essas máquinas que processam e consideram instâncias sequenciais, ou seja, o que implica evento após evento, são inovações recentes na Computação.

Um dos primeiros casos de previsão de julgamento que tive contato foi com o trabalho do Prof. Nikolaos Aletras, da Universidade de Shefield, na Inglaterra [ALETRAS et al., 2016]. Esse grupo usou um conjunto de dados de casos do Tribunal Europeu dos Direitos Humanos, contendo casos que violam três artigos da sua Convenção. Estes artigos são:

• Artigo 3: Proíbe a tortura e os tratamentos desumanos e degradantes; para os quais coletaram dados de 250 processos;
• Artigo 6: Protege o direito a um julgamento justo; com dados de 80 processos; e
• Artigo 8: Concede o direito ao respeito pela vida privada e familiar, de seu lar e de sua correspondência; para qual finalmente reuniram 254 processos para este caso.

Todos esses processos serviram como bases de aprendizado sobre ao qual testaram suas hipóteses de julgamento. Eles usaram um algoritmo de IA bastante conhecido, as Support Vector Machines, SVM, e obtiveram 78% na previsão de julgamento para o Artigo 3, 84% na previsão para o Artigo 6 e, novamente, 78% na previsão o Artigo 8.

De maneira semelhante, a equipe do Dr. Josh Blackman, do South Texas College of Law Houston, usou a base de dados da Suprema Corte norte-americana para prever mais de 240 mil votos dos ministros e 28.000 desfechos durante quase dois séculos de operação desta corte (1816-2015) [KATZ et al., 2017]. Em todos os casos, eles obtiveram acurácia superior a 70% de acerto.

A priori, esses números podem parecer tímidos, no entanto, vale refletir sobre quais seriam os eventuais resultados de um segundo julgamento por outros juízes humanos.

Novidades brasileiras

Tive o privilégio de orientar o acadêmico, cientista da computação, Vithor Gomes Ferreira Bertalan, atualmente buscando seu doutorado em Engenharia da Computação na Polytechnique Montréal, Canadá, no seu trabalho de mestrado entitulado "Using natural language processing methods to predict judicial outcomes". Para esse trabalho de previsão de julgamento, nosso mestre coletou dados do eSAJ, ou seja, do TJ/SP, Tribunal de Justiça de São Paulo, sobre os temas "homicídio simples", e "corrupção ativa". Formamos um banco de dados balanceado de processos eletrônicos, ou seja, com números equivalentes de condenações e absolvições, com 1.681 casos de homicídio e 786 de corrupção ativa. Fizemos um árduo trabalho de pré-processamento dos textos, por exemplo, eliminando algumas palavras tais como artigos e preposições e, na sequência, aplicamos técnicas variadas de Aprendizado de Máquina, ou seja, uma forma de IA. Foram essas: Regressão Logística, Análise de Discriminantes, Vizinhos comuns (lembram do artigo do Prof. Keown que também usou esta técnica), árvores de regressão, método ingênuo de Bayes e as SVM, ou seja, a mesma técnica do Prof. Aletras, já mencionado acima. Essa última técnica, em geral, produziu os melhores resultados nos dois grupos, todos superiores a 95% de acurácia [BERTALAN e RUIZ, 2020]. Os números falam por si só.

A previsão de julgamentos está chegando. ASHLEY e BRÜNINGHAUS lá nos idos de 2009 já haviam previsto as duas áreas de maior impacto na confluência da Computação com o Direito, que são a classificação automática de processos e a previsão de julgamentos. De certa forma, a nossa suprema corte já validou a primeira área quando instituiu o Projeto Victor [PEIXOTO, 2020], um sistema de inteligência artificial para aplicação nos fluxos de análise de repercussão geral no Supremo Tribunal Federal. Só resta agora esperar pela próxima fase.

E o futuro? A quem pertence as decisões: aos humanos ou às IAs?

Nem tudo são flores. Harry Surden, num artigo de 2014 [SURDEN, 2014], já coloca algumas barreiras para a expansão das aplicações de PLN, IA e Direito. Relativamente às questões técnicas, existem algumas limitações bem conhecidas para a aplicação da IA no Direito. A primeira é que um modelo só será útil na medida em que a classe de casos futuros possua características pertinentes e comuns com os tópicos previamente analisados no conjunto de treinamento. Portanto, o modelo não contemplará mudanças sutis no pensamento judicial ao longo do tempo, apenas se essas mudanças surgirem para representar um tamanho considerável dos dados de treinamento.

Outra questão é que nem todo escritório de advocacia terá um fluxo de casos suficientemente semelhantes entre si, de modo que o caso anterior tenha elementos úteis para prever resultados futuros. Assim, pode-se inferir que apenas os maiores escritórios de advocacia terão os ativos financeiros e tecnológicos necessários para desenvolver tais modelos.

Quanto às questões sociais, outro possível problema, já conhecido da teoria da IA, é uma supergeneralização, também conhecida na área técnica como overfitting. O modelo é intrinsecamente baseado nos casos previstos para o conjunto de treinamento. Assim, se o conjunto de treinamento contiver casos tão afinados com as idiossincrasias de algumas questões judiciais, não poderá ter a adaptabilidade necessária a casos de diferentes naturezas judiciais. Por esse motivo, os dados de casos anteriores, nos quais um algoritmo de aprendizado de máquina é treinado, podem ser sistematicamente tendenciosos para levar a resultados imprecisos em futuros processos judiciais.

Neste mundo novo, uma predição é certa: essas pesquisas por melhores métodos de previsão continuarão, as máquinas de IA ficarão mais "inteligentes" e poderosas do que são hoje, a qualidade dos atributos que conseguiremos recuperar dos textos será incrementada e esses métodos de previsão trarão resultados cada vez mais próximos dos resultados humanos. Certamente esse futuro será desafiador, tanto para o Direito quanto para a Computação, não espere para ver. Participe!

Referências bibliográficas

KEOWN, R. Mathematical models for legal prediction. Computer / Law Journal, v. 2, p. 829, 1980.

MCCARTY, L. Thorne. Reflections on TAXMAN: An experiment in artificial intelligence and legal reasoning. Harv. L. Rev., v. 90, p. 837, 1976.

YAO, Fanglong et al. Commonalities-, specificities-, and dependencies-enhanced multi-task learning network for judicial decision prediction. Neurocomputing, v. 433, p. 169-180, 2021.

CAMBRIA, Erik; WHITE, Bebo. Jumping NLP curves: A review of natural language processing research. IEEE Computational intelligence magazine, v. 9, n. 2, p. 48-57, 2014.

Lexecology. Disponível aqui. Último acesso em 20 de setembro de 2021.

SURDEN, Harry. Machine learning and law. Wash. L. Rev., v. 89, p. 87, 2014.

ALETRAS, Nikolaos et al. Predicting judicial decisions of the European Court of Human Rights: A natural language processing perspective. PeerJ Computer Science, v. 2, p. e93, 2016.

KATZ, Daniel Martin; BOMMARITO, Michael J.; BLACKMAN, Josh. A general approach for predicting the behavior of the Supreme Court of the United States. PloS one, v. 12, n. 4, p. e0174698, 2017.

BERTALAN, Vithor Gomes Ferreira. Using natural language processing methods to predict judicial outcomes. 2020. Dissertação (Mestrado em Computação Aplicada) - Faculdade de Filosofia, Ciências e Letras de Ribeirão Preto, Universidade de São Paulo, Ribeirão Preto, 2020. doi:10.11606/D.59.2020.tde-04012021-232455. Acesso em: 20 de setembro de 2021.

BERTALAN, Vithor Gomes Ferreira; RUIZ, Evandro Eduardo Seron. Predicting Judicial Outcomes in the Brazilian Legal System Using Textual Features. In: DHandNLP@ PROPOR. 2020. p. 22-32.

ASHLEY, Kevin D.; BRÜNINGHAUS, Stefanie. Automatically classifying case texts and predicting outcomes. Artificial Intelligence and Law, v. 17, n. 2, p. 125-165, 2009.

PEIXOTO, Fabiano Hartman. Projeto Victor: relato do desenvolvimento da Inteligência Artificial na Repercussão Geral do Supremo Tribunal Federal. Revista Brasileira de Inteligência Artificial e Direito. v. 1 n. 1, 2020.

*Evandro Eduardo Seron Ruiz é professor Associado do Departamento de Computação e Matemática, FFCLRP - USP, onde é docente em dedicação exclusiva. Atua também como orientador no Programa de Pós-graduação em Computação Aplicada do DCM-USP. Bacharel em Ciências de Computação pela USP, mestre pela Faculdade de Engenharia Elétrica da UNICAMP, Ph.D. em Electronic Engineering pela University of Kent at Canterbury, Grã-Bretanha, professor Livre-docente pela USP com estágios sabáticos na Columbia University, NYC e no Instituto de Estudos Avançados da USP (IEA-USP). Coordenador do Grupo de Pesquisa "Tech Law" do IEA-USP. Membro fundador do Instituto Avançado de Proteção de Dados - IAPD. (www.iapd.org.br).