A temática da inteligência artificial está intimamente relacionada com a proteção de dados no âmbito do que se denomina de "big data", já que grande parte das aplicações de IA utilizam-se de banco de dados.

Como bem é apontado no livro "The rise of big data policing: surveillance, race, and the future of law enforcement"¹ a governança de algoritmos deveria se pautar em algumas questões essenciais, de modo a se evitar o determinismo tecnológico, tais como: é possível identificar os riscos que a tecnologia escolhida está tentando endereçar? É possível defender os inputs do sistema (acurácia dos dados e idoneidade da metodologia)? É possível defender os outputs do sistema e como eles impactarão as políticas em prática e as relações comunitárias? É possível testar a tecnologia, oferecendo "accountability" e alguma medida de transparência? A política de uso da tecnologia respeita a autonomia das pessoas que elas irão impactar?

Envolvendo tal questão foi proferida uma decisão judicial de 02/2020 pela Corte de primeira instância de Haia, acerca do sistema denominado de SyRI na Holanda (Systeem Risico Indicatie), com o objetivo de detecção de fraudes tais como sonegação e recebimento indevido de benefícios de seguridade social, a partir da construção de perfis de risco de suspeitos, por meio da utilização de base dados comportamentais registrados em diversos sistemas governamentais. Entendeu-se que o sistema não estabelecia as salvaguardas exigidas pela Convenção Europeia de Direitos Humanos (art. 8º, § 2º), no tocante à ponderação entre os interesses sociais e os potenciais danos quanto às liberdades e direitos fundamentais.

Mais do que nunca é urgente que as temáticas do direito digital em sentido amplo se atentem às contribuições do Constitucionalismo Digital ("digital constitucionalism"), como apontam autores como Giovanni di Gregorio da Bocconi University, Gilmar Mendes, Edoardo Celeste, Claudia Padovani e Mauro Santaniello, frisando a necessidade de se postular pelo uso das estruturas e mecanismos do constitucionalismo moderno para guiar a governança do espaço digital, a fim de ser assegurado um maior equilíbrio das relações jurídicas e a proteção dos direitos fundamentais.

Neste sentido Gunther Teubner² traz uma importante contribuição ao mencionar a formulação tradicional da abordagem de direitos fundamentais sob uma perspectiva individualista de equilíbrio entre direitos individuais dos atores privados na esfera digital, a qual encontra-se desatualizada, não sendo mais suficiente, devendo ser abordada a dimensão coletivo-institucional dos direitos fundamentais. Isto porque as redes sociais, a exemplo do Facebook com seu Oversight Board ou "Suprema Corte do Facebook" estaria a exercer uma verdadeira função normativa.

Wolfgang Hoffmann-Riem aponta para a importância no âmbito da inteligência artificial dos direitos fundamentais e da proporcionalidade para se compatibilizar a proteção e de outro lado não impedir a inovação, sugerindo a proposta de "responsabilidade pela inovação", ou "innovation forcing"³. Trata-se da definição normativa de objetivos ou padrões que ainda não podem ser cumpridos sob o padrão de desenvolvimento atual, mas que são plausíveis de serem cumpridos no futuro. Caso não haja tal implementação dentro de determinado período o desenvolvimento e uso da aplicação de IA em questão devem ser abandonados. É o que destaca também Laura Mendes em sua apresentação ao livro: "o professor Hoffmann-Riem nos ensina que a preocupação com a preservação e atualização dos direitos fundamentais deve ser constante, enxergando o Direito como um instrumento de limitação de poderes e de regulação da inovação, de acordo com os objetivos e os valores firmados no ordenamento jurídico, especialmente, os princípios constitucionais".⁴

É destacada a importância da transparência para a responsabilização, permitindo-se um controle externo eficaz, fundamentais para uma corresponsabilidade democrática. Nas palavras de Wolfgang Hoffmann-Riem:

É importante tanto para os usuários como para as autoridades de controle e para o público em geral, enquanto portadores de corresponsabilidade democrática, que o tratamento de dados, incluindo a sua utilização no contexto da análise de Big Data, seja compreensível e controlável na medida em que interesses jurídicos individuais ou coletivos possam ser negativamente afetados. Os requisitos de transparência referem-se não só à possibilidade de perceber a superfície da comunicação, mas também ao conhecimento dos fenômenos que são importantes para compreender o funcionamento do controle baseado em algoritmos. Isso se aplica, por exemplo, ao design técnico e aos critérios e conceitos do uso de algoritmos. A transparência é um pré-requisito para garantir, em particular, a responsabilização. (...) A eliminação dos déficits de transparência pressupõe requisitos legais que garantam a disponibilidade de informação suficiente sobre o campo regulatório a ser influenciado, não apenas sobre os dados na posse de atores públicos ou privados, mas também sobre a forma como eles são gerados e utilizados e a medida em que cumprem os requisitos legais.⁵

O constitucionalismo digital possuiria uma natureza pré ou proto-constitucional por se referir a reações normativas difusas e que não se limitam ao âmbito do Estado-Nação, com foco na proteção dos direitos digitais, a limitação do exercício do poder em e através das obras da rede digital e à formalização dos princípios de governança para a Internet. Embora, algumas legislações formais sobre a internet se situem em um plano infraconstitucional, apresentam uma verdadeira natureza "pré" ou "proto-constitucional", uma vez que estabelecem verdadeiros blocos de interpretação das constituições formais na esfera digital. Seria algo como o constitucionalismo "societal" (social ou societário) de Sciulli, o qual adota e desenvolve Teubner.

Por sua vez na área de IA fala-se em abordagem via risquificação, por meio de regulações que possuam uma parte principiológica e outra parte prevendo documentos importantes e que devem ser obrigatórios nos casos de elevados riscos ou moderados a direitos fundamentais, devendo prever igualmente seus requisitos e procedimento de elaboração. A heterorregulação, portanto, deverá ser complementada pela autorregulação regulada, por meio de boas práticas, "compliance", e via arquitetura técnica e design de IA.

Um outro aspecto essencial é a conjugação da abordagem com base no risco (proteção) mas também em escala, visando não obstar a inovação. Diversos autores defendem a perspectiva da risquificação tais como Serge Gutwirth & Yves Poullet, Claudia Quelle e Alessandro Spina, Zanatta, com destaque dos instrumentos de regulação "ex ante", como códigos de conduta, certificações, auditorias independentes, e a elaboração de documentos de avaliação tais como DPIA - Relatório de Impacto de proteção de dados e LIA - Avaliação do Legítimo interesse e a Avaliação de algoritmos de IA.

Refletem tal mudança de abordagem alguns importantes documentos regulatórios publicados pela Comissão Europeia como, por exemplo, a Resolução do Parlamento Europeu de 20/10/2020 e as Recomendações à Comissão Europeia sobre o regime de responsabilidade civil aplicável à IA de 2020 (2020/2014 INL) como se observa dos Considerandos 6 e 7 afirmando que não é mais necessário se conferir personalidade jurídica as aplicações de IA. No mesmo sentido o documento denominado "White paper on IA" publicado pela Comissão Europeia em 19/02/2020. Referido documento traz uma separação, para fins regulatórios entre IA de alto risco, de risco moderado e baixo. No caso de risco alto há uma série de condições-chave que deverão ser observadas (robustez, precisão e supervisão humana e garantia dos direitos fundamentais). No caso de risco baixo há a observância de regras padrão, de adesão voluntária ("voluntary labelling"), uma espécie de certificação e rotulagem voluntária, ou  selo de qualidade.

Um dos mais importantes documentos da Comissão Europeia na linha da abordagem via risquificação, é o AI Act de 21/04/2021 da IA (Regulamento da IA) trazendo também a perspectiva do "human rights by design", "beneficial AI", "AI for good" e "HumanCentered AI". Referida regulação traz a separação entre aplicações de riscos inaceitáveis, com proibição expressa, risco alto, moderado e baixo. Uma das aplicações consideradas como de risco inaceitável é a tecnologia de vigilância do reconhecimento facial, com exceção da utilização por órgãos governamentais para a prática de investigação de crimes graves.

O AI ACT - 04.2021: segue a ótica já traçada quando do GDPR -  Regulamento Geral de Proteção de Dados da União Europeia, das Recomendações do Parlamento Europeu à Comissão sobre disposições de Direito Civil sobre Robótica de 02/2017, da Estratégia Europeia para a IA de 04/2018 -"IA para a Europa" (COM/2018/237) buscando de um lado a proteção aos direitos fundamentais, e de outro não obstar a inovação.

As abordagens devem ser conjuntas a fim de alcançarmos uma proteção sistêmica, via heterorregulação (com abordagem via risquificação), via arquitetura técnica (protection by design), mas trazendo também em consideração a coletivização, ou seja, a partir do reconhecimento da múltipla dimensionalidade dos direitos fundamentais, envolvendo aspectos individuais, coletivos e sociais. E como afirma Claudia Quelle, Univ. Tilburg as metodologias no caso de abordagens de risco serão influenciadas pela teoria do balanceamento de direitos fundamentais, diante de casos concretos. Neste sentido por exemplo, o European Data Protection Board (EDPB) ao comentar sobre os critérios de avaliação do risco para a elaboração do DPIA, na linha do GDPR (Consideranda 84 e art. 35), afirma a necessidade de se observar um procedimento envolvendo a avaliação da necessidade e da proporcionalidade. Isto porque estamos sempre falando de casos de possíveis colisões de normas de direitos fundamentais.

Um segundo ponto fundamental da abordagem de proteção sistêmica refere-se à revisão de alguns documentos internacionais, no que tange à abordagem de proteção aos direitos fundamentais, senão vejamos.

Ao observamos o AI Act de 21/04/2021 da Comissão Europeia, apesar de trazer a consideração do "human rights by design", "beneficial AI", "AI for good" e "Human Centered AI", ou seja, de uma abordagem "centrada no ser humano", trazendo o eixo valorativo da pessoa humana e da dignidade humana, encontra algumas falhas e omissões.  Apesar de uma abordagem via risquificação, procurando não impedir a competição internacional e a inovação, com uma lista de aplicações de IA de risco inaceitável, com proibição expressa, por afrontarem os valores da União Europeia, verifica-se que o uso de tecnologias de vigilância (sistemas de identificação biométrica à distância, em tempo real, e em espaços acessíveis ao público), apesar de proibida, traz algumas exceções, tal como no caso de investigação de crimes graves.

As exceções são exaustivas e se fundam em motivos de interesse pu´blico abrangendo: procura de potenciais vi´timas de crimes, incluindo crianc¸as desaparecidas, ameac¸as a` vida ou a` seguranc¸a fi´sica de pessoas singulares ou ameac¸as de ataque terrorista, e a detecc¸a~o, localizac¸a~o, identificac¸a~o ou instaurac¸a~o de ac¸o~es penais relativamente a infratores ou suspeitos de infrac¸o~es penais, a que se refere a Decisa~o-Quadro 2002/584/JAI do Conselho, desde que puni´veis no Estado-Membro em causa com pena ou medida de seguranc¸a privativas de liberdade de durac¸a~o ma´xima na~o inferior a tre^s anos. Entre os crimes previstos no Quadro 2002 podem ser citados a participac¸a~o numa organizac¸a~o criminosa, terrorismo e o tra´fico de seres humanos.⁶ 

Apesar das aplicações de elevado risco submetem-se à observância de regras e obrigações rígidas, com destaque para os requisitos referentes a` elevada qualidade dos dados, a` documentac¸a~o e a` rastreabilidade, a` transpare^ncia, a` supervisa~o humana, a` exatida~o e a` solidez, há também a previsão da elaboração de uma avaliac¸a~o da conformidade "ex ante". A fragilidade do documento é refletida quando afirma que em regra tal avaliação será realizada pelo próprio fornecedor, salvo no caso dos sistemas de IA concebidos para serem utilizados para a identificac¸a~o biome´trica a` dista^ncia de pessoas. A própria exceção prevê a fragilidade de tal concepção, pois no caso único da exceção demandaria como exigência a participac¸a~o de um organismo notificado, o qual deverá estar submetido a uma se´rie de requisitos, nomeadamente em termos de independe^ncia, compete^ncia e ause^ncia de conflitos de interesse. 

É o que assevera o Ada Love Lace Institute ao afirmar ser fundamental o respeito a um dos componentes constitutivos de uma avaliação de impacto, e necessário para inclusão em qualquer dessas avaliações de impacto em IA, qual seja, a necessidade de uma "fonte de legitimidade", isto é, que tais avaliações sejam realizadas por outra estrutura organizacional, institucional, tal como uma agência governamental, destacando que a maioria dos processos AIA são controlados e determinados pelos que tomam as decisões do processo algorítmico, podendo gerar documentos de avaliação também enviesados ("Algorithmic impact assessment: user guide").

Portanto, além de uma mudança de abordagem no design tecnológico, pensando-se a longo prazo, de forma sustentável, talvez na forma de um "design subversivo" ao invés do design dominante no sentido de um projeto colonizador,  também a regulamentação deverá rever estes pontos de fragilidade, trazendo o foco na proteção sistêmica e neste sentido é necessária uma reformulação do que se tem tratado como proteção de direitos fundamentais no âmbito da proteção de dados e da inteligência artificial, por ignorarem em muitos casos a construção epistemológica e metodológica da teoria dos direitos fundamentais enquanto teoria fundamental do direito, trazendo equívocos no que tange à natureza dos direitos fundamentais, e a correta resolução de colisão de normas de direitos fundamentais, via princípio da proporcionalidade, adequadamente entendido, o que ainda precisa ser melhor compreendido.

__________

1 Andrew Guthrie Ferguson, "The rise of big data policing: surveillance, race, and the future of law enforcement". Nova Iorque: New York University Press, 2017.