FGV Direito SP lança guia sobre vieses e uso de IA pelas empresas

O CEPI - Centro de Ensino e Pesquisa em Inovação da FGV Direito SP lança um guia para empresas/organizações sobre o desenvolvimento e o uso responsável de sistemas de IA "Governança Da Inteligência Artificial Em Organizações Arquitetura de Confiabilidade e Gestão de Vieses".

O lançamento do relatório marca o encerramento dos trabalhos de um projeto aplicado que contou com a condução de grupo de pesquisa com especialistas externos no tema, além de entrevistas com as empresas parceiras.

O produto final busca consolidar as principais preocupações, contribuições e tarefas sobre esse tema complexo e interdisciplinar. Para isso a pesquisa elegeu três frentes de atuação: a primeira é a consolidação de um vocabulário comum e conhecimento de base entre os diferentes profissionais que lidam com o desafio de vieses nas soluções tecnológicas de suas empresas; a segunda é a conscientização sobre o panorama de riscos que uma organização está sujeita quando implementa soluções de IA; e a terceira frente diz respeito à adaptação dos instrumentos de governança organizacional a estes desafios.

De acordo com Luiza Morales, pesquisadora do CEPI-FGV, o estudo traça um panorama instrumental importante para que as empresas usem a inteligência artificial de forma ética, promovendo maior segurança ao ecossistema de inovação e atenção ao que vem sendo chamado de Justiça algorítmica.

A implementação de soluções de IA é objeto de trabalho para muitas áreas do conhecimento. O relatório relaciona o tema com preocupações oriundas da regulação de proteção de dados pessoais, além de outros campos como Direito Antidiscriminatório, Diversidade e Inclusão, Gestão de Riscos, entre outras.

Assim, o relatório se dedica a passar conceitos importantes sobre discriminação, fairness e como o Direito já tem olhado para o tema, com foco nos marcos legais que embasam a proteção à igualdade e a vedação a práticas discriminatórias. A contribuição é caracterizada não apenas como mero glossário, mas como uma consolidação das principais discussões e entendimentos dos campos, para dirimir equívocos recorrentes e para que o tema seja abordado de forma holística.

O estudo evidencia que o tema da discriminação já está pautado em diversos campos do Direito, revelando a capilaridade, variedade e relevância que dedica ao tema e, consequentemente, a partir de vieses em sistemas algorítmicos. Deste modo, a pesquisa corrobora a necessidade do entendimento desses sistemas jurídicos, indicando obrigações, direitos e organizacionais, para além dos futuros marcos legais específicos da IA.

A pesquisa também traz uma consolidação das principais discussões e entendimentos em relação ao conhecimento sobre tecnologia, sendo esse conhecimento importante para o entendimento das complexificações de quando os algoritmos passam a mediar nossas relações sociais e assim demandam novas soluções jurídicas e organizacionais.

Nesse sentido, o estudo permite que entendamos as diversas entradas para os vieses na tecnologia e, logo, possíveis ações de gestão desses riscos. Assim, observa que uma abordagem recorrente na prática e na literatura como estratégia de governança de inteligência artificial é a observação das atividades do ciclo de vida de um modelo de uma solução algorítmica, identificando em quais momentos esses vieses podem ser introduzidos ou amplificados (como exemplo, temos o CRISP-DM, KDD, SEMMA, ISO/IEC 8183:2023, AI Ethics and Governance in Practice do Alan Turing Institute e o Business Software Alliance). E, após a comparação dessas diferentes referências, a pesquisa propõe uma consolidação do ciclo em macromomentos que orientarão o trabalho de governança.

Vale destacar que o material tem capítulo dedicado à exposição dos cenários de risco a partir da perspectiva das organizações, levando em consideração não apenas as consequências de sanções legais, mas também a sustentabilidade do negócio e do ecossistema de inovação, atentando para os riscos sistêmicos e as consequências que vieses podem trazer para a qualidade dos produtos e processos organizacionais.

Em sua exposição, o relatório traça um panorama para que as organizações, ao navegarem no tema, não apenas entendam as diferentes perspectivas envolvidas, mas possam personalizar o seu caminho de governança de acordo com padrões já adotados, recursos já dispendidos, cultura, capacitação e apetite de risco.

Com a análise de pesquisas aplicadas ao tema, o estudo constatou que se costumam localizar as medidas no ciclo apresentando soluções tanto comuns quanto originais. A partir disso, o relatório consolidou essas medidas em 11 conjuntos de medidas:

• Realizar supervisão humana;
• Promover diversidade, independência e participação;
• Identificar objetivos e contexto da solução e questionar efeitos;
• Eleger e monitorar critérios de fairness;
• Planejar e documentar a gestão de riscos;
• Familiarizar-se com o dataset e analisar sua adequação;
• Considerar, examinar e selecionar variáveis, features e proxies;
• Considerar a experiência do usuário;
• Tratar e preparar os dados;
• Desenhar ou selecionar modelos interpretáveis;
• Operar constrições e obstáculos no modelo.

Esses conjuntos de medidas são detalhados no relatório de acordo com o que cada momento do ciclo de vida da solução de IA pede, apontando quais tipos de vieses podem ser sanados com cada um desses conjuntos de medidas.

Desse modo, a última contribuição do estudo se caracteriza pela união da consolidação de ciclos com o repositório de medidas, formando uma ferramenta de transposição de frameworks já consagrados que busca trazer praticidade e clareza no grande desafio que é a governança de vieses em IA.

Confira a pesquisa no anexo!