Em fevereiro de 2024, quem pediu ao Gemini, do Google, a imagem de um soldado alemão de 1943 recebeu homens negros e mulheres asiáticas em uniforme nazista. Os pais fundadores dos Estados Unidos saíram igualmente diversos, assim como papas e vikings. Em 22 de fevereiro o Google suspendeu a geração de imagens de pessoas, e no dia seguinte o vice-presidente Prabhakar Raghavan explicou o que havia acontecido. O ajuste feito para que o sistema mostrasse uma variedade de pessoas não levou em conta os casos em que, evidentemente, não cabia variedade alguma. E, com o tempo, o modelo ficou muito mais cauteloso do que se pretendia e passou a recusar pedidos inofensivos. A função só voltou em agosto, com outro modelo.
O episódio costuma ser contado como piada, e é um erro tratá-lo assim. Ele é a demonstração mais pública de um fenômeno que quem trabalha com dados conhece bem e que o debate jurídico ainda trata com uma simplicidade perigosa. Alguns o definem como viés de inclusão. Ao lado do viés discriminatório, que exclui, existe o viés produzido pela tentativa de incluir, e ele não é menos viés por ter boa intenção.
A tese deste texto é simples de enunciar e difícil de engolir. Viés algorítmico existe, está documentado e prejudica pessoas reais. Mas ele não nasce de uma frase e, por isso, não se resolve com uma frase. Acrescentar ao prompt "seja imparcial" ou "coloque mulheres na resposta" não corrige a base de dados, não muda o que o modelo aprendeu e não altera o mundo que os dados retratam. Muda apenas a aparência da saída, e cobra um preço que quase ninguém mede.
O remendo na última linha
O Gemini não foi o primeiro. Em julho de 2022, a OpenAI anunciou uma técnica para que o DALL-E 2 gerasse imagens de pessoas que refletissem melhor a diversidade da população mundial. Poucos dias depois, usuários descobriram como a técnica funcionava. Um pesquisador pediu a imagem de "uma pessoa segurando uma placa que diz", sem completar a frase, e recebeu uma mulher negra segurando uma placa com a palavra "negra". Em outro teste, a placa dizia "mulher". O sistema acrescentava, sem avisar, palavras ao pedido do usuário, e a frase incompleta revelou o acréscimo. A empresa explicou que alterava os pedidos quando eles eram pouco específicos.
É exatamente o "coloque mulheres na resposta", automatizado. E funciona do único jeito que pode funcionar, por cima. A instrução acrescentada não sabe que a cena é a Alemanha de 1943, não sabe que a pergunta é sobre um fato histórico, não sabe distinguir o pedido em que a diversidade é desejável daquele em que ela é falsificação. Ela apenas empurra a distribuição da saída para um lado. Quando o empurrão encontra um contexto que exige fidelidade, o resultado é um soldado nazista negro, que é ofensivo para todos ao mesmo tempo, inclusive para as vítimas do nazismo.
O que está documentado é o que se descreveu acima, soldados nazistas retratados como negros e asiáticos, no Gemini e, semanas depois, também no gerador de imagens da Meta e no Firefly, da Adobe. O caso real elucida bem a problemática. A própria deformação da história, convenhamos, ilustra o ponto deste texto, porque o fato simplificado viaja mais rápido que o fato verificado.
A máquina não tem opinião, tem frequência
Para entender por que a frase não resolve, é preciso lembrar o que a máquina é. Um modelo de aprendizado de máquina não forma juízo sobre gênero ou raça. Ele aprende regularidades estatísticas em um volume enorme de dados e as reproduz. Se em dez anos de contratações os aprovados foram majoritariamente homens, o modelo aprende que os sinais associados a homens predizem aprovação. Não porque "pense" que homens são melhores, mas porque é isso que os números dizem sobre o passado que lhe foi mostrado.
O caso clássico é o da Amazon, revelado pela Reuters em outubro de 2018. A empresa treinou um sistema de triagem com currículos recebidos ao longo de dez anos, e o sistema passou a penalizar currículos que continham a palavra "feminino", como em "capitã do clube feminino de xadrez", e a rebaixar formadas em duas faculdades exclusivamente femininas. Os engenheiros editaram o programa para torná-lo neutro em relação a esses termos. Segundo as fontes da reportagem, isso não dava garantia nenhuma de que a máquina não encontraria outras formas de separar os candidatos que se revelassem discriminatórias. O projeto foi abandonado.
A lição está na frase do meio. Retirar a variável proibida não retira a informação que ela carregava, porque essa informação está espalhada em dezenas de outras, o esporte praticado, a faculdade, o vocabulário do currículo, o intervalo na carreira. O nome técnico é variável substituta. O modelo que não pode ver o gênero continua a enxergá-lo por tabela.
E quando a correção funciona, ela raramente vem de uma frase. Em 2019, Obermeyer e coautores mostraram, na revista Science, que um algoritmo amplamente usado em hospitais norte-americanos subestimava a necessidade de cuidado de pacientes negros.
A causa não estava em instrução alguma. O sistema previa o gasto futuro com saúde como aproximação da necessidade de saúde, e como se gastava menos com pacientes negros com o mesmo grau de doença, eles pareciam mais saudáveis do que eram. A correção consistiu em mudar o que o modelo prevê, combinando indicadores de saúde e de custo, e reduziu o viés medido em 84%. Foi trabalho de redesenho do alvo e dos dados, com medição antes e depois, e não um pedido de imparcialidade.
Quando a correção produz disparidade ao contrário
Se o ajuste por cima fosse apenas inócuo, o problema seria menor. Ele não é inócuo.
Em 2024, Kyra Wilson e Aylin Caliskan, da Universidade de Washington, testaram modelos de linguagem usados para recuperar e ordenar currículos. Os modelos favoreceram nomes associados a pessoas brancas em 85,1% dos casos e nomes femininos em apenas 11,1%, e homens negros chegaram a ser preteridos em até 100% das comparações com homens brancos. É o viés discriminatório, na forma clássica.
Em 2025, David Rozado submeteu 22 grandes modelos de linguagem a um teste parecido, com pares de currículos idênticos que diferiam apenas pelo nome, masculino ou feminino, em 70 profissões. As candidatas foram escolhidas em 56,9% dos casos, e os candidatos em 43,1%. Quando se acrescentou um campo explícito de gênero, a preferência por mulheres aumentou. E a maioria dos modelos mostrou outra preferência, mais prosaica e mais reveladora, a de escolher o candidato que aparecia primeiro no texto. No mesmo ano, An, Huang, Lin e Tai publicaram na PNAS Nexus um estudo com centenas de milhares de currículos em que os modelos favoreceram candidatas e, ao mesmo tempo, prejudicaram candidatos negros do sexo masculino.
Os estudos não estabelecem a causa, e seria desonesto afirmar que a inversão decorre do ajuste de alinhamento feito pelos fabricantes. É uma hipótese plausível, que os próprios autores deixam em aberto. Mas o quadro que se forma é suficiente para o argumento. A mesma família de tecnologia, aplicada à mesma tarefa, discrimina para um lado em um modelo e para o outro lado em outro, e escolhe o primeiro da fila em quase todos. Ninguém, nem o fabricante, consegue dizer de antemão em que direção um modelo vai pender em cada contexto. Quem pede ao sistema que "inclua mulheres" não sabe se está corrigindo uma disparidade ou criando a disparidade inversa.
A literatura técnica explica por que isso não é acidente. Kleinberg, Mullainathan e Raghavan demonstraram, em 2016, que, exceto em casos especiais muito restritos, nenhum método consegue satisfazer ao mesmo tempo três condições intuitivas de justiça na atribuição de pontuações de risco. Corrigir segundo um critério significa violar outro. Escolher o critério é escolher qual grupo arcará com qual tipo de erro. E Liu e coautores mostraram, em 2018, que critérios usuais de justiça, impostos de forma estática, em geral não promovem melhora ao longo do tempo e podem até causar dano nos casos em que o modelo sem a restrição não causaria, inclusive ao grupo que se pretendia proteger.
"Mulheres não são contratadas porque têm filhos"
O argumento que mais circula nos debates merece ser levado a sério, justamente para mostrar por que a frase pronta não basta. A penalidade da maternidade existe. Em estudo publicado no American Journal of Sociology em 2007, Correll, Benard e Paik enviaram currículos equivalentes a empregadores reais, e mulheres sem filhos receberam cerca de duas vezes mais chamadas que mães com a mesma qualificação. Pais não foram penalizados. No Brasil, Machado e Pinho Neto, da FGV, acompanharam mães após a licença-maternidade e encontraram quase metade delas fora do mercado formal de trabalho 47 meses depois.
Mas dizer que a mulher não é contratada porque tem filhos é dizer pouco, e às vezes dizer errado. Claudia Goldin recebeu o Nobel de Economia de 2023 por mostrar que a diferença de rendimentos entre homens e mulheres, que no passado se explicava sobretudo por escolaridade e ocupação, hoje se concentra dentro da mesma ocupação e aparece, em grande parte, com o nascimento do primeiro filho. O comitê do prêmio tirou disso uma conclusão que interessa diretamente a este texto, a de que, como a origem da diferença muda com o tempo e com o estágio de desenvolvimento, não existe uma política única que a resolva. Os dados do IBGE ajudam a ver por quê. Em 2022, as mulheres dedicavam 21,3 horas por semana a cuidados de pessoas e afazeres domésticos, contra 11,7 horas dos homens. Somam-se a isso o desenho das jornadas, a valorização desproporcional de quem está sempre disponível, a divisão do cuidado dentro de casa e o próprio desenho das licenças. O preconceito do empregador é uma parte do fenômeno, real e ilícita, mas é uma parte, e nada tem, até aqui, de correlação com IA, Dados de Treinamento ou LLMs específicas.
Pois bem. Um sistema treinado com dados de contratação aprende tudo isso misturado (um fenômeno humano, que é reproduzido no treinamento de uma LLM), sem separar o que é preconceito do recrutador, o que é jornada impossível e o que é escolha condicionada pela divisão do cuidado. A instrução "inclua mais mulheres" não atua sobre nenhuma dessas causas. Ela altera a contagem na saída. Pode até produzir um número mais bonito no relatório, enquanto as razões pelas quais as mães deixam o mercado formal continuam intactas, agora escondidas atrás de um resultado ajustado.
Há uma ironia final, que vale como alerta para quem escreve sobre o tema. Um artigo publicado na Cardozo Law Review, muito citado nesse debate, afirma que cerca de 27 milhões de pessoas foram impedidas de obter emprego em tempo integral pela triagem automática de currículos, e cita como fonte um estudo de 2021 da Harvard Business School com a Accenture, por meio de uma manchete de jornal. O estudo, porém, estima em 27 milhões os chamados trabalhadores ocultos nos Estados Unidos, pessoas que querem trabalhar ou trabalhar mais e ficam de fora por razões variadas, como intervalos na carreira, ausência de diploma, antecedentes criminais ou condição de veterano. A triagem automática é um dos fatores, ao lado de outros. O número é importante e merece ser citado, mas não mede pessoas prejudicadas por discriminação algorítmica. Até a crítica à simplificação, como se vê, é vítima da simplificação.
Onde fica a relevância de um dado montado
Há um problema mais fundo, de natureza quase epistemológica. A utilidade de um sistema estatístico está em dizer algo sobre o mundo tal como ele é registrado nos dados. Quando se manipula o dado ou a saída para chegar a um resultado previamente desejado, o resultado deixa de ser informação sobre o mundo e passa a ser a opinião de quem fez o ajuste, com aparência de cálculo. A pergunta que sobra é inevitável. Se a resposta foi montada para sair equilibrada, que valor ela tem como evidência?
Isso não significa que todo ajuste seja ilegítimo. Significa que todo ajuste é uma escolha normativa, e escolha normativa tem autor. Quem decidiu qual distribuição é a correta? Com base em quê, a população geral, a população de candidatos, a de formados na área? Medida como, e por quem? Quando o ajuste está escondido em uma linha de instrução que o usuário não vê, nenhuma dessas perguntas pode ser feita, e a escolha que deveria ser debatida vira um detalhe de engenharia.
Acrescente-se a isso uma característica dos modelos de linguagem que o jurista ainda subestima. Eles não são determinísticos. A mesma pergunta pode gerar respostas diferentes, o fabricante atualiza o modelo sem aviso e um ajuste que funcionava em março se comporta de outro modo em junho. O efeito colateral de uma correção feita por prompt é, por isso, difícil de conhecer, difícil de repetir e difícil de provar. É o pior perfil possível para algo que vai decidir quem é chamado para uma entrevista.
O direito brasileiro já conhece a diferença
O ordenamento brasileiro não está desarmado, e o mais interessante é que ele já distingue, há tempo, a discriminação proibida da correção legítima. A Constituição proíbe, no art. 7º, XXX, diferença de salários, de exercício de funções e de critério de admissão por motivo de sexo, idade, cor ou estado civil. A lei 9.029/1995 proíbe qualquer prática discriminatória e limitativa para acesso à relação de trabalho ou para sua manutenção, por motivo de sexo, origem, raça, cor, estado civil, situação familiar, deficiência, idade, entre outros. A CLT, no art. 373-A, veda recusar emprego ou promoção em razão de sexo, idade, cor, situação familiar ou estado de gravidez.
E o mesmo art. 373-A, no parágrafo único incluído em 1999, ressalva que essas vedações não impedem a adoção de medidas temporárias destinadas a estabelecer políticas de igualdade entre homens e mulheres, em especial as que corrigem distorções no acesso ao emprego. A Convenção sobre a Eliminação de Todas as Formas de Discriminação contra a Mulher, promulgada pelo decreto 4.377/02, diz o mesmo no art. 4º, ao afirmar que medidas especiais de caráter temporário para acelerar a igualdade de fato não se consideram discriminação.
Repare-se no desenho. O direito admite a correção, mas a quer declarada, dirigida a uma distorção identificada e limitada no tempo. É política, assumida por alguém, com objetivo conhecido e sujeita a controle. O ajuste escondido no prompt é o oposto disso em cada elemento, porque é invisível, genérico, permanente até que alguém o perceba e sem autor identificável.
O PL 2.338/23, no texto aprovado pelo Senado, caminha na mesma linha. Não fala em discriminação pura e simples, mas em discriminação ilícita ou abusiva, direta ou indireta, esta última quando um critério aparentemente neutro coloca pessoas ou grupos em desvantagem (art. 4º, XI e XII). Assegura o direito à correção de vieses discriminatórios ilegais ou abusivos (art. 5º, III). Classifica como de alto risco os sistemas usados em recrutamento, triagem, filtragem ou avaliação de candidatos (art. 14, III). E exige, entre as medidas de governança, ferramentas para avaliar acurácia e apurar resultados discriminatórios, além de medidas para mitigar e prevenir vieses (art. 18). Mitigar e prevenir exige medir, e medir exige dado, documentação e teste, não uma frase.
O que se pode exigir, então
Nada disso é um convite à inércia. O viés discriminatório documentado nos estudos citados é real, e quem usa inteligência artificial para selecionar pessoas responde pelo que ela faz. A conclusão não é que não se deva corrigir. É que corrigir é um trabalho de dados e de escolhas explícitas, e não de redação de instruções.
Na prática, isso significa algumas exigências que o jurista pode e deve fazer. Medir antes de ajustar, e medir de novo depois, por mais de um critério de justiça, porque a melhora em um pode ser a piora em outro.
Testar expressamente a disparidade em sentido contrário, e não só a que se queria corrigir. Testar contextos em que a fidelidade importa mais que a diversidade, como o histórico, o factual e o probatório. Declarar o critério escolhido e quem o escolheu, para que a escolha possa ser discutida. Manter revisão humana efetiva sobre a decisão que afeta a pessoa, como já assegura o art. 20 da LGPD. E desconfiar de qualquer fornecedor que prometa ter "eliminado o viés", porque a promessa, à luz do que a própria ciência da computação demonstrou, é impossível de cumprir.
O soldado nazista negro do Gemini não foi um defeito da inteligência artificial. Foi o efeito previsível de uma boa intenção aplicada por cima, sem medir, sem contexto e sem dono. O viés que a máquina reproduz nasceu de décadas de dados, de escolhas e de desigualdades que a sociedade produziu, e não vai embora porque alguém pediu, educadamente, que ela fosse imparcial.
Viés não se corrige com uma linha, porque não nasceu de uma linha.
_______
Referências
AN, Jiafu; HUANG, Difang; LIN, Chen; TAI, Mingzhu. Measuring gender and racial biases in large language models: intersectional evidence from automated resume evaluation. PNAS Nexus, v. 4, n. 3, pgaf089, 2025.
ANDREWS, Lori; BUCHER, Hannah. Automating discrimination: AI hiring practices and gender inequality. Cardozo Law Review, v. 44, n. 1, 2022.
CORRELL, Shelley J.; BENARD, Stephen; PAIK, In. Getting a job: is there a motherhood penalty? American Journal of Sociology, v. 112, n. 5, p. 1297-1338, 2007.
DASTIN, Jeffrey. Amazon scraps secret AI recruiting tool that showed bias against women. Reuters, 10 out. 2018.
FULLER, Joseph B. et al. Hidden workers: untapped talent. Harvard Business School e Accenture, set. 2021.
IBGE. Estatísticas de gênero: indicadores sociais das mulheres no Brasil. 3. ed. Rio de Janeiro: IBGE, 2024.
KLEINBERG, Jon; MULLAINATHAN, Sendhil; RAGHAVAN, Manish. Inherent trade-offs in the fair determination of risk scores. arXiv, 1609.05807, 2016.
LIU, Lydia T. et al. Delayed impact of fair machine learning. Proceedings of the 35th International Conference on Machine Learning, 2018.
MACHADO, Cecília; PINHO NETO, Valdemar. The labor market consequences of maternity leave policies: evidence from Brazil. Rio de Janeiro: FGV EPGE, 2016.
OBERMEYER, Ziad et al. Dissecting racial bias in an algorithm used to manage the health of populations. Science, v. 366, n. 6464, p. 447-453, 2019.
RAGHAVAN, Prabhakar. Gemini image generation got it wrong. We'll do better. Google Blog, 23 fev. 2024.
ROZADO, David. Gender and positional biases in LLM-based hiring decisions: evidence from comparative CV/résumé evaluations. arXiv, 2505.17049, 2025.
WILSON, Kyra; CALISKAN, Aylin. Gender, race, and intersectional bias in resume screening via language model retrieval. Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society, 2024.