STF identifica primeiro caso de prompt injection na Corte; Zanin vota por multa

O STF identificou a primeira tentativa de uso de comandos ocultos em uma petição com o objetivo de influenciar sistemas de inteligência artificial da Corte e obter decisão favorável a uma das partes.

O episódio ocorreu no ARE 1.608.713, relatado pelo ministro Cristiano Zanin, que votou pela aplicação de multa de dois salários mínimos por violação do dever de lealdade processual. O ministro também determinou a comunicação do caso à OAB e ao MPF.

O processo começou a ser analisado nesta sexta-feira, 25, pela 1ª turma do Supremo, em plenário virtual. Até o momento, apenas o relator apresentou voto. O julgamento está previsto para terminar em 2 de outubro.

Segundo o STF, a tentativa foi identificada pelo Núcleo de Inteligência Artificial da Secretaria-Geral de Tecnologia da Informação e comunicada ao gabinete de Zanin em 3 de setembro.

Na petição, foram inseridas instruções ocultas, escritas em letras brancas e em tamanho reduzido, com argumentos e comandos destinados a induzir ferramentas de inteligência artificial a conhecer e dar provimento ao recurso. Algumas palavras também foram fragmentadas de maneira incomum, o que, segundo a área técnica, dificultaria a identificação dos comandos.

A detecção foi feita pela Maria Shield, funcionalidade da plataforma Maria, sistema de inteligência artificial desenvolvido pelo STF para auxiliar internamente servidores na análise processual e na produção de documentos.

A ferramenta é voltada à identificação de padrões e conteúdos potencialmente maliciosos inseridos em peças processuais, entre eles comandos ocultos destinados a interferir no funcionamento de sistemas de IA.

Comandos ocultos

A técnica identificada é conhecida como “prompt injection” e consiste na inserção de instruções em conteúdos que posteriormente serão processados por sistemas de inteligência artificial, com a finalidade de alterar ou direcionar suas respostas.

No caso analisado, segundo Zanin, houve tentativa de "direcionar, de forma oculta, os sistemas de inteligência artificial do STF para a obtenção de decisão judicial favorável" à recorrente.

O ministro registrou, entretanto, que seu gabinete não utiliza inteligência artificial para análise ou fundamentação de processos.

Por isso, a tentativa não interferiu na apreciação do recurso. Zanin já havia negado provimento ao pedido em 19 de agosto, antes de ser informado da identificação dos comandos ocultos.

OAB e MPF

Após ser comunicado pela área técnica do Supremo, Zanin determinou que o episódio fosse registrado nos autos e encaminhado à OAB, para apuração de eventual infração ético-disciplinar, e ao Ministério Público Federal, para análise de possível prática criminosa.

No voto apresentado à 1ª turma, o relator também concluiu que a conduta viola o dever de lealdade processual previsto no art. 77 do CPC.

Com esse fundamento, aplicou multa equivalente a dois salários mínimos.

"Entendo que o uso do ‘prompt injection’ viola o dever de lealdade entre as partes previsto no art. 77, IV, do Código de Processo Civil."

Discussão sobre cotas

O processo teve origem em controvérsia envolvendo concurso público e reserva de vagas para pessoas negras.

O recurso foi apresentado por uma servidora pública que teve anulada sua nomeação para o cargo de oficial do Ministério Público de Minas Gerais.

A recorrente sustenta, entre outros pontos, que deveriam ser observados os parâmetros estabelecidos pelo Supremo para a política de cotas raciais no serviço público.

Zanin, entretanto, manteve o entendimento de que o recurso não deve prosperar. Segundo o ministro, as questões constitucionais apresentadas não foram previamente analisadas pelo Tribunal de origem.

O relator também considerou que modificar a conclusão adotada nas instâncias anteriores exigiria reexaminar fatos, provas e regras do edital do concurso, providência que não é admitida em recurso extraordinário, conforme a jurisprudência do STF.

Ao final, Zanin votou por negar provimento ao agravo regimental e aplicar a multa de dois salários mínimos em razão do uso dos comandos ocultos.

O julgamento prossegue no plenário virtual da 1ª turma.

• Processo: ARE 1.608.713

Leia o voto do relator.