Prompt injection: STJ apura tentativa de manipulação de IA em petições

O STJ investigará tentativas de uso de "prompt injection" em petições do acervo processual. A técnica consiste na inserção de comandos ocultos em documentos com o objetivo de interferir no funcionamento de sistemas de inteligência artificial.

Segundo a Corte da Cidadania, as ocorrências foram identificadas nas últimas semanas e neutralizadas pelas camadas de segurança do STJ Logos, sistema de IA generativa desenvolvido pelo Tribunal.

O presidente do STJ, ministro Herman Benjamin, afirmou que os casos serão apurados e destacou que a ferramenta já conta com mecanismos específicos para impedir esse tipo de manipulação.

"Estamos mapeando todas as tentativas de prompt injection para permitir a aplicação de sanções processuais e a devida apuração de responsabilidade administrativa e criminal dos envolvidos", declarou o ministro.

A prática ganhou repercussão no meio jurídico no início de maio, após relatos de tentativa de fraude processual na Justiça do Trabalho, no âmbito do TRT da 8ª região.

Prompt injection

O prompt injection é uma técnica usada para tentar enganar modelos de inteligência artificial, especialmente grandes modelos de linguagem, conhecidos como LLMs. Na prática, comandos são inseridos em textos aparentemente comuns, como petições, recursos ou documentos processuais. Essas instruções podem ser ocultadas de forma a não serem percebidas facilmente por uma pessoa, mas ainda assim serem lidas pela IA.

O objetivo é tentar fazer com que o sistema ignore suas regras originais ou produza respostas favoráveis a uma das partes.

Certificação nos autos

Além das medidas tecnológicas, a Presidência do STJ determinou que as tentativas de uso de prompt injection sejam certificadas nos autos. Com isso, ministros e ministras poderão avaliar a aplicação de eventuais sanções processuais aos responsáveis.

Também foi determinada a instauração de inquérito policial e de procedimento administrativo para apurar os fatos. A medida prevê a oitiva de advogados e escritórios envolvidos, com possibilidade de responsabilização nas esferas criminal e correicional.

Camadas de proteção

De acordo com o Tribunal, o STJ Logos foi estruturado com diferentes níveis de segurança para impedir que comandos maliciosos inseridos em petições ou em outros documentos sejam executados pela IA.

A primeira camada atua no pré-processamento do conteúdo, separando as instruções legítimas dos dados externos recebidos pelo sistema. O objetivo é isolar possíveis comandos ocultos antes que eles cheguem ao modelo de IA.

Em seguida, a ferramenta estabelece limites de contexto, de modo a impedir que instruções externas se sobreponham às regras principais do sistema. Por fim, há uma etapa de revisão da resposta gerada, destinada a verificar se o resultado está de acordo com as políticas de segurança e integridade definidas pelo Tribunal.

O STJ informou que a segurança dos processos é uma das prioridades desde o desenvolvimento dos sistemas de inteligência artificial que levaram ao lançamento do STJ Logos, em fevereiro de 2025.

Informações: STJ.