Prompt injection: STJ investiga uso de código secreto para tentar enganar IA e fraudar decisões

A técnica "prompt injection" acontece quando uma pessoa insere instruções escondidas para enganar ou manipular uma ferramenta de IA. Ao menos 11 processos usaram a técnica.

Prompt injection: STJ investiga uso de código secreto para tentar enganar IA e fraudar decisões
Fachada do Superior Tribunal de Justiça (STJ) — Foto: TV Gazeta

O Superior Tribunal de Justiça (STJ) determinou nesta quarta-feira (20) a abertura de um inquérito e um procedimento administrativo para apurar o uso de "prompt injection" (injeção de comando, em tradução livre), uma ação para tentar manipular a inteligência artificial (IA).

O foco da investigação é descobrir se houve uma tentativa de fraude processual. Serão tomados depoimentos de advogados e escritórios envolvidos.

A decisão foi tomada pela Presidência do STJ após técnicos do tribunal identificarem um acervo de processos com essa técnica, que é usada por usuários mal-intencionados para inserir comandos ocultos em documentos comuns. Em nota, o presidente do STJ, ministro Herman Benjamin, defendeu apuração e responsabilização.

"O STJ Logos (sistema de IA generativa elaborado pela corte) já foi desenvolvido com comandos específicos que impedem estas artimanhas de atuar. Estamos mapeando todas as tentativas de prompt injection para permitir a aplicação de sanções processuais e a devida apuração de responsabilidade administrativa e criminal dos envolvidos".

São ao menos três camadas de segurança para garantir e impedir que eventuais diretrizes externas sobreponham suas regras centrais do sistema do STJ.

A TV Globo teve acesso a um levantamento que identificou ao menos 11 processos em que foi usado o prompt injection. São casos criminais. O STJ informou que, por ora, não trata de casos específicos.

O g1 apurou que um grupo de advogados de Brasília esteve no gabinete de quatro ministros do STJ esta semana para denunciar 11 processos que foram julgados pela Corte e que teriam indícios de uso de prompt injection.

Os advogados entregaram petições indicando as páginas e os processos para que o tribunal abra uma investigação. Os casos também foram denunciados ao Conselho Nacional de Justiça (CNJ).

Os casos de prompt injection não estão restritos ao STJ. Recentemente, chamou atenção um processo identificado na 3ª Vara do Trabalho de Parauapebas (PA), quando tentaram manipular a ferramenta de IA do Tribunal Regional do Trabalho do Rio Grande do Sul (TRT-RS).

O Conselho Nacional de Justiça já recomendou o uso de um banco nacional de prompts para tentar reduzir vulnerabilidades decorrentes dessa prática.

Por: G1