O Superior Tribunal de Justiça (STJ) deu início recentemente a uma série de investigações para apurar tentativas de manipulação de seu sistema de inteligência artificial (IA) por meio de uma técnica conhecida como “prompt injection”. A decisão, tomada pela Presidência da Corte, visa esclarecer se houve fraude processual e garantir a integridade dos procedimentos judiciais em um cenário de crescente digitalização e uso de tecnologias avançadas no Judiciário brasileiro.
A iniciativa do STJ reflete uma preocupação crescente com a segurança cibernética e a ética no uso da inteligência artificial, especialmente em contextos tão sensíveis quanto o jurídico. A apuração envolverá a tomada de depoimentos de advogados e escritórios que possam estar relacionados aos casos identificados, buscando responsabilidades e coibindo práticas que comprometam a lisura dos processos.
Abertura de Inquérito e Procedimento Administrativo
A determinação para a abertura de um inquérito e um procedimento administrativo surgiu após técnicos do STJ identificarem um conjunto de processos nos quais a técnica de prompt injection foi supostamente empregada. Essa prática consiste na inserção de comandos ocultos em documentos aparentemente comuns, com o objetivo de enganar ou manipular ferramentas de inteligência artificial.
A investigação do STJ busca não apenas identificar os responsáveis, mas também fortalecer os mecanismos de defesa contra futuras tentativas de fraude. A Corte reforça seu compromisso com a transparência e a segurança, elementos cruciais para a manutenção da confiança pública no sistema de justiça.
Compreendendo a Técnica de Prompt Injection
A prompt injection, ou injeção de comando, é uma técnica maliciosa onde um usuário insere instruções disfarçadas ou escondidas em um texto para influenciar o comportamento de um sistema de inteligência artificial. No contexto jurídico, isso poderia significar tentar direcionar a análise de um documento por uma IA para favorecer uma das partes ou distorcer a interpretação de fatos e leis.
Essa técnica representa um desafio significativo para sistemas que dependem da análise de linguagem natural, pois os comandos injetados podem se sobrepor às instruções originais do modelo de IA. A detecção e prevenção de tais ataques são fundamentais para a confiabilidade de qualquer ferramenta de inteligência artificial, especialmente aquelas empregadas em ambientes críticos como o judiciário.
Salvaguardas e Resposta Institucional do STJ
O presidente do STJ, ministro Herman Benjamin, enfatizou a importância da apuração e da responsabilização dos envolvidos. Ele destacou que o sistema de IA generativa da Corte, o STJ Logos, foi desenvolvido com comandos específicos e robustas camadas de segurança para impedir a atuação dessas “artimanhas”.
Mesmo diante do recebimento de petições que contenham as injeções de comando ocultas, o STJ garante que seu sistema possui ao menos três camadas de segurança e integridade. Essas barreiras tecnológicas são projetadas para impedir que eventuais diretrizes externas maliciosas se sobreponham às regras centrais de funcionamento do sistema, protegendo a imparcialidade e a eficácia da análise processual.
O tribunal está ativamente mapeando todas as tentativas de prompt injection. O objetivo é não apenas aprimorar a segurança do sistema, mas também permitir a aplicação de sanções processuais e a devida apuração de responsabilidades administrativas e criminais, conforme a gravidade de cada caso.
Contexto Nacional e Recomendações para a Segurança da IA
A questão das injeções de comando não é exclusiva do Superior Tribunal de Justiça. Um levantamento acessado por veículos de imprensa identificou ao menos 11 processos criminais onde a técnica foi utilizada, embora o STJ não esteja tratando de casos específicos publicamente neste momento. Além disso, incidentes semelhantes já foram registrados em outras instâncias, como em um processo na 3ª Vara do Trabalho de Parauapebas, no Pará, que tentou manipular a ferramenta de IA do Tribunal Regional do Trabalho do Rio Grande do Sul (TRT-RS).
Diante desse cenário, o Conselho Nacional de Justiça (CNJ) já emitiu recomendações importantes. Entre elas, destaca-se a sugestão de uso de um banco nacional de prompts. Essa medida visa padronizar e fortalecer as instruções de entrada para os sistemas de IA, reduzindo as vulnerabilidades e aumentando a segurança contra práticas de manipulação. A colaboração entre os diversos órgãos do judiciário é essencial para enfrentar os desafios impostos pela evolução tecnológica e garantir a justiça na era digital. Para mais informações sobre o trabalho do Superior Tribunal de Justiça, visite o site oficial do STJ.