Categories: Destaques

STJ investiga manipulação de inteligência artificial em processos judiciais

O Superior Tribunal de Justiça (STJ) deu início recentemente a uma série de investigações para apurar tentativas de manipulação de seu sistema de inteligência artificial (IA) por meio de uma técnica conhecida como “prompt injection”. A decisão, tomada pela Presidência da Corte, visa esclarecer se houve fraude processual e garantir a integridade dos procedimentos judiciais em um cenário de crescente digitalização e uso de tecnologias avançadas no Judiciário brasileiro.

A iniciativa do STJ reflete uma preocupação crescente com a segurança cibernética e a ética no uso da inteligência artificial, especialmente em contextos tão sensíveis quanto o jurídico. A apuração envolverá a tomada de depoimentos de advogados e escritórios que possam estar relacionados aos casos identificados, buscando responsabilidades e coibindo práticas que comprometam a lisura dos processos.

Abertura de Inquérito e Procedimento Administrativo

A determinação para a abertura de um inquérito e um procedimento administrativo surgiu após técnicos do STJ identificarem um conjunto de processos nos quais a técnica de prompt injection foi supostamente empregada. Essa prática consiste na inserção de comandos ocultos em documentos aparentemente comuns, com o objetivo de enganar ou manipular ferramentas de inteligência artificial.

A investigação do STJ busca não apenas identificar os responsáveis, mas também fortalecer os mecanismos de defesa contra futuras tentativas de fraude. A Corte reforça seu compromisso com a transparência e a segurança, elementos cruciais para a manutenção da confiança pública no sistema de justiça.

Compreendendo a Técnica de Prompt Injection

A prompt injection, ou injeção de comando, é uma técnica maliciosa onde um usuário insere instruções disfarçadas ou escondidas em um texto para influenciar o comportamento de um sistema de inteligência artificial. No contexto jurídico, isso poderia significar tentar direcionar a análise de um documento por uma IA para favorecer uma das partes ou distorcer a interpretação de fatos e leis.

Essa técnica representa um desafio significativo para sistemas que dependem da análise de linguagem natural, pois os comandos injetados podem se sobrepor às instruções originais do modelo de IA. A detecção e prevenção de tais ataques são fundamentais para a confiabilidade de qualquer ferramenta de inteligência artificial, especialmente aquelas empregadas em ambientes críticos como o judiciário.

Salvaguardas e Resposta Institucional do STJ

O presidente do STJ, ministro Herman Benjamin, enfatizou a importância da apuração e da responsabilização dos envolvidos. Ele destacou que o sistema de IA generativa da Corte, o STJ Logos, foi desenvolvido com comandos específicos e robustas camadas de segurança para impedir a atuação dessas “artimanhas”.

Mesmo diante do recebimento de petições que contenham as injeções de comando ocultas, o STJ garante que seu sistema possui ao menos três camadas de segurança e integridade. Essas barreiras tecnológicas são projetadas para impedir que eventuais diretrizes externas maliciosas se sobreponham às regras centrais de funcionamento do sistema, protegendo a imparcialidade e a eficácia da análise processual.

O tribunal está ativamente mapeando todas as tentativas de prompt injection. O objetivo é não apenas aprimorar a segurança do sistema, mas também permitir a aplicação de sanções processuais e a devida apuração de responsabilidades administrativas e criminais, conforme a gravidade de cada caso.

Contexto Nacional e Recomendações para a Segurança da IA

A questão das injeções de comando não é exclusiva do Superior Tribunal de Justiça. Um levantamento acessado por veículos de imprensa identificou ao menos 11 processos criminais onde a técnica foi utilizada, embora o STJ não esteja tratando de casos específicos publicamente neste momento. Além disso, incidentes semelhantes já foram registrados em outras instâncias, como em um processo na 3ª Vara do Trabalho de Parauapebas, no Pará, que tentou manipular a ferramenta de IA do Tribunal Regional do Trabalho do Rio Grande do Sul (TRT-RS).

Diante desse cenário, o Conselho Nacional de Justiça (CNJ) já emitiu recomendações importantes. Entre elas, destaca-se a sugestão de uso de um banco nacional de prompts. Essa medida visa padronizar e fortalecer as instruções de entrada para os sistemas de IA, reduzindo as vulnerabilidades e aumentando a segurança contra práticas de manipulação. A colaboração entre os diversos órgãos do judiciário é essencial para enfrentar os desafios impostos pela evolução tecnológica e garantir a justiça na era digital. Para mais informações sobre o trabalho do Superior Tribunal de Justiça, visite o site oficial do STJ.

Redação on-line

Recent Posts

Carreta tomba na Rodovia Ayrton Senna e deixa motorista ferida

Carreta tomba na rodovia Ayrton Senna em Mogi das Cruzes, deixando motorista ferida.

7 horas ago

Acidente na Mogi-Bertioga deixa motociclista ferido e causa interdição temporária

Acidente na Mogi-Bertioga deixa motociclista ferido e causa interdição temporária na manhã de sexta-feira.

12 horas ago

Trânsito intenso marca saída para o litoral na Mogi-Bertioga durante feriado

Motoristas enfrentam lentidão na Mogi-Bertioga devido ao feriado prolongado.

16 horas ago

Casa da Mulher Paulista realiza oficina de marca pessoal para empreendedoras

Casa da Mulher Paulista realiza oficina de marca pessoal para empreendedoras, promovendo empoderamento e protagonismo…

1 dia ago

Casa da Mulher Paulista Ferrazense promove oficina sobre construção de marca pessoal

Nesta quinta-feira (19), a Casa da Mulher Paulista Ferrazense realizou a oficina gratuita “Construa sua…

1 dia ago

Região registra alta de mais de 28% nas mortes por acidente de trânsito em outubro; Itaquá lidera entre os municípios

O aumento das mortes por acidentes de trânsito em Itaquaquecetuba contribuiu para elevar os indicadores…

1 dia ago