Hackers monitoram segurança de IA
Na era da informação, titãs da tecnologia como Microsoft, Google, Nvidia e Meta estão testando seus modelos de inteligência artificial (IA) como nunca antes. Com o surgimento dos sistemas generativos de IA, a segurança tornou-se uma preocupação central. A Forbes entrevistou os chefes das equipes vermelhas de IA dessas empresas, destacando como a segurança está se tornando um critério-chave de marketing para essas empresas.
É melhor prevenir do que remediar: o papel das equipes vermelhas na IA
Uma equipe vermelha é um grupo de hackers éticos encarregados de testar a robustez e a segurança de um sistema. A OpenAI, por exemplo, contratou especialistas externos para testar possíveis falhas e preconceitos em seus modelos GPT-3.5 e GPT-4. Esses especialistas realizaram testes que revelaram respostas inaceitáveis geradas pelos modelos, que foram prontamente corrigidas.
Da mesma forma, outras equipes vermelhas examinaram versões preliminares de modelos como o GPT-4, pedindo-lhes que realizassem atividades ilegais e maliciosas. Esses testes de segurança levaram à identificação e correção de diversas vulnerabilidades.
Encontrando o equilíbrio certo: segurança versus utilidade
Os líderes da equipe vermelha muitas vezes precisam equilibrar segurança com utilidade. Um modelo de IA muito restritivo é seguro, mas inútil; pelo contrário, um modelo excessivamente permissivo é útil mas potencialmente perigoso. Este é um ato de equilíbrio delicado, que requer atenção constante e meticulosa para manter os modelos úteis e seguros.
Técnicas e táticas do Red Team em IA
O conceito de red teaming não é novo e remonta à década de 1960. No entanto, com o advento da IA generativa, os métodos de teste e os desafios de segurança evoluíram. As equipes vermelhas empregam uma variedade de táticas, desde a geração de respostas inadequadas até a extração de dados confidenciais e a contaminação de conjuntos de dados. Daniel Fabian, chefe da nova equipe vermelha de IA do Google, explica que a equipe usa um conjunto diversificado de técnicas para manter os modelos seguros.
102010925 – hacker usando a internet invadiu servidor de computador abstrato, banco de dados, armazenamento de rede, firewall, conta de rede social, roubo de dados
Compartilhando conhecimento e ferramentas: a comunidade Red Team
Como o campo da segurança da IA ainda está em desenvolvimento, as equipes vermelhas tendem a compartilhar suas descobertas e ferramentas. A Microsoft disponibilizou ao público ferramentas de teste de segurança de código aberto, como o Counterfit. Esta partilha de recursos e conhecimentos ajuda a fortalecer todo o ecossistema de IA.
Eventos de alto perfil e desafios de Red Teaming
Recentemente, um evento apoiado pela Casa Branca contou com a participação de vários gigantes da tecnologia, que disponibilizaram os seus modelos de IA para serem testados por hackers externos. Estes testes intensivos levaram à descoberta de várias novas vulnerabilidades, demonstrando a importância de tais eventos para a segurança global da IA.
A crescente importância da segurança na IA
Com um foco crescente por parte do público e dos governos na segurança na IA, as equipas vermelhas estão a tornar-se uma componente essencial para o sucesso das empresas tecnológicas. Eles não apenas ajudam a identificar e corrigir vulnerabilidades, mas também oferecem uma vantagem competitiva, à medida que a segurança e a confiança se tornam cada vez mais críticas no cenário da IA.
Concluindo, os hackers controlam a segurança da IA na batalha para tornar a inteligência artificial mais segura. Através de um conjunto de técnicas avançadas, eventos de alto nível e partilha de conhecimento,
