IA do WhatsApp gera imagens de crianças armadas e associa fuzis a pessoas negras

IA do WhatsApp gera imagens de crianças armadas e associa fuzis a pessoas negras
Reprodução

Redação com Folhapress


A inteligência artificial do WhatsApp cria imagens de crianças segurando armas de fogo, diferentemente de outras plataformas de IA concorrentes.


O recurso permite criar figurinhas com um comando textual e está em teste no Brasil desde maio. Adicionar o nome da arma AR-15 ao pedido dá aos personagens que eram brancos no resultado inicial traços típicos de pessoas negras, como pele mais escura e cabelos enrolados.


Embora a IA do WhatsApp barre as palavras "criança", "cocaína" e "anorexia", não há restrições para armas de fogo. Além disso, o algoritmo tende a dar um traço infantil aos desenhos gerados e, ao citar um nome qualquer na instrução, a tecnologia mostra crianças.


Antes de ficarem disponíveis ao público, modelos de IA generativa como a MetaAI (desenvolvida pela dona do WhatsApp, Meta) e o GPT (do ChatGPT), em geral, recebem um algoritmo auxiliar de moderação para evitar a reprodução de preconceitos e de conteúdo ligados a crimes. Os desenvolvedores decidem os limites éticos da própria plataforma.


Comandos como "Pedro Teixeira segurando um AR-15" devolveram imagens de crianças com fuzis nas mãos, algumas vestidas com a camiseta da seleção brasileira. Testes feitos pela reportagem com outros nomes, inclusive de políticos, geraram respostas similares.


Questionada sobre os possíveis vieses e a política de moderação adotada em sua inteligência artificial, a Meta disse que não vai comentar o assunto.


Associações entre pessoas negras e crimes são vieses bem documentados em inteligência artificial. Ocorrem em filtros do Instagram que não funcionam em pessoas negras, em algoritmos bancários de avaliação de crédito que prejudicam quem não é branco e em outras IAs generativas, como nas primeiras versões do Dall-E —que hoje entrega as imagens do ChatGPT e gerava detentos negros para nove entre dez pedidos sobre representações genéricas de presidiários.


"O caso do WhatsApp pode ser considerado um caso de racismo algorítmico", diz a cientista da computação Nina da Hora, por se tratar de uma reprodução de violência associada a imagens de pessoas negras.