Você já ouviu falar de racismo algorítmico? Pois é, a tecnologia também pode agir de maneira preconceituosa e prejudicar pessoas que não são brancas. Isso acontece quando o racismo já vem incorporado aos algoritmos ou sistemas automatizados de tomada de decisão.
Dependendo de como esses algoritmos e sistemas foram programados para fazer escolhas, eles podem reforçar e perpetuar preconceitos raciais, levando a um tratamento injusto e a resultados desiguais para pessoas negras ou asiáticas.
“Uso o termo ‘racismo algorítmico’ para explicar como tecnologias e imaginários sociotécnicos em um mundo moldado pelo privilégio branco fortalecem a ordenação racializada de conhecimentos, recursos, espaço e violência em detrimento de grupos não brancos”, explica o pesquisador Tarcízio Silva, autor do livro “Racismo Algorítmico: inteligência artificial e discriminação nas redes digitais” em entrevista ao blog do CIEE-Fiocruz.
Como a tecnologia pode discriminar pessoas?
Um exemplo são softwares de reconhecimento facial que têm menos precisão para identificar pessoas com tons de pele mais escuros. Uma das maiores ativistas contra o racismo algorítmico, Joy Buolamwini, conta que quando estava fazendo sua pós-graduação no MIT, o software de análise facial com o qual estava trabalhando não detectou seu rosto.
Isso porque quem escreveu o código do algoritmo não o ensinou a identificar uma ampla gama de tons de pele e de estruturas faciais. “Em outro trabalho, tive que usar uma máscara branca para que minha presença fosse reconhecida”, escreve em um artigo para o The New York Times.
Ela explica que os sistemas de inteligência artificial são moldados de acordo com as prioridades e os preconceitos (conscientes ou não) dos programadores, um fenômeno que ela batizou de visão codificada. E cita outros exemplos de racismo algorítmico no documentário “Coded Bias” (disponível na Netflix).
Outros exemplos de racismo algorítmico
A inteligência artificial também pode ser racista de outras formas. Tarcízio Silva cita alguns exemplos, que ele organiza e atualiza em uma linha do tempo.
Alguns dos mais recentes são o de relógios inteligentes que não conseguem medir corretamente a oxigenação de pessoas de cor e o de pessoas negras que foram discriminadas por um escore de habitação social nos Estados Unidos.
Ao analisar imagens geradas por inteligência artificial (como o DALL-E 2), pesquisadores da Universidade de Leipzig (na Alemanha) e da startup Hugging Face descobriram que a tendência era que se criassem imagens de pessoas brancas ou de homens. O DALL-E 2 gerou imagens de homens brancos em 97% das solicitações para criar imagens de “CEO”, por exemplo.
O racismo algorítmico também já foi identificado na fala de chatbots, em sistemas que “prevêem” pessoas que têm mais chance de ter problemas com a polícia ou de reincidência criminal e até em aplicativos que barram o acesso a pessoas negras e trans.
Um relatório da Anistia Internacional mostra que, em Nova Iorque, o mapa de câmeras de segurança mostra mais vigilância em bairros onde moram pessoas negras, latinas e asiáticas —e que esses locais tinham também maiores taxas de revistas feitas por policiais.
Isso mostra como os efeitos do racismo algorítmico podem ter consequências graves na vida das pessoas, especialmente as negras. Além do potencial para prisões injustas e assédio, os algoritmos podem perpetuar desigualdades sistêmicas —ao barrar a seleção de uma pessoa negra em uma entrevista de emprego ou negar um crédito imobiliário.
Qual é a causa do racismo algorítmico?
Um dos principais impulsionadores do racismo algorítmico é a falta de diversidade na indústria de tecnologia. Pessoas negras são sub-representadas nesse setor, por isso suas especificidades e experiências não são levadas em conta no desenvolvimento de algoritmos, sistemas e aplicativos.
Sem essa diversidade, aumentam as chances de que os algoritmos perpetuem vieses e discriminação raciais.
Outra questão é a falta de transparência na tomada de decisões pelos algoritmos. Sem saber quais são os critérios que os levam a fazer escolhas (nem sempre abertos ao público), é difícil identificar o racismo. Além disso, ainda existem poucas leis em vigor para responsabilizar empresas e agências governamentais pelas decisões de algoritmos enviesados.
Segundo os especialistas, uma das maneiras de enfrentar o racismo algorítmico é aumentar a diversidade na indústria de tecnologia e garantir que o desenvolvimento de algoritmos seja guiado por princípios de equidade e justiça social.
Além disso, é preciso haver maior transparência sobre como funciona a tomada de decisão dos algoritmos, além de regras e leis claras sobre como evitar a discriminação racial.
“Gosto muito da ideia de auditoria pública, com debates, testes, mapeamento de casos e de impactos, que sejam abertos pela própria sociedade”, explica Tarcízio Silva ao blog do CIEE-Fiocruz. “Assim, os impactos do racismo algorítmico podem ser demonstrados e a sociedade civil pode reagir.”
