Para citar esse texto:
TAVARES, P; CRUZ, Nathane. Poder em códigos: notas sobre o Racismo Algorítmico. Debates Pós Coloniais e Decoloniais, 2 de novembro de 2023. Disponível em: https://decoloniais.com/poder-em-codigos-notas-sobre-o-racismo-algoritmico/ Acesso em: *inserir data*
Introdução
Com a era da globalização, as mídias digitais e a inteligência artificial têm apresentado certas ambiguidades. Por um lado, esses fatos marcam o poder dos avanços tecnológicos, a rapidez nas comunicações e a reconfiguração da ordem social, por outro, evidenciam as desigualdades e tendem a perpetuar valores racistas. Se os princípios, valores e normas são construídos socialmente, os preconceitos não estão isentos. Nesse sentido, é preciso considerar o tratamento de dados não só como construção matemática, mas como construção social com base em fatores históricos que podem contribuir para a garantia do privilégio de uns e a marginalização de outros.
Assim, a estereotipação e inferiorização do negro em função de suas características físicas, sociais e culturais são representações racistas. Esses fatores, produzidos e reproduzidos pelas estruturas sociais, podem ser observados nas redes e nos novos instrumentos tecnológicos. Essas características podem ser identificadas em aplicativos que utilizam a inteligência artificial para programas de reconhecimento facial, filtros para selfies, moderação de conteúdo, score de crédito e nas sugestões de fotos em pesquisas online.
Estudos sobre a temática têm definido essa prática como racismo algorítmico. Autores como Tarcízio Silva acrescentam que essa forma de racismo é uma atualização do racismo estrutural existente e perpetuado na sociedade. Neste texto, são apresentados alguns tipos de racismo e suas principais características, bem como a sua função na manutenção das relações de poder. A fim de compreender como opera o racismo algorítmico na sociedade contemporânea e suas principais consequências para a população negra, apresentamos discussões e definições na tentativa de exemplificar e analisar a realidade sob essa temática.
Racismos e as relações de poder
No Brasil, por muito tempo, o mito da democracia racial prevaleceu e tomou proporções nacionais e internacionais. Sob essa visão, no país não haveria preconceito e discriminação com base em cor porque todas as raças conviveriam em harmonia e igualdade de direitos. Assim, as desigualdades eram pautadas na divisão social e não racial. Porém, com os estudos econômicos, históricos e sociológicos, entendeu-se que o racismo no país é disseminado de forma velada e, por isso, há a dificuldade em combatê-lo. Propõe-se que nessa seção sejam identificadas, abordadas e apresentadas algumas formas de racismo existentes na sociedade e como essas reforçam as desigualdades e a manutenção do poder hegemônico.
O racismo se manifesta em práticas conscientes ou inconscientes com o objetivo de culminar em vantagens ou privilégios para uns em detrimento de outros de acordo com o grupo racial que pertencem. Dessa maneira, pode ser definido como uma forma sistemática de discriminação com base na raça. É importante lembrar que raça não é um conceito estático, o que é entendido como raça e suas manifestações mudam ao longo do tempo. Almeida (2018, p. 16) destaca que o uso desse termo está atrelado às circunstâncias históricas e sempre há contingência, conflito, poder e decisão por trás do seu uso.
O conceito de raça é relacional e histórico, operando a partir de duas perspectivas que se complementam e se entrecruzam. A primeira perspectiva é atribuída a características biológicas, como traços físicos, a cor da pele, olhos, cabelo, etc. Já a segunda pode ser observada nas características étnico-culturais, associadas à origem/localização geográfica, religião, língua, costumes e determinadas formas de existir (Almeida, 2018, p. 18).
Frantz Fanon (2019, p. 66) destaca que o racismo é o elemento mais cotidiano e mais grosseiro da estrutura colonial. Se a cultura é um conjunto de comportamentos motores e mentais desenvolvidos com base na interação do homem com a natureza e com seus semelhantes, o racismo pode ser concebido como um elemento cultural. Por isso, existem culturas com racismo e sem racismo, isto é, cultura e racismo são reciprocamente desenvolvidos.
Sendo assim, o objeto do racismo não é limitado à individualidade do ser, mas à sua forma de existir. Para Fanon (2019, p. 67), os opressores se concentram na destruição de valores culturais, dos modos de vida, da linguagem, do vestuário e da desvalorização de técnicas. A escravização dos povos tinha como objetivo a destruição dos sistemas de referência, a expropriação, a espoliação, a razia, o assassinato e a desestruturação do panorama social. Os seus valores eram ridicularizados, esmagados e esvaziados. Nesse sentido, a cultura que era viva e aberta ao futuro se torna aprisionada e oprimida na condição colonial.
As repercussões do racismo são visíveis em todos os níveis sociais. Para Fanon (2019, p. 71), o problema do racismo pode ser encontrado na representação da identidade negra em âmbitos como a literatura, o cinema, o folclore e as artes. Existem hábitos e padrões que restituem o racismo e o perpetuam na sociedade, dessa maneira, um grupo social, uma nação ou civilização não pode ser racista de forma inconsciente.
Concordando com essa ideia, Silva (2022, p. 28) destaca que as representações negativas das populações racializadas e minorias na imprensa, em filmes, na literatura e no humor são recursos do racismo midiático. Essa representação é acima de tudo política pois visa legitimar as estruturas e arranjos sociais, além de manter os benefícios de certos grupos em detrimento da marginalização cultural de outros.
Para Fanon (2019, p. 72), o racismo não é acidental ou uma falha psicológica, nem é um elemento escondido e dissimulado, mas é evidente e intencional. Pode ser observado quando se utiliza o poder econômico e militar como forma de subjugar povos, inferiorizá-los emocional, afetiva e intelectualmente. Para o autor, assim como os valores e ideias são repassados entre as gerações e a cultura é socialmente estruturada, o racismo se apresenta como elemento inerente à essa construção. Assim sendo, o racismo é construído e reconstruído levando em consideração as transformações culturais e as interações sociais.
Para compreender como opera o racismo na sociedade, Almeida (2018, p. 20) nos apresenta três concepções de racismo: o individualista, o institucional e o estrutural. Na concepção individualista, as ações diretas ou indiretas de discriminação são atribuídas ao indivíduo ou a grupos isolados. Já na concepção institucional, o racismo abarca todo o resultado do funcionamento das instituições, no que diz respeito à concessão de privilégios ou desvantagens com base na raça. Por fim, na concepção estrutural, a discriminação racial faz parte da estrutura social como um todo, logo, manifesta-se em todas as esferas sociais.
O racismo individual possui um caráter patológico ou anormal, um fenômeno ético ou psicológico irracional de um indivíduo ou coletivo a ser combatido. Ele se apresenta por meio de comportamentos individuais que visam insultar, inferiorizar e criar estereótipos de grupos raciais específicos em detrimento de outros. Podemos presenciar esses atos preconceituosos facilmente no cotidiano, dos mais suaves aos mais violentos. Como por exemplo, quando uma pessoa negra é seguida pelo o segurança em uma loja, quando uma pessoa branca vê uma pessoa negra em um ambiente elitizado e pressupõe que essa pessoa seja um funcionário do local que está ali para servi-la ou quando um grupo de supremacistas brancos atiram em pessoas negras em uma igreja.
Em contrapartida, o racismo institucional se apresenta de maneira mais sutil, pode ser observado no domínio de uns sobre a organização política e econômica da sociedade. A perpetuação desse poder é pautada na capacidade que o grupo dominante tem de institucionalizar seus interesses, na capacidade de impor regras, padrões e condutas que normalizam seu domínio. Esse domínio é mantido pelo estabelecimento de padrões discriminatórios baseados em raça, utilizados para manter a hegemonia de determinado grupo racial no poder, ou seja, do sujeito homem e branco. Dessa forma, as instituições são materializações de uma estrutura social, de um modo de socialização que o racismo é um componente orgânico.
Por último, o racismo estrutural se manifesta na ordem social, está presente em sua cultura através da desigualdade racial. É um processo histórico e político que cria condições estruturais para que grupos raciais sejam sistematicamente marginalizados, de maneira direta ou indireta. Nesse sentido, as relações políticas, econômicas, jurídicas e até os comportamentos familiares são marcados por práticas racistas que ultrapassam o âmbito individual, sendo reforçadas e reproduzidas pelas instituições. Almeida (2018, p. 25) destaca que “o racismo é uma decorrência da própria estrutura social”. Logo, o racismo individual e institucional são consequências do racismo estrutural.
Considerando o racismo como ferramenta para manutenção do poder hegemônico ao longo dos processos histórico, político, cultural e econômico, bem como perpetuado pelas estratégias da branquitude, Silva (2022, p. 26) também traz o conceito de racismo online. Para o autor, pode se definir racismo online como um “sistema de práticas contra minorias racializadas que privilegiam e mantêm poder político, cultural e econômico em prol de brancos no espaço digital”. Essa ação pode ser observada no uso de termos, textos, imagens, vídeos de forma explícita e também em outras construções de formas implícitas.
É interessante mencionar ainda a reprodução de um estudo feito por Brendesha Tynes sobre a relação entre microagressões online com base algorítmica, trabalho citado por Silva (2022, p. 30). O estudo sobre microagressões, comum na psicologia social e na área da educação, acaba por identificar padrões de funcionamento em diversas áreas de estudo, principalmente no que tange ao racismo antinegro, antiasiático e/ou anti-indígena. A pesquisadora propõe a sistematização dessas microagressões em quatro tipos: microinsultos, microinvalidações, deseducação e desinformação. Observe suas características no quadro a seguir:
É preciso considerar que o uso do termo “micro” não se refere ao grau de violência, mas sim a forma como se infiltra nas relações e como incide em diversos níveis e situações, bem como na possibilidade de evasão do agressor. Essas categorias de microagressões podem ser observadas com frequência em várias modalidades de comunicação e são comumente transformadas em manifestações algorítmicas de racismo, afetando os usuários de forma individual ou coletiva.
Silva (2022) aponta que o racismo se manifesta de várias maneiras e se criou a ideia de que, em termos de sociabilidades digitais, ele não existe. Assim sendo, de acordo com o autor, o racismo algorítmico vai além das manifestações e discursos racistas de forma individual, mas é uma dimensão sistêmica na web e muito mais profunda e complexa do que se imagina, sendo essa modalidade uma espécie de atualização do racismo estrutural.
Racismo algorítmico: novo conceito para velhas práticas?
Considerando o que foi exposto, podemos inferir que as estruturas sociais são marcadas pelo racismo tanto individual, quanto institucional e estrutural, bem como por jogos de poder e pelo uso de mecanismos para manutenção de privilégios. Nesse sentido, se a sociedade é individualmente e estruturalmente racista, as suas representações sociais, culturais, políticas, econômicas e históricas estão repletas de contradições e disputas.
Em entrevista cedida a Ricardo Machado para o Instituto Humanitas Unisinos, publicada em março de 2022, Silva define o racismo algorítmico como:
[…] o modo pelo qual a atual disposição de tecnologias e imaginários sociotécnicos em um mundo moldado pela supremacia branca fortalece a ordenação racializada de conhecimentos, recursos, espaço e violência em detrimento de grupos não-brancos. Assim, é essencial entender muito além de minúcias de linhas de programação, mas como a promoção acrítica de implementação de tecnologias digitais para ordenação do mundo favorece a reprodução dos desenhos de poder e opressão que já estão em vigor.
Sendo assim, as instituições e as estruturas se tornam instrumento do racismo para a manutenção das desigualdades para uns e dos privilégios para outros. O racismo algorítmico se configura sob a mesma perspectiva, mas com a utilização das novas tecnologias: a inteligência artificial, os algoritmos e a produção de dados. Dessa maneira, o autor defende a necessidade de se questionar a neutralidade dos artifícios tecnológicos e da inteligência artificial.
Em uma outra entrevista, desta vez ao blog do Centro de Estudos Estratégicos da Fiocruz Antonio Ivo de Carvalho (CEE-Fiocruz), publicada em março de 2023, o pesquisador Tarcísio Silva defende que o racismo algorítmico é uma espécie de atualização do racismo estrutural. A manutenção das estruturas racistas convergem na produção de vantagens para determinados grupos hegemônicos e vêem na epistemologia da ignorância a manutenção de poder. Dessa forma, o pesquisador defende a importância de se debater o racismo algorítmico, que vêm se tornando recorrente nas redes e, sobretudo, questionar as supostas neutralidades das tecnologias digitais.
Silva (2022) visa demonstrar em seu livro como o colonialismo e a supremacia branca têm influênciado em séculos as esferas da sociedade, inclusive definindo os limites do fazer tecnológico. Para o autor, os avanços tecnológicos trazem sob o conceito de inteligência artificial ou algoritmização as ideias de solidificação da dominação e da necropolítica. Necropolítica foi um termo cunhado por Achille Mbembe (2018) e pode ser descrito como o uso do poder político e social estatal, por meio de ação ou omissão, para definir quem pode permanecer com vida e quem deve morrer. É importante considerar que as principais formas práticas dessa ação são a manutenção de condições de desigualdades à determinada parcela da sociedade – que são, em sua maioria, populações racializadas.
Sendo assim, é necessário questionar a suposta neutralidade e naturalidade de programas nos meios digitais pois os comportamentos racistas e discriminatórios podem ser alimentados por essa visão. Silva (2022) defende ainda que as redes e as tecnologias podem evidenciar, em alta escala, o racismo estrutural engendrado na sociedade, revelando que raça, gênero e classe não ficam isentos dos embates nas redes. Nesse sentido, a inteligência artificial, principalmente o aprendizado de máquinas baseado em dados, pode “alimentar sistemas algorítmicos que reproduzem o preconceito e executam a discriminação” (Silva, 2022, p. 11).
O documentário “Coded Bias”, de 2020, que possui 1 hora e 30 minutos de duração e está disponível na Netflix, reflete sobre os impactos da inteligência artificial na sociedade contemporânea. No início, é retratada a experiência de Joy Buolamwini, uma pesquisadora negra, ganense-americana do MIT (Instituto de Tecnologia de Massachusetts). O intuito da pesquisadora foi desenvolver um software com visão computacional que identificasse seu rosto e a partir disso criasse outras realidades – com a projeção de fotos de pessoas famosas como forma de inspiração. Na fase de testes, o projeto intitulado Aspire Mirror não conseguiu identificar o rosto da pesquisadora a não ser que estivesse com uma máscara branca. Incomodada com o resultado, a pesquisadora se dedicou a demonstrar que as máquinas não são precisas no reconhecimento de pessoas negras, causando inclusive risco para essa parcela da população.
Silva, destaca que as tecnologias repletas de problemas como esses, quando lançadas na sociedade, têm o poder de transformar decisões e processos (Batista, 2023). São ferramentas que tendem a aprofundar as discriminações e representar negativamente as pessoas negras, diga-se como exemplo em softwares de policiamento preditivo onde usam dados e análises para predizer crimes e acabam fortalecendo a seletividade penal.
É interessante destacar que, no primeiro minuto do documentário Coded Bias, há a representação da máquina recitando a seguinte afirmação: “quanto mais os humanos compartilham comigo, mais eu aprendo”. Sabendo que a estrutura é racista e que, de forma individual ou coletiva, a população negra é vista como alvo, convém questionar que tipos de dados e informações são compartilhadas com a inteligência artificial. Ao analisar outros softwares disponíveis online, Joy chegou à conclusão de que o sistema não identificava com precisão os rostos em fotos de pessoas negras, mas os das pessoas brancas, especialmente homens brancos.
Outro ponto apresentado em Coded Bias é que os conceitos de sociedade e tecnologia provém de um grupo pequeno e homogêneo de pessoas. Esses vieses são incorporados na inteligência artificial. Em suma, na inteligência artificial, os dados são compilados com base no passado e as máquinas “aprendem” por meio deles a identificar padrões e prever o futuro. Mesmo que a inteligência artificial seja puramente matemática, não é possível separar o técnico do social. Sendo assim, a matemática não é sexista, homofóbica, racista e capacitista, mas a sociedade possui esse histórico, o que acaba influenciando nas previsões e na forma como a máquina “entende” que seja a realidade e o possível futuro.
Quanto às experiências de usuários, Silva (2022, p. 19) traz que as principais vítimas de racismo no facebook no Brasil são mulheres negras, cerca de 81%. Também nota-se o uso de marcadores textuais e campanhas sinalizadas com hashtags em apoio à pauta de movimentos sociais. Essa descrita “pluralidade midiática” gera desconforto nos grupos hegemônicos, que a partir disso colocam em prática ações de deslegitimação ou invisibilização das pautas reivindicadas pelos movimentos negros.
Como exemplo dessa tentativa, evidencia-se o movimento #BlackLivesMatter, iniciado em 2014, que busca denunciar assassinatos de pessoas negras desarmadas nos Estados Unidos pela polícia. Em contraposição, os contramovimentos utilizam o #AllLivesMatter para defender os policiais e os crimes cometidos, reforçando a ideia de utilizar “nós contra eles”. Esse movimento foi descrito por Silva (2022, p. 24) como sequestro de hashtags e como um exemplo de desinformação estratégica. O uso de notícias e fotos falsas também são estratégias de minar a confiança da população quanto às pautas levantadas.
Além das entrevistas e do livro supracitados, Tarcízio Silva também criou uma linha do tempo com um mapeamento dos inúmeros casos de racismo algorítmico em âmbito nacional e internacional. Um dos casos expostos é o estudo feito em 2019 por pesquisadores da George Institute of Technology. Na ocasião, descobriu-se que a visão computacional em sistemas de carros autônomos identifica melhor pedestres de pele clara e tem mais chance de atropelar pessoas negras (Silva, 2023). Na referida plataforma, denuncia-se que o Twitter decidiu não ativar recurso algorítmico para banir nazistas pois acabaria excluindo políticos republicanos dos Estados Unidos.
Outro exemplo de como opera o racismo algorítmico pode ser evidenciado nas denúncias feitas sobre o FaceApp. De acordo com usuários negros, quando aplicada a função de deixar as selfies submetidas mais sexys, o app costumava embranquecer a pele e afinar o nariz. O CEO da empresa emitiu uma nota informando que não era essa a intenção dos desenvolvedores. Outros filtros ambém foram denunciados, inclusive o que prometia deixar as pessoas com “caras de indianos, asiáticos e/ou negros”, evidenciando uma tendência racista com a estereotipação das caracterítsticas fenotípicas (Geledés, 2017).
Dessa maneira, as estruturas e instituições tendem a trabalhar, de forma consciente ou inconsciente, para a manutenção dos privilégios da branquitude e acabam reforçando os racismos existentes na sociedade, segregando a população racializada e condicionando sua existência à situação de vulnerabilidade. É importante que se entenda como os racismos operam e que se tomem estratégias anti-racistas para a alteração dessa realidade.
Considerações Finais
A população afrodescendente sofre com inúmeras formas de racismo todos os dias. Os negros são maioria nas estatísticas de desemprego e subemprego, na falta de acesso à oportunidades de desenvolvimento econômico, social, cultural e educacional, além de serem os maiores alvos do Estado em operações policiais. Pode-se afirmar que as instituições e estruturas permanecem inalteradas no que diz respeito à preservação de privilégios de alguns e “subdesenvolvimento” de outros. Quando olhamos para a esfera virtual, isso não é diferente.
A internet e as novas tecnologias não são neutras, o racismo estrutural se apresenta nas sociabilidades digitais de inúmeras maneiras. O uso acrítico dessas ferramentas podem ser prejudiciais às minorias raciais, reforçar estereótipos racistas e reproduzir relações de poder da minoria hegemônica sobre os ditos “outros”. Nesse sentido, as formas de mitigar e/ou acabar com as práticas ligadas ao racismo algorítmico devem ir além de se contratar mais pessoas negras para construção de códigos e o envolvimento dessa parcela da população em espaços de poder: é preciso uma reforma estrutural e institucional da sociedade.
Referências
ALMEIDA. Silvio Luiz de. O que é racismo estrutural? Belo Horizonte (MG): Letramento, 2018
BATISTA, Daiane. Tarcízio Silva: “O racismo algorítmico é uma espécie de atualização do racismo estrutural”. Centro de Estudos Estratégicos da Fiocruz Antonio Ivo de Carvalho (CEE-Fiocruz), Rio de Janeiro, 30 mar. 2023. Disponível em: https://cee.fiocruz.br/?q=Tarcizio-Silva-O-racismo-algoritmico-e-uma-especie-de-atualizacao-do-racismo-estrutural. Acesso em: 03 set. 2023
CODED BIAS. Direção: Shalini Kantayya. Produção de Shalini Kantayya. Estados Unidos: 7th Empire Media, 2020. Netflix.
FANON, Frantz. Racismo e cultura. In: LANDI, Gabriel. MANOEL, Jones. Revolução Africana. São Paulo: Autonomia Literária, 2019, pp. 64- 79.
GELEDES. FaceApp é acusado de “clarear” usuários e se desculpa por racismo. 26 Abr. 2017. Disponível em: <https://www.geledes.org.br/faceapp-e-acusado-de-clarear-usuarios-e-se-desculpa-por-racismo/>. Acesso em: 03 set. 2023
MACHADO, Ricardo. Da necropolítica social à necropolítica digital: as mil faces do racismo algorítmico.Entrevista Especial com Tarcízio Silva. Instituto Humanitas Unisinos. Rio Grande do Sul, 15 mar. 2022. Disponível em: https://www.ihu.unisinos.br/616901-da-necropolitica-social-a-necropolitica-digital-as-mil-faces-do-racismo-algoritmico-entrevista-especial-com-tarcizio-silva. Acesso: 03 set. 2023
MBEMBE, Achille. Necropolítica. São Paulo: N-1 edições, 2018. 80 p.
SILVA, Tarcízio. Racismo Algorítmico: inteligência artificial e discriminação nas redes digitais. São Paulo: Edições Sesc, 2022.
SILVA, Tarcízio. Mapeamento de Danos e Discriminação Algorítmica. Desvelar, 2023. Disponível em: https://desvelar.org/casos-de-discriminacao-algoritmica/. Acesso em: 03 set. 2023.
