‘Eu estava moderando centenas de vídeos horríveis e traumatizantes’

Nos últimos meses, a BBC tem explorado um mundo obscuro e oculto – um mundo onde o pior, o mais horrível, o mais angustiante e, em muitos casos, o conteúdo online ilegal acaba.

Decapitações, assassinatos em massa, abuso infantil, discurso de ódio – tudo isso acaba nas caixas de entrada de um exército global de moderadores de conteúdo.

Você não costuma ver ou ouvir falar deles – mas essas são as pessoas cujo trabalho é revisar e, quando necessário, excluir conteúdo que seja denunciado por outros usuários ou sinalizado automaticamente por ferramentas tecnológicas.

A questão da segurança online tornou-se cada vez mais proeminente, com as empresas de tecnologia sob maior pressão para remover rapidamente materiais nocivos.

E apesar de muita pesquisa e investimento em soluções tecnológicas para ajudar, em última análise, por enquanto, ainda são os moderadores humanos que têm a palavra final.

Os moderadores são frequentemente contratados por empresas terceirizadas, mas trabalham em conteúdo postado diretamente nas grandes redes sociais, incluindo Instagram, TikTok e Facebook.

Eles estão baseados em todo o mundo. As pessoas com quem falei enquanto fazia a nossa série The Moderators for Radio 4 e BBC Sounds viviam em grande parte na África Oriental e, desde então, todas deixaram a indústria.

Suas histórias eram angustiantes. Parte do que gravamos era brutal demais para ser transmitido. Às vezes, meu produtor Tom Woolfenden e eu terminávamos uma gravação e ficávamos sentados em silêncio.

“Se você pegar seu telefone e depois for ao TikTok, verá muitas atividades, danças, sabe, coisas felizes”, diz Mojez, um ex-moderador baseado em Nairóbi que trabalhou no conteúdo do TikTok. “Mas, no fundo, eu pessoalmente moderava, às centenas, vídeos horríveis e traumatizantes.

“Eu assumi isso sozinho. Deixe minha saúde mental tomar conta para que os usuários em geral possam continuar realizando suas atividades na plataforma.”

Atualmente, existem várias reivindicações legais em andamento de que o trabalho destruiu a saúde mental de tais moderadores. Alguns dos antigos trabalhadores da África Oriental uniram-se para formar um sindicato.

“Na verdade, a única coisa que existe entre eu entrar em uma plataforma de mídia social e assistir a uma decapitação é alguém sentado em um escritório em algum lugar, assistindo esse conteúdo para mim e revisando-o para que eu não precise fazer isso”, diz Martha Dark. que dirige a Foxglove, um grupo de campanha que apoia a ação legal.

Em 2020, o Meta, então conhecido como Facebook, concordou em pagar um acordo de US$ 52 milhões (£ 40 milhões) a moderadores que desenvolveram problemas de saúde mental por causa de seus empregos.

A ação legal foi iniciada por uma ex-moderadora nos EUA chamada Selena Scola. Ela descreveu os moderadores como “guardiões das almas”, pela quantidade de imagens que veem contendo os momentos finais da vida das pessoas.

Todos os ex-moderadores com quem conversei usaram a palavra “trauma” para descrever o impacto que o trabalho teve sobre eles. Alguns tiveram dificuldade para dormir e comer.

Um deles descreveu como ouvir um bebê chorar deixou um colega em pânico. Outro disse que tinha dificuldade em interagir com a esposa e os filhos por causa do abuso infantil que testemunhou.

Eu esperava que eles dissessem que este trabalho era tão emocional e mentalmente cansativo, que nenhum ser humano deveria ter que fazê-lo – pensei que eles apoiariam totalmente a automatização de toda a indústria, com as ferramentas de IA evoluindo para se adaptarem ao trabalho.

Mas eles não o fizeram.

O que surgiu, de forma muito poderosa, foi o imenso orgulho que os moderadores tinham pelos papéis que desempenharam na proteção do mundo contra danos online.

Eles se viam como um serviço de emergência vital. Um diz que queria uniforme e distintivo, comparando-se a um paramédico ou bombeiro.

“Nem um segundo foi desperdiçado”, diz alguém a quem chamávamos de David. Ele pediu para permanecer anônimo, mas havia trabalhado em material que foi usado para treinar o chatbot viral de IA ChatGPT, para que fosse programado para não regurgitar material horrível.

“Estou orgulhoso das pessoas que treinaram este modelo para ser o que é hoje.”

Mas a própria ferramenta que David ajudou a treinar poderá um dia competir com ele.

Dave Willner é ex-chefe de confiança e segurança da OpenAI, criadora do ChatGPT. Ele afirma que sua equipe construiu uma ferramenta rudimentar de moderação, baseada na tecnologia do chatbot, que conseguiu identificar conteúdos nocivos com uma taxa de precisão em torno de 90%.

“Quando eu meio que percebi, ‘ah, isso vai funcionar’, eu honestamente engasguei um pouco”, diz ele. “(Ferramentas de IA) não fique entediado. E eles não se cansam e não ficam chocados…. eles são incansáveis.”

Nem todos, porém, estão confiantes de que a IA seja uma solução milagrosa para o problemático setor de moderação.

“Penso que é problemático”, afirma o Dr. Paul Reilly, professor sénior de comunicação social e democracia na Universidade de Glasgow. “É evidente que a IA pode ser uma forma bastante direta e binária de moderar conteúdo.

“Isso pode levar ao bloqueio excessivo de questões de liberdade de expressão e, claro, pode perder nuances que os moderadores humanos seriam capazes de identificar. A moderação humana é essencial para as plataformas”, acrescenta.

“O problema é que não há número suficiente deles e o trabalho é extremamente prejudicial para aqueles que o realizam.”

Também abordamos as empresas de tecnologia mencionadas na série.

Um porta-voz da TikTok disse que a empresa sabe que a moderação de conteúdo não é uma tarefa fácil e se esforça para promover um ambiente de trabalho atencioso para os funcionários. Isso inclui oferecer suporte clínico e criar programas que apoiem o bem-estar dos moderadores.

Eles acrescentam que os vídeos são inicialmente revisados ​​por tecnologia automatizada, que, segundo eles, remove um grande volume de conteúdo prejudicial.

Enquanto isso, a Open AI – a empresa por trás do Chat GPT – diz estar grata pelo trabalho importante e às vezes desafiador que os trabalhadores humanos realizam para treinar a IA para detectar tais fotos e vídeos. Um porta-voz acrescenta que, com os seus parceiros, a Open AI aplica políticas para proteger o bem-estar destas equipas.

E a Meta – dona do Instagram e do Facebook – afirma que exige que todas as empresas com as quais trabalha forneçam suporte no local 24 horas por dia com profissionais treinados. Acrescenta que os moderadores podem personalizar suas ferramentas de revisão para desfocar o conteúdo gráfico.

Os moderadores estão na BBC Radio 4 às 13h45 GMT, de segunda-feira, 11 de novembro, a sexta-feira, 15 de novembro, e em Sons da BBC.