*Monika Bickert e Brian Fishman

Diante dos recentes ataques terroristas, pessoas têm questionado o papel de empresas de tecnologia na luta contra o terrorismo no mundo online. Queremos responder a esse questionamento de forma objetiva. Concordamos com aqueles que dizem que as mídias sociais não podem ser um lugar onde terroristas têm voz. Queremos ser muito claros sobre o quanto levamos isso a sério – manter nossa comunidade segura é fundamental para nossa missão.

Neste texto, vamos falar sobre parte do trabalho que fazemos nos bastidores, algo que nunca falamos publicamente antes, incluindo como usamos inteligência artificial para garantir que conteúdo terrorista não esteja no Facebook. Também vamos discutir sobre as pessoas com as quais trabalhamos no combate ao terrorismo, algumas das quais dedicaram suas carreiras inteiras combatendo-o, e ainda sobre como colaboramos com parceiros externos nessa área.

Nossa posição é simples e direta: não há espaço no Facebook para terrorismo. Nós removemos terroristas e posts que apoiam o terrorismo assim que ficamos cientes deles. Quando recebemos denúncias de potenciais posts sobre terrorismo, nós os revisamos com urgência e escrutínio. E nos raros casos em que identificamos evidências de uma eminente ameaça, nós informamos as autoridades na mesma hora. Embora pesquisas acadêmicas indiquem que as atividades de membros de grupos radicais como ISIS e Al Qaeda ocorram principalmente no mundo offline, nós sabemos que a internet tem um papel nisso – e nós não queremos que o Facebook seja usado para qualquer atividade terrorista.

Nós acreditamos que a tecnologia, e o Facebook, podem ser parte da solução.

Nós temos sido cautelosos, em parte porque não queremos sugerir que seja simples lidar com este assunto do ponto de vista tecnológico. É um enorme desafio manter as pessoas seguras em uma plataforma com quase 2 bilhões de pessoas mensalmente, compartilhando conteúdo e comentando em mais de 80 idiomas em todo o mundo. E há muito mais que podemos fazer. Mas queremos compartilhar o que estamos fazendo e receber o feedback sobre o que podemos fazer melhor.

Inteligência Artificial

Queremos identificar conteúdo terrorista imediatamente, antes que as pessoas em nossa comunidade tenham acesso a ele. A maioria das contas no Facebook que removemos já são identificadas por nós mesmos. Mas sabemos que podemos fazer mais usando tecnologia, especialmente inteligência artificial, para interromper a propagação de conteúdo terrorista no Facebook. Embora o uso de Inteligência Artificial contra o terrorismo seja relativamente recente, isso já está mudando a maneira como eliminamos potencial propaganda terrorista e perfis relacionados a isso no Facebook. Estamos no momento concentrando esforços tecnológicos em combater conteúdo sobre o ISIS, a Al Qaeda e suas afiliadas, e devemos expandir isso a outras organizações terroristas. Estamos o tempo todo atualizando nossas soluções tecnológicas, veja abaixo alguns de nossos esforços atuais.

Identificação de imagens: Quando alguém tenta carregar uma foto ou um vídeo com conteúdo terrorista, nossos sistemas analisam se as imagens são compatíveis com alguma foto ou vídeo conhecidos. Isso significa que se nós previamente removemos um vídeo de propaganda do ISIS, podemos trabalhar preventivamente para evitar que o mesmo vídeo seja carregado em nosso site. Em muitos casos, isso significa que o conteúdo terrorista nem sequer ficará disponível na nossa plataforma.

Interpretação de textos: Também começamos recentemente a experimentar o uso de Inteligência Artificial para entender textos que podem estar promovendo o terrorismo. Para isso, usamos textos que foram previamente removidos por promover ou apoiar organizações como o ISIS e a Al Qaeda, assim podemos encontrar sinais que apontem se um texto contém propaganda terrorista. A análise inclui um algoritmo que está no estágio inicial de aprendizagem sobre como detectar posts similares. Com o passar do tempo, o algoritmo vai acumulando informação e se aperfeiçoando.

Remoção por comportamento: Nós sabemos a partir de estudos sobre terroristas que eles tendem a se radicalizar e a operar em grupos. Essa tendência offline é refletida no mundo online também. Assim, quando identificamos páginas, grupos, posts ou perfis que estão suportando o terrorismo, também usamos algoritmos para tentar identificar material relacionado que possa estar também apoiando o terrorismo. Nós usamos sinais como, por exemplo, quando uma conta tem muitos amigos cujos perfis foram desabilitados por terrorismo, ou mesmo contas que possuem atributos similares aos de uma conta desabilitada por terrorismo.

Reincidência: Também somos muito mais rápidos agora para identificar contas falsas criadas por reincidentes. Com isso, temos sido capazes de reduzir drasticamente o período de tempo em que uma conta de um terrorista reincidente fica ativa no Facebook. Esse trabalho nunca termina, porque é uma luta contra adversários que estão sempre tentando aperfeiçoar seus métodos para continuar na plataforma. Estamos constantemente identificando novas formas que terroristas usam para tentar burlar nossos sistemas, e temos atualizado nossas táticas com base nisso.

Colaboração multi-plataformas: Como não queremos ter espaço para terroristas em qualquer aplicativo da família de produtos do Facebook, começamos a trabalhar em sistemas para permitir que possamos agir sobre contas em todas as nossas plataformas, incluindo no WhatsApp e no Instagram. Devido à quantidade limitada de dados que alguns de nossos aplicativos coletam como parte de seus serviços, a habilidade de compartilhar dados entre toda a família de produtos é indispensável como parte de nossos esforços para manter todas as nossas plataformas seguras.

Expertise humano

A Inteligência Artificial não consegue resolver tudo. Muitas vezes não é simples identificar conteúdos que estejam ou não suportando o terrorismo, e os algoritmos ainda não são tão bons quanto as pessoas na compreensão do contexto de um conteúdo. Uma foto de um homem armado com uma bandeira do ISIS pode ser propaganda ou material para recrutamento, mas também pode ser uma foto em uma notícia. Alguns dos maiores críticos de grupos como o ISIS utilizam a própria propaganda do ISIS contra o grupo. Pelas considerações acima, nós precisamos de expertise humano.

Denúncias e revisões: Nossa comunidade – as pessoas que estão no Facebook – nos ajudam denunciando contas ou conteúdo que possam violar nossas políticas, incluindo uma pequena fração que pode estar relacionada com terrorismo. Nossos times ao redor do mundo – que está crescendo em 3 mil pessoas no próximo ano, trabalha 24 horas por dia e em dezenas de idiomas para revisar essas denúncias e determinar o contexto. Isso pode ser um trabalho tremendamente difícil, e damos apoio a esses revisores com suporte psicológico e treinamento.

Especialistas em terrorismo e segurança: No último ano, nós também aumentamos de forma significativa nosso time de especialistas no combate ao terrorismo. No Facebook, mais de 150 pessoas estão focadas principalmente em contra terrorismo, sendo essa sua principal responsabilidade. Isso inclui especialistas acadêmicos, ex-procuradores, ex-agentes policiais, analistas e engenheiros. Ao todo, cerca de 30 diferentes idiomas são falados por esse time de especialistas.

Ameaças reais: Cada vez mais usamos Inteligência Artificial para identificar conteúdo terrorista, mas os computadores não são muito bons para identificar um conteúdo que represente uma ameaça real que deva ser escalada para autoridades. Também temos um time global para responder em minutos a pedidos emergenciais de autoridades.

Parcerias

Trabalhar para manter o terrorismo fora do Facebook não basta, porque os terroristas migram de plataforma para plataforma. Por isso, trabalhar em parceria com outras companhias, sociedade civil, pesquisadores e governos também é crucial.

Cooperação setorial: Para identificar mais rapidamente conteúdos terroristas e impedir sua propagação, nos juntamos à Microsoft, Twitter e YouTube seis meses atrás para anunciar uma base de dados de “hashes” da indústria — o escaneamento de fotos e vídeos – para conteúdo produzido por organizações terroristas ou de apoio a elas. Essa colaboração já produziu resultados, e esperamos ter mais parceiros no futuro. Agradecemos a companhias parceiras que ajudam a manter o Facebook um lugar seguro.

Governos: Os governos e as agências intergovernamentais também têm um papel chave, por fornecer expertise que é impossível para as empresas desenvolverem sozinhas. Temos aprendido muito em reuniões com agências em diferentes países sobre os mecanismos de propaganda do ISIS e da Al Qaeda. Também temos participado e nos beneficiado de esforços para suportar a indústria por organizações como o Internet Forum (União Europeia), a Global Coalition Against Daesh e o Ministério do Interior do Reino Unido.

Criptografia: Nós sabemos que os terroristas algumas vezes usam mensagens criptografadas para se comunicar. A tecnologia da criptografia tem muitos usos legítimos – de proteger nossas transações bancárias a manter nossas fotos seguras. Ela também é essencial para jornalistas, ONGs, defensores dos direitos humanos e outros que precisam que suas mensagens permaneçam seguras. Devido ao modo como a criptografia de ponta-a-ponta funciona, nós não podemos ter acesso aos conteúdos de mensagens criptografadas trocadas entre as pessoas, mas nós podemos fornecer informações a pedidos válidos do judiciário e de autoridades policiais, quando aplicáveis à legislação e às nossas políticas.

Treinamento de contra discurso: Também acreditamos que desafiar as narrativas extremistas online é uma parte valiosa da resposta do mundo real ao extremismo. O contra discurso pode vir de muitas formas, e tal esforço é fundamental para evitar que as pessoas façam discurso do ódio, tomem ações violentas ou sejam convencidas a desistir de suas vidas. O contra discurso só é efetivo se vier de fontes com credibilidade, e temos nos associado a ONGs e a grupos na comunidade para dar poder a suas vozes nessa frente.

Programas de parceiros: Nós apoiamos muitos grandes programas de contra discurso. No ano passado, por exemplo, nós trabalhamos com o Institute for Strategic Dialogue para lançar a Online Civil Courage Initiative, um projeto que já engajou com mais de 100 organizações que atuam no contra discurso e contra o extremismo na Europa. Também temos trabalhado com o Affinis Labs para organizar hackathons em lugares como Manila, Dhaka e Jacarta, onde líderes têm juntado forças com empreendedores digitais para desenvolver soluções inovadoras contra o extremismo e o discurso do ódio. E, por fim, o programa que apoiamos com alcance mais global é uma competição estudantil pela P2P, o Facebook Global Digital Challenge. Em menos de dois anos, a P2P atingiu mais de 56 milhões de pessoas em todo o mundo através de mais de 500 campanhas contra extremismo e contra o discurso do ódio criadas por mais de 5.500 estudantes universitários em 68 países.

Nosso compromisso

Queremos que o Facebook seja um ambiente hostil para terroristas. O desafio para comunidades online é o mesmo para comunidades no mundo offline – ser mais ágil em identificar os primeiros sinais antes que seja tarde. Estamos comprometidos em manter o terrorismo fora de nossa plataforma, e vamos continuar a compartilhar o que estamos fazendo à medida que avançamos nessa frente.

* Monika Bickert, diretora global de Políticas de Conteúdo.

*Brian Fishman, gerente de Políticas Contra Terrorismo