Aujourd`hui des milliers de personnes à travers le monde exercent cette profession: jour et nuit, ils visionnent et filtrent le contenu de l`internet. Sur Facebook seulement, un million d`unités de contenu serait ainsi soumis au jugement des modérateurs chaque jour. Quelles sont les difficultés et les contradictions éthiques auxquelles ces travailleurs d`un nouveau genre sont confrontés? Plus généralement, quelle est la politique — parfois controversée — des différents sites par rapport au contenu?

Un an après le lancement de YouTube en 2005, la compagnie a créé une équipe de dix personnes, le SQUAD (pour Safety, Quality, and User Advocacy Department — Service de sécurité, de qualité et de protection des utilisateurs) qui visionnait les vidéos téléchargées signalées par les utilisateurs y voyant un contenu offensant ou malveillant. YouTube est rapidement passée de plateforme permettant aux proches de partager des vidéos de famille entre eux en ressource hébergeant de la pornographie amateur et professionnelle, ou encore des vidéos montrant un traitement violent des enfants et des animaux. Le SQUAD a commencé à élaborer des règles pour filtrer un tel contenu. D`abord, le personnel de ce service se posait une question très simple: "Puis-je montrer cette vidéo à mes proches?" — mais avec le temps on a compris qu`un règlement plus strict et officiel devait être mis en place. En 2007, YouTube a publié les premières règles d`utilisation du site interdisant de télécharger de la pornographie, du spam, des vidéos de crimes, de violence, de menaces et d`incitation à la haine. Cependant, les définitions restaient floues et laissaient tout de même une marge de manœuvre aux malfaiteurs.
Avec l`évolution des plateformes, d`autres compagnies ont également créé de tels services de modération. Des sociétés indépendantes sont apparues (comme Modsquad) proposant à d`autres compagnies leurs services de modération du contenu. Certains y consacraient leurs thèses dans les universités, et les chercheurs effectuaient des stages dans des services similaires au SQUAD. Mais malgré le développement actif de ce métier, les modérateurs restent isolés des autres employés. En général, leurs locaux se trouvent éloignés des autres, il y fait sombre et les écrans de leurs ordinateurs sont protégés des regards. Ils n`ont pas le droit de montrer un contenu choquant à d`autres collègues (ce qui n`est pas forcément nécessaire — les récits suffisent à créer le malaise) ni de divulguer les principes de modération de leur compagnie.

Les modérateurs vivent quotidiennement un stress considérable en visionnant des images et des vidéos violentes. Certains se noient dans l`alcool, d`autres souffrent d`insomnie et connaissent des crises de nerfs. Comme l`explique une ex-employée du SQUAD chez YouTube, Julia Mora-Blanco, la compagnie a commencé à offrir des séances de psychothérapie pour aider son personnel. Aujourd`hui, les compagnies comme Google, Microsoft, Yahoo, Facebook et Kik organisent pour leur personnel des stages de résistance psychologique et des consultations avec des experts pour aborder des thèmes tels que le suicide, le traitement violent des enfants, la maltraitance des femmes, le terrorisme, etc. Les modérateurs reçoivent des directives très détaillées. Mais de nombreuses compagnies considèrent encore cette "caste" d`employés comme un groupe d`"agents de ramassage des ordures" derrière l`humanité. Les entreprises américaines embauchent souvent des modérateurs dans les pays du Tiers monde — qui recherchent désespérément un travail, quel qu`il soit.
En réfléchissant bien, ces "techniciens de surface" ont une immense influence sur notre vie. Y compris sur la politique internationale. Quand en 2009, pendant les manifestations à Téhéran après la victoire de Mahmoud Ahmadinejad à la présidentielle, Neda Agha-Soltan avait été tuée, les images de sa mort s`étaient immédiatement répandues sur la Toile. Selon Julia Mora-Blanco, le SQUAD de YouTube avait décidé de ne pas bloquer ces images même si ces dernières montraient des scènes de violence — ce qui était interdit par le règlement du site. Les informaticiens de YouTube ont dû inventer dans l`urgence pour la vidéo une signalétique d`avertissement pour mettre en garde contre la violence présente sur les images. La vidéo de l`assassinat de Neda Agha-Soltan a été emblématique pour l`opposition iranienne. Et à ce moment, le refus du SQUAD d`appliquer le règlement a montré à quel point les modérateurs de contenu étaient plus que de simples techniciens: ils influencent la liberté d`expression, l`opposition politique, les normes sociales, la sécurité des utilisateurs et la perception du sens de la vie.

Les modérateurs sont constamment confrontés aux divergences de culture, ce qui mène souvent à des impasses. Par exemple, dans le cas d`une vidéo où des adolescents se battent: pour bien faire, le modérateur de YouTube doit la bloquer car elle contient des images de mineurs impliqués dans une violence pour se divertir, mais d`autre part, en Inde les garçons d`un tel âge sont déjà considérés comme des adultes, c`est pourquoi elle ne sera pas considérée comme inadmissible. Quelle décision doit prendre le modérateur dans cette situation? Ou encore: il est interdit au modérateur d`approuver une vidéo montrant des crimes commis par des narcocartels au Mexique, dans ce cas, c`est considéré comme un contenu violent. Une telle décision pourrait sembler offensante pour certains, car au Mexique le problème de la violence des cartels est également une tragédie et un problème à l`échelle nationale.

En 2014, Dave Willner (ancien responsable de la politique de contenu de Facebook) et Dan Kelmenson (ingénieur-informaticien de Facebook) ont breveté une technologie capable d`identifier une activité malveillante potentielle sur internet. Son modèle implique trois stades: l`identification d`un groupe de malfaiteurs, l`identification des utilisateurs qui y sont associés puis la recherche et l`analyse d`autres groupes en interaction avec eux. Parmi les systèmes automatisés de modération on peut notamment citer PhotoDNA (de Microsoft), qui détermine, supprime et informe automatiquement de la présence d`images d`exploitation d`enfants sur des photos. Il traite toutes les images téléchargées, par exemple, sur les sites comme Facebook, Twitter et Tumblr. Selon le même principe, un logiciel est actuellement élaboré pour identifier des images extrémistes.

Le processus de modération reste encore mystérieux car les compagnies internet le cachent sciemment. Les réseaux sociaux ne diffusent jamais les directives de modération interne de leur contenu et les employés qui y travaillent ou y ont travaillé signent des accords de non divulgation. Actuellement, Pinterest est le plus transparent en la matière: son site explique en détail sa politique relative à l`usage admissible du contenu et donne des exemples, ce qui permet aux utilisateurs de comprendre les principes de travail des modérateurs et leur attitude vis-à-vis de ce qui est publié sur Pinterest.

Les utilisateurs sont habitués à se sentir comme des "clients de l`internet" mais c`est en fait eux qui génèrent le contenu et participent activement à sa modération. Ils peuvent le signaler comme indésirable, certains participent à la campagne counter speech sur Facebook et aident le site à identifier ceux qui font la propagande de l`extrémisme (d`autres s`opposent à une telle pratique qui pourrait mettre en danger le "rapporteur"). Certaines plateformes (comme 4chan ou Reddit par le passé) se dégagent même de toute responsabilité de filtration du contenu et la laissent aux utilisateurs. Toutefois, cela ne conduit à rien de bon — les sites de ce genre débordent de contenu abject.

Tags: