En savoir plus sur notre trousse de protection de la sécurité des enfants
Des équipes de Google et de YouTube ont développé des outils qui aident les organisations à protéger les enfants en hiérarchisant plus efficacement la priorité des contenus abusifs à examiner.
Deux API particulières sont au centre de cette trousse, à savoir l' API Content Safety et la technologie CSAI Match, que nous offrons gratuitement aux partenaires admissibles. Nos partenaires utilisent ces technologies pour traiter des milliards de fichiers, ce qui leur permet d'évaluer chaque année des millions d'images et de vidéos pour détecter les comportements abusifs.
Meilleure hiérarchisation des priorités
Les API contribuent à la lutte contre l'exploitation des enfants en ligne en faisant en sorte que le contenu abusif soit examiné en priorité par des humains.
Détection plus rapide
En détectant la nature du contenu plus rapidement, on augmente la probabilité que les victimes puissent être identifiées et protégées contre de futurs abus.
Opérations plus sûres
En rendant les files d'attente d'examen plus efficaces et moins encombrées, on allège également le travail parfois difficile des modérateurs de contenu.
En savoir plus sur nos outils
Nos outils présentent des capacités complémentaires. Ils peuvent être utilisés conjointement et avec d'autres solutions pour répondre à différents besoins.
API Content Safety
Classification d'images et de vidéos n'ayant jamais été vues
CSAI MATCH
Établissement de correspondances avec des segments vidéo abusifs connus
API Content Safety
Classification d'images et de vidéos n'ayant jamais été vues
API Content Safety UTILISÉE POUR : LA CLASSIFICATION D'IMAGES ET DE VIDÉOS N'AYANT JAMAIS ÉTÉ VUES
Le classificateur de l'API Content Safety s'appuie sur l'accès programmatique et l'intelligence artificielle pour aider nos partenaires à classifier et à prioriser les milliards d'images et de vidéos à examiner. Plus la priorité attribuée par le classificateur est élevée, plus le fichier multimédia est susceptible de présenter un contenu abusif, ce qui peut aider les partenaires à hiérarchiser leurs examens manuels et à déterminer eux-mêmes la nature du contenu. L'API Content Safety formule une recommandation quant à la priorité à accorder au contenu qui lui est envoyé. Les partenaires doivent réaliser leur propre examen afin de déterminer s'ils doivent prendre des mesures à l'égard du contenu.
Sur le plan opérationnel, nous recommandons aux organisations d'utiliser l'API Content Safety juste avant le processus d'examen manuel, ce qui les aidera à classifier et à hiérarchiser les contenus, et à organiser leur file d'attente. L'API Content Safety peut être utilisée en parallèle avec d'autres solutions, comme l'outil de hachage vidéo CSAI Match de YouTube ou la technologie PhotoDNA de Microsoft, qui répondent chacun à des besoins différents.
Fonctionnement
1. Récupération de fichiers
Les fichiers sont récupérés par le partenaire sous différentes formes, par exemple les fichiers signalés par un utilisateur, ou détectés par les robots d'exploration ou les filtres que le partenaire a créés pour modérer le contenu sur sa plateforme.
2. Examen par l'API
Les fichiers multimédias sont ensuite envoyés à l'API Content Safety au moyen d'un simple appel d'API. Ils sont soumis à des classificateurs pour déterminer la priorité d'examen, puis la valeur de priorité de chacun des contenus est renvoyée au partenaire.
3. Examen manuel
Les partenaires utilisent la valeur de priorité pour hiérarchiser les fichiers qui doivent faire l'objet d'un examen manuel en priorité.
4. Prise de mesures
Une fois l'examen manuel des images et des vidéos terminé, le partenaire peut alors prendre des mesures à l'égard du contenu, conformément aux lois et réglementations locales.
PARTENAIRE
GOOGLE
PARTENAIRE
PARTENAIRE
Images et vidéos signalées par des utilisateurs
Robots d'exploration
Filtres préalables (pornographie et autres classificateurs)
I
API Content Safety
I
Technologie de classificateur
I
Examen manuel
I
Prise de mesures appropriées
CSAI MATCH
Établissement de correspondances avec des segments vidéo abusifs connus
CSAI Match UTILISÉE POUR : L'ÉTABLISSEMENT DE CORRESPONDANCES AVEC DES SEGMENTS VIDÉO ABUSIFS CONNUS
CSAI Match est la technologie propriétaire que YouTube utilise pour lutter contre les vidéos en ligne qui présentent des IASME (images d'abus sexuels sur des mineurs/enfants). Cette technologie a été la première à mettre à profit la correspondance par hachage pour détecter les contenus vidéo non conformes, et elle nous permet de le faire malgré la grande quantité de contenus conformes parmi lesquels ceux-ci se trouvent. Lorsqu'une correspondance avec un contenu non conforme est trouvée, elle est ensuite signalée aux partenaires, qui se chargeront de l'examiner, de confirmer qu'il s'agit bien d'un contenu non conforme et de le signaler de manière responsable, conformément aux lois et réglementations locales. YouTube met sa technologie CSAI Match à la disposition de ses partenaires du secteur et des ONG. Nous leur donnons accès à un logiciel de pistage par empreinte numérique unique et à une API qui les aident à détecter les correspondances avec notre base de données de contenus abusifs connus.
Les plateformes en ligne peuvent empêcher l'affichage et le partage de contenus non conformes sur leurs sites en utilisant la technologie CSAI Match, qui leur permet de comparer leurs contenus avec l'une des plus grandes bases de données de contenus connus présentant des IASME. L'intégration de CSAI Match au système des partenaires est facile à réaliser, ce qui simplifie l'adaptation à grande échelle de la gestion des contenus dont le traitement est délicat.
Fonctionnement
1. Pistage de vidéo par empreinte numérique unique
Une vidéo est téléversée sur la plateforme du partenaire. Ensuite, le créateur d'empreinte numérique de CSAI Match, qui est exécuté sur la plateforme du partenaire, crée un fichier d'empreinte numérique pour ce fichier vidéo, c'est-à-dire un identifiant numérique unique qui représente son contenu.
2. Examen par l'API
Le partenaire envoie le fichier d'empreinte numérique au moyen de l'API CSAI Match pour qu'il soit comparé aux autres fichiers figurant dans le référentiel d'empreintes numériques de YouTube. Ce référentiel contient les empreintes numériques de contenus abusifs connus qui ont été détectés par YouTube et Google.
3. Examen manuel
Une correspondance positive ou négative est renvoyée au partenaire une fois le processus d'appel à l'API terminé. Celui-ci procède alors à l'examen manuel de la vidéo en fonction des informations sur la correspondance pour vérifier qu'elle contient bien des IASME.
4. Prise de mesures
Une fois que les images ont été examinées, le partenaire peut prendre des mesures à l'égard du contenu conformément aux lois et réglementations locales.
« La solution de correspondance par hachage de Google a révolutionné nos flux de travail et a permis d'obtenir de meilleurs résultats, plus rapidement. Grâce à l'importante contribution de Google au National Center for Missing & Exploited Children, les processus automatisés réduisent la nécessité d'un examen humain de MESE déjà signalé, limitant ainsi l'exposition de notre personnel à ce type de contenu. Il est primordial que ces images soient retirées le plus rapidement possible parce qu'à chaque fois que la photo d'un enfant est partagée, celui-ci subit encore une fois le même préjudice. Cette automatisation nous permet également de concentrer nos efforts sur les nouvelles victimes et les survivants encore inconnus. » — National Center for Missing & Exploited Children
« La mise en œuvre de l'API Content Safety de Google a été une grande réussite pour notre plateforme, qui héberge des centaines de millions de documents téléversés par les utilisateurs. L'API analyse efficacement d'importants volumes d'images à la recherche de contenus potentiellement choquants, ce qui contribue à garantir un environnement numérique sûr à nos utilisateurs. Son débit élevé et sa précision nous ont permis de nous concentrer sur l'examen, l'intervention et l'assistance. » — Scribd, Inc.
« Les outils de protection de la sécurité des enfants de Google nous ont permis de confirmer que les mesures de sécurité que nous avons mises en place fonctionnent, et nous continuons à voir un nombre exceptionnellement bas (moins de 10) de matériel d'exploitation sexuelle d'enfants sur Nextdoor. » — Nextdoor
« Alors que Substack continue d'étendre ses capacités vidéo, assurer la sécurité de notre communauté, en particulier la protection des mineurs, reste une priorité absolue en matière de confiance et de sécurité. L'utilisation de technologies avancées de détection des images d'abus sexuels sur des mineurs/enfants (IASME) a été déterminante pour relever ces défis critiques en matière de sécurité. Les outils de Google nous permettent d'identifier et de retirer rapidement et précisément les contenus pernicieux, garantissant ainsi que notre plateforme reste un espace sûr pour les créateurs et le public. » — Substack
« La technologie CSAI Match reste un pilier important du programme de sécurité des enfants d'Adobe. L'exploitation de cette technologie s'est révélée un moyen efficace de détecter les vidéos d'abus sexuels sur des enfants à grande échelle. » — Adobe
« La lutte contre la propagation grandissante de matériel vidéo d'exploitation sexuelle d'enfants pose de nouveaux défis et exige de recourir à de nouvelles technologies. La technologie CSAI Match s'est avérée être une partie de la solution, car elle nous permet de détecter et de retirer plus facilement de nos plateformes les vidéos qui contiennent du MESE. » — Yahoo!
« L'API Content Safety facilite le travail des analystes chargés de détecter les images présentant de l'abus sexuel sur des mineurs grâce à sa technologie de hiérarchisation des priorités. Compte tenu du volume sans cesse croissant de rapports à traiter, la hiérarchisation efficace de ceux-ci en vue de leur examen constitue un véritable défi. Cette technologie permet aux analystes de recevoir plus rapidement les rapports qui montrent des contenus présentant de l'abus sexuel sur des mineurs, et donc d'agir plus vite pour protéger les victimes et retirer ces contenus. » — Point de Contact
« De sa facilité d'intégration à sa rapidité de réponse en passant par sa stabilité et sa précision, l'API Content Safety, en plus d'avoir optimisé le processus d'analyse comme tel, a considérablement réduit le temps passé par les analystes de contenu à examiner des images de MESE et a eu une incidence positive sur le bien-être de ces derniers. » — SaferNet Brasil
1
/
FAQ
API Content Safety
Quel format prennent les données envoyées à l'API Content Safety?
Nous avons des options pour prendre en charge à la fois le contenu brut sous forme d'octets et les intégrations dérivées de fichiers multimédias. Communiquez avec nous pour obtenir plus de détails.
Qui peut s'inscrire pour accéder à la technologie et à l'API Content Safety?
Les tiers d'entreprises et de la société civile qui veulent protéger leur plateforme contre les abus peuvent s'inscrire pour accéder à l'API Content Safety. Les demandes doivent être approuvées.
Pourquoi rendez-vous ces outils si largement accessibles?
Nous pensons que la meilleure approche pour lutter contre l'exploitation des enfants dans le contenu en ligne consiste à collaborer avec d'autres entreprises et ONG. Nous œuvrons depuis longtemps au sein de l'industrie ainsi qu'avec diverses ONG en vue de soutenir la création de nouveaux outils basés sur les données, de renforcer les capacités techniques et de sensibiliser le public. Nous considérons que rendre ces outils largement accessibles est un élément essentiel de cette lutte parce qu'ils permettent à nos partenaires d'utiliser l'IA pour mieux examiner le contenu à grande échelle.
CSAI Match
La technologie CSAI Match fonctionne-t-elle pour les images?
La technologie CSAI Match est conçue pour les vidéos, mais grâce à l'API Content Safety de Google, un ensemble d'outils est mis à la disposition des entreprises et des ONG partenaires afin d'offrir une classification des images basée sur l'apprentissage automatique. Apprenez-en plus.
Quels renseignements sont affichés lorsqu'une correspondance est établie?
La correspondance permettra de cerner la partie de la vidéo qui contient des IASME connues et de classifier le type de contenu dans une catégorie normalisée.
Qu'est-ce qui rend la technologie CSAI Match si efficace?
La technologie CSAI Match détecte les segments quasi identiques d'IASME connues. Cela comprend non seulement les doublons intégraux que la correspondance de hachage MD5 révélerait, mais aussi les quasi-doublons qui pourraient être des réencodages, des brouillages, des troncatures ou des mises à l'échelle de vidéos contenant des IASME, même lorsqu'une vidéo ne contient qu'une petite partie d'IASME pouvant avoir été mélangée à du contenu sans IASME. Les partenaires exécutent un programme binaire de pistage par empreinte numérique unique pour produire une « empreinte numérique » de la vidéo, soit une séquence d'octets similaire à un hachage MD5. Celle-ci est ensuite envoyée au service CSAI Match de Google, qui est spécialement conçu pour assurer une comparaison efficace d'une vidéo avec le corpus de références d'IASME connues de YouTube.
