Google과 YouTube에서는 조직이 학대성 콘텐츠 검토의 우선순위를 더욱 효과적으로 지정하여 아동을 보호할 수 있도록 돕는 도구를 개발했습니다.
툴킷의 핵심 요소는 Google이 조건을 충족하는 파트너에 무료로 제공하는 콘텐츠 안전 API와 CSAI 매치입니다. 파트너는 이러한 기술을 통해 수십억 개의 파일을 처리하여 학대성 행위를 묘사하는 이미지와 동영상을 매년 수백만 개씩 검토할 수 있습니다.
더 효과적인 우선순위 지정
API는 사람의 검토가 필요한 학대성 콘텐츠의 우선순위를 지정하여 온라인상의 아동 착취 근절에 기여합니다.
더욱 빠른 파악
콘텐츠를 더욱 빠르게 파악하면 피해자를 찾아 추가적인 학대로부터 보호할 수 있는 확률이 늘어납니다.
더욱 안전한 운영
검토 목록을 더욱 효율적으로 만들고 의미 없는 데이터를 줄여 콘텐츠 검토자의 수고를 덜 수 있습니다.
Google 도구에 관해 알아보기
Google의 도구는 상호 보완 기능을 갖췄습니다. 여러 가지 요구사항을 해결하기 위해 다른 솔루션과 함께 사용할 수 있습니다.
CONTENT SAFETY API
기존에 알려지지 않은 이미지 및 동영상 분류
CSAI MATCH
알려진 학대성 동영상 세그먼트 매칭
CONTENT SAFETY API
기존에 알려지지 않은 이미지 및 동영상 분류
Content Safety API 용도: 기존에 알려지지 않은 이미지 및 동영상 분류
Content Safety API 분류기는 프로그래매틱 액세스와 인공지능을 사용하여 파트너가 수십억 개의 이미지 및 동영상을 분류하고 우선순위를 파악해 검토하도록 돕습니다. 분류기가 높은 우선순위를 지정할수록 미디어 파일에 학대성 콘텐츠가 포함되어 있을 가능성이 높습니다. 따라서 파트너는 이러한 이미지를 우선적으로 직접 검토하고 어떤 조치를 취할지 결정할 수 있습니다. Content Safety API는 전송받은 콘텐츠에 권장 우선순위를 지정합니다. 파트너는 콘텐츠에 조치를 취할지 결정하기 위해 반드시 콘텐츠를 직접 검토해야 합니다.
Google에서는 운영 과정에서 직접 검토 절차 직전에 Content Safety API를 사용할 것을 조직에 권장합니다. 이렇게 하면 조직에서 콘텐츠를 분류하고 우선순위를 지정하여 검토 순서를 정할 수 있기 때문입니다. Content Safety API는 YouTube의 CSAI Match 동영상 해싱 도구, Microsoft의 PhotoDNA와 같이 각기 다른 요구사항을 해결하는 기타 솔루션과 병행하여 사용할 수 있습니다.
작동 방식
1. 파일 가져오기
파트너는 여러 형식으로 파일을 가져옵니다. 사용자가 신고하거나, 파트너가 플랫폼 내의 콘텐츠를 관리하기 위해 만든 필터 또는 크롤러에 의해 감지된 경우를 예로 들 수 있습니다.
2. API 검토
그러면 미디어 파일이 간단한 API 호출을 통해 Content Safety API에 전송됩니다. 이미지 파일은 검토 우선순위를 파악하기 위해 분류기를 거치며, 각 콘텐츠의 우선순위 값은 파트너에게 다시 전송됩니다.
3. 직접 검토
파트너는 우선순위 값을 사용하여 먼저 직접 검토해야 할 파일을 선별합니다.
4. 조치 취하기
파트너는 이미지 및 동영상 파일을 직접 검토하고 나서 현지 법률 및 규정에 따라 콘텐츠에 조치를 취할 수 있습니다.
파트너
GOOGLE
파트너
파트너
사용자가 이미지 또는 동영상을 신고함
크롤러
사전 필터 (포르노/기타 분류기)
I
Content Safety API
I
분류기 기술
I
직접 검토
I
상황에 맞게 조치
CSAI MATCH
알려진 학대성 동영상 세그먼트 매칭
CSAI Match 용도: 알려진 학대성 동영상 세그먼트 매칭
CSAI Match는 온라인상의 아동 성적 학대 이미지(CSAI) 동영상에 맞서기 위한 YouTube의 독점 기술입니다. 이 기술은 처음으로 해시 매칭을 사용하여 알려진 정책 위반 콘텐츠를 파악했으며, 다수의 정상적인 동영상 콘텐츠 중에 이러한 정책 위반 콘텐츠를 파악하는 데 사용되었습니다. 정책 위반 콘텐츠가 발견되면 파트너가 검토, 확인하여 현지 법률 및 규정에 따라 책임감 있게 신고할 수 있도록 해당 콘텐츠가 파트너에게 신고됩니다. YouTube는 업계와 NGO의 파트너에게 CSAI Match를 제공합니다. 파트너는 디지털 지문 수집 소프트웨어와 API를 이용하여 알려진 악성 콘텐츠의 Google 데이터베이스와 일치하는 콘텐츠를 찾을 수 있습니다.
온라인 플랫폼은 CSAI Match를 사용하여 세계 최고 규모의 알려진 아동 성적 학대 이미지 콘텐츠의 인덱스와 사이트의 콘텐츠를 대조하는 방법으로 위법 콘텐츠가 사이트에서 표시 및 공유되는 것을 막을 수 있습니다. 파트너는 CSAI Match를 자체 시스템에 간편하게 통합하여 까다로운 콘텐츠 관리를 규모에 맞게 구축할 수 있습니다.
작동 방식
1. 동영상 디지털 지문 수집
동영상은 파트너의 플랫폼에 업로드됩니다. 파트너의 플랫폼에서 실행되는 CSAI Match 디지털 지문 생성기는 동영상의 디지털 지문 파일을 생성합니다. 디지털 지문 파일이란 동영상 파일 콘텐츠를 고유하게 나타내는 디지털 ID입니다.
2. API 검토
파트너는 YouTube의 디지털 지문 저장소 내 다른 파일과 비교할 디지털 지문 파일을 CSAI Match API를 통해 전송합니다. 저장소에는 YouTube와 Google에서 감지한 기존 악성 콘텐츠의 디지털 지문이 포함되어 있습니다.
3. 직접 검토
API 호출이 완료되면 일치 또는 불일치 결과가 파트너에게 다시 전송됩니다. 파트너는 일치 정보에 따라 동영상을 직접 검토하여 아동 성적 학대 이미지가 있는지 확인합니다.
4. 조치 취하기
파트너는 이미지 검토를 완료하고 나서 현지 법률 및 규정에 따라 콘텐츠에 조치를 취할 수 있습니다.
"Google의 해시 매칭 솔루션을 사용하여 워크플로를 혁신하고 더 나은 결과를 더 빠르게 얻을 수 있었습니다. Google이 국립 실종학대아동방지센터를 크게 도와준 덕분에 절차를 자동화하여 이전에 보고된 아동 성적 학대 콘텐츠(CSAM)를 사람이 직접 검토할 필요가 줄어들었고, 덕분에 직원이 이러한 콘텐츠에 노출되는 일도 최소화되었죠. 아동의 사진이 다시 공유될 때마다 또다시 피해를 입는 셈이기 때문에 이미지가 올라오면 가능한 한 빨리 삭제해야만 합니다. 또한 아직 발견되지 않았거나 새롭게 발생한 아동 피해자와 생존자를 돕는 데 집중할 수 있게 되었습니다.” - 국립 실종학대아동방지센터
“Google의 Content Safety API를 구현함으로써 사용자가 업로드한 수억 개의 문서를 호스팅하는 당사 플랫폼에서는 상당한 성과를 거두게 되었습니다. 이 API는 대량의 이미지를 효율적으로 검사하여 불쾌감을 줄 수 있는 콘텐츠를 찾아내므로, 사용자에게 안전한 디지털 환경을 제공하는 데 도움이 됩니다. 높은 처리량과 정확성 덕분에 당사는 검토, 개입, 지원에 집중할 수 있었습니다.” - Scribd, Inc.
“Google의 아동 보호 도구 덕분에 당사가 마련한 안전 조치가 잘 작동하고 있음을 확인할 수 있었습니다. Nextdoor에서는 아동 성적 학대 콘텐츠의 발생률이 계속해서 한 자릿수를 유지하고 있으며, 이는 매우 낮은 수치입니다.” - Nextdoor
“Substack에서 동영상 기능을 지속적으로 확장함에 따라, 커뮤니티를 안전하게 유지(특히 미성년자 보호)하는 것은 가장 중요한 신뢰와 안전 과제로 남아 있습니다. 아동 성적 학대 이미지(CSAI) 고급 감지 기술을 활용함으로써 이러한 중대한 안전 과제를 해결하는 데 큰 도움이 되었습니다. Google 도구 덕분에 유해한 콘텐츠를 신속하고 정확하게 식별 및 삭제할 수 있으며, 이를 통해 당사의 플랫폼을 크리에이터와 잠재고객 모두에게 안전한 공간으로 유지할 수 있습니다.” - Substack
“CSAI Match는 Adobe의 아동 안전 프로그램에서 꾸준히 중요한 핵심 요소로 자리하고 있습니다. 이 기술을 활용하는 것이 아동 성적 학대 동영상을 보다 효율적이고 대규모로 감지하는 데 효과적인 수단임이 입증되었습니다.” - Adobe
“동영상 기반의 아동 성적 학대 콘텐츠가 등장하면서 이와 맞서 싸우는 일이 더욱 어려워졌고 새로운 기술이 필요하게 되었습니다. 이때 CSAI Match가 문제 해결에 도움을 주었습니다. 덕분에 플랫폼에서 더욱 효과적으로 아동 성적 학대 콘텐츠를 찾아내 삭제할 수 있게 되었습니다.” - Yahoo!
“Content Safety API는 분석가가 미성년자의 성적 학대를 묘사한 이미지를 파악하고 검토의 우선순위를 지정하는 데 도움이 됩니다. 처리해야 할 신고가 꾸준히 늘고 있기 때문에 신고 검토의 우선순위를 정하기가 정말 어렵습니다. 이 기술 덕분에 분석가들이 미성년자 성적 학대 콘텐츠에 대한 신고를 더욱 빠르게 확인하고 신속하게 피해자를 보호하고 콘텐츠를 삭제하는 조치를 취할 수 있게 되었습니다.” - Point de Contact
“Content Safety API는 통합하기 쉽고 응답 속도도 빠르며 안정적이고 정확하기까지 해서 아동 성적 학대 이미지를 검토하는 콘텐츠 분석가의 시간을 대폭 절약하고, 분석 절차를 최적화하여 아동의 웰빙에 긍정적인 영향을 주었습니다.” - Safernet Brasil
1
/
FAQ
Content Safety API
Content Safety API로 전송된 데이터의 형식은 무엇인가요?
원시 콘텐츠 바이트와 미디어 파일에서 파생된 임베딩을 모두 지원하는 옵션이 제공됩니다. 자세한 내용은 문의해 주세요.
이러한 기술 및 Content Safety API 이용을 신청할 수 있는 대상은 누구인가요?
학대 콘텐츠로부터 플랫폼을 보호하려는 업계, 시민사회 등 제3자는 신청 후 Content Safety API를 이용할 수 있습니다. 신청 후에는 승인 절차를 거쳐야 합니다.
이러한 도구를 널리 보급하는 이유는 무엇인가요?
Google은 다른 기술회사 및 NGO와의 협업이 온라인 아동 착취를 막는 최선의 방법이라고 생각합니다. 따라서 업계 전반의 관계자 및 NGO와 함께 새로운 데이터 기반의 도구 개발 지원, 기술 역량 강화 및 인식 제고를 위해 오랫동안 힘써 왔습니다. Google은 파트너가 AI를 통해 많은 콘텐츠를 더욱 효과적으로 검토하도록 이러한 도구를 널리 보급하는 것이 온라인 아동 학대를 근절하는 데 있어 중요하다고 믿습니다.
CSAI Match
CSAI Match를 이미지에 적용할 수 있나요?
CSAI Match는 동영상용으로 고안되었지만, Google의 Content Safety API를 통해 업계 및 NGO 파트너는 도구 모음을 사용하여 머신러닝 기반의 이미지 분류 기능을 활용할 수 있습니다. 자세히 알아보기
일치하는 콘텐츠가 발견될 경우 어떤 정보가 반환되나요?
동영상의 어떤 부분이 알려진 아동 성적 학대 이미지와 일치하며, 콘텐츠 유형의 표준화된 분류는 무엇인지 알려 줍니다.
CSAI Match 기술이 효율적인 이유는 무엇인가요?
CSAI Match는 알려진 아동 성적 학대 이미지 콘텐츠와 거의 일치하는 세그먼트를 감지합니다. 여기에는 MD5 해시 매칭으로 찾을 수 있는 완전 일치 세그먼트뿐만 아니라 재인코딩, 난독화, 자르기, 크기 조절을 거쳐 거의 일치하는 아동 성적 학대 이미지 동영상도 포함됩니다. 동영상이 아동 성적 학대 이미지의 작은 일부분만 포함하고 관련 없는 콘텐츠와 혼합되어 있더라도 감지할 수 있습니다. 파트너는 디지털 지문 바이너리를 실행하여 MD5 해시와 비슷한 바이트 시퀀스인 동영상의 '디지털 지문'을 생성합니다. 그러면 이 디지털 지문은 Google의 CSAI Match 서비스로 전송됩니다. CSAI Match는 YouTube의 알려진 아동 성적 학대 이미지 참조 코퍼스를 기준으로 동영상을 효율적으로 검색하도록 특별히 설계되었습니다.
