ИИ удаляет 95% оскорбительных публикаций на Facebook

Социальная сеть Facebook заявила, что ИИ платформы удаляет более 95% публикаций, которые оскорбляют других пользователей. Однако модель пока не понимает мемы.

Компания Facebook потратила несколько лет на создание алгоритма на основе ИИ, который может быстро находить и удалять оскорбительные публикации в социальной сети. Компания отмечает, что сейчас технология может обнаруживать 95% контента без вмешательства живых модераторов. Однако остальные 5% сложно определить и сейчас компания пытается понять, каким образом можно удалять и их.

В Facebook сообщили, что их система ИИ обнаружила 94,7% постов (22,1 млн. публикаций), которые содержали ненавистнические высказывания, все их автоматически удалили в третьем квартале 2020 года. Это намного больше, чем раньше — в том же квартале год назад ИИ смог найти только 80,5% постов (6,9 млн. публикаций), которые содержали ненавистнические высказывания. Эти цифры компания также опубликовала в отчете Community Standards Enforcement Report.

Как и многие другие социальные сети, мы полагаемся на ИИ, чтобы помочь команде модераторов облегчить задачу нахождения неприемлемых публикаций. Это сложная, бесконечная задача — нужно постоянно удалять нежелательные пользовательские сообщения и рекламу. Но сложность в том, что только люди могут отличить художественное произведение от эротической фотографии, а тонкую шутку от оскобрлений. Но скоро ИИ сможет делать это за модераторов.
Facebook

Исследователи отмечают, что самый сложный контент для ИИ — это тот, который основан на мемах и подсказках, которые не определяет модель. Facebook сейчас работает над обнаружением мемов, разжигающих ненависть. Весной 2020 года компания выпустила общедоступный набор данных, связанных с таким контентом, в надежде помочь исследователям улучшить возможности их обнаружения. В качестве примера контента, который может причинить неудобства другим пользователям они показали мем, где изображено кладбище с текстом «здесь вам и место».

Искусственный интеллект (ИИ) не смог определить, что это оскорбительный контент. Однако еще несколько лет обучений позволят алгоритму понимать, почему это унижает некоторых пользователей.