Исследование: искусственный интеллект облегчает возможности проведения фишинговых кампаний

Группа исследователей из Microsoft и семи ведущих университетов мира провела отраслевое исследование угрозы, которую искусственный интеллект представляет для организаций.

ИИ - полезный инструмент, но он также неизбирателен в нанесении вреда отдельным лицам и группам.

В исследовании наступательного ИИ ученые использовали как существующие исследования по этому вопросу, так и ответы от таких организаций, как Airbus, Huawei и IBM. Были выделены три основных мотивации того, почему злоумышленники обращаются к ИИ: охват, скорость и успех.

Хотя наступательные угрозы искусственного интеллекта бывают самых разных форм, как научная сфера, так и промышленность очень обеспокоены именно использованием технологии глубоких подделок. Дипфейки, например, становятся все более распространенными в различных целях - от относительно безобидной комедии до гораздо более зловещего мошенничества, шантажа, эксплуатации, диффамации и распространения дезинформации. Подобные кампании в прошлом с использованием поддельного / манипулируемого контента были медленным и трудным процессом с небольшими шансами на успех. ИИ не только упрощает создание такого контента, но также означает, что организации могут подвергаться масштабным фишинговым атакам, что значительно увеличивает шансы на успех.

Когда был анонсирован сервис Google Duplex, который звучит как настоящий человек и записывается на прием от имени человека, были высказаны опасения, что подобная технология может быть использована для автоматизации мошенничества. Исследователи ожидают, что боты получат возможность совершать убедительные фишинговые вызовы с использованием deepfake. Исследователи также прогнозируют рост использования агрессивного ИИ в «сборе данных, разработке моделей, обучении и оценке» в ближайшие годы. Вот 10 основных проблем, вызывающих опасения по поводу ИИ, с точки зрения промышленности и академических кругов:

• Обратная инженерия;

• Деперсонализация;

• Кража моделей при помощи ИИ;

• Направленный фишинг;

• Подделка личности;

• Фишинговые кампании;

• Информационные утечки;

•Перенаправление почтовых сообщений;

• Обнаружение уязвимостей;

• Взлом паролей.

В настоящее время очень немногие организации вкладывают средства в способы противодействия или смягчения последствий наступательной атаки ИИ, такой как глубокая фишинговая кампания. Эксперты рекомендуют провести дополнительные исследования инструментов постобработки, которые могут защитить программное обеспечение от анализа после разработки (т.е. обнаружения уязвимостей), организации расширяют текущую парадигму MLOps, чтобы также охватить безопасность ML (MLSecOps), которая включает тестирование безопасности, защиту и мониторинг моделей AI / ML.

По материалам: Artificialintelligence-news