Хитрые киберпреступники понемногу оборачивают алгоритмы машинного обучения против системы защиты, для которой они предназначены. Однако злоумышленников можно выбить из колеи намеренной кибердезориентацией.
Машинное обучение — один из самых модных терминов, употребляемых в контексте кибербезопасности в 2017 г. Но достаточно хитрый противник может воспользоваться в злоумышленных целях результатами деятельности алгоритмов машинного обучения и таким образом снизить качество принимаемых решений.
«В этой связи есть опасения, что в системах обработки больших данных злоумышленник сможет взять под контроль достаточно большой объем этих данных, чтобы ввести в заблуждение пользователей системы», — говорит доктор Дебора Фринке, глава Исследовательской дирекции Управления национальной безопасности США и Центральной службы безопасности (NSA/CSS).
Враждебное машинное обучение, как окрестила его Фринке, — это «явление, которое мы понемногу наблюдаем на практике». У нас есть все основания полагать, что события и дальше будут развиваться по этому пути, считает она.
Например, организация может решить применять машинное обучение для развития так называемого «самоощущения» своих собственных сетей и на этой основе разработать механизм для самостоятельного выявления и решения проблем. Но что если злоумышленник проникнет в сеть или — что хуже — уже будет находиться внутри сети еще до того, как начнется процесс машинного обучения?
«В этом случае поведение хакера будет восприниматься как нормальное. Поэтому в каком-то смысле специалист по машинному обучению будет защищать этого внутреннего нарушителя. В этом вся проблема, — говорит Фринке. — Что еще примечательно в обработке и анализе данных, так это то, что при использовании алгоритмов на основе данных именно такие алгоритмы инициализируют методы машинного обучения, внедряемые специалистом. Если вы не сохраните исходные данные, вы не узнаете, какие параметры смещения вы заложили в свою реализацию машинного обучения. У вас не получится найти эту иголку в стоге сена, потому что вы фактически выбросите весь стог, и все, что у вас останется, — это нейронная сеть, веса синапсов внутри нее и т. п.».
У машинного обучения есть еще и другие ограничения.
К примеру, в 2016 г. профессор Университета Монаша Том Драммонд указал на то, что нейронную сеть — одну из фундаментальных методик машинного обучения — можно сбить с толку, если не «пояснить» ей, в чем она ошибается.
Классический пример этой проблемы относится к 1980-м. Эту историю рассказал Нил Фрейзер в статье «Причуды нейронной сети», опубликованной в 1998 г. В Пентагоне пытались научить нейронную сеть обнаруживать возможные угрозы, например, вражеский танк, скрывающийся за деревом. Они натренировали нейронную систему с помощью одного набора фотографий, на которых были изображены танки, прячущиеся за деревьями, и второго набора фотографий, где были изображены только деревья, без танков. Но при попытке применить эти знания система безнадежно завалилась.
«Со временем кто-то заметил, что в исходной выборке в 200 фотографий все снимки танков были сделаны в условиях облачности, тогда как все снимки без танков были сделаны в солнечный день, — писал Фрейзер. — Таким образом, армия стала гордым обладателем мейнфрейма стоимостью в несколько миллионов долларов, умевшего определять, солнечная ли погода на улице».
На недавней конференции Australian Cyber Security Centre (ACSC) в г. Канберра Фринке хоть и указала на ограничения машинного обучения, но все же обрисовала и некоторые эффективные, с точки зрения NSA, оборонные стратегии.
К примеру, организации могут создавать перевес сил в кибербезопасности на свою сторону, научившись обманывать противника или прятаться от него.
По самой своей природе сетевая защита асимметрична. Такое неравновесие обычно объясняется тем, что защищающийся вынужден закрывать абсолютно все дыры в безопасности, а атакующему достаточно всего лишь раз сделать нужное действие.
«На первый взгляд, мы вроде должны как-то с этим справляться. Дома ведь, как говорится, и стены помогают», — рассуждает Фринке.
Исторически так сложилось, что организации пытаются сделать свои системы данных максимально рациональными. Так легче управлять сетью. Но, с точки зрения злоумышленника, так проще предсказать, что будет происходить в той или иной системе в заданный момент времени.
А вот если применить прием защитной дезориентации, можно выделить дополнительные мощности и найти способ спроектировать эти мощности так, чтобы они работали в изменчивом режиме или вводили противника в заблуждение. При таком подходе злоумышленник не сможет определить, где именно находятся данные.
Если ваши данные обрабатываются в облаке, тогда элементарным примером будет продублировать ваши данные на гораздо большем количестве узлов, чем обычно, и переключаться между ними. «Если кто-то попытается нарушить целостность данных, заменив данные, с которыми я работаю, то он не сможет определить, какой из, скажем, сотни таких узлов я использую. Либо же я могу иметь дело с набором таких узлов, допустим, с тремя, и хакер не знает, к каким именно я обращаюсь. Он конечно может попытаться изменить их все вместе, но ему это будет сделать гораздо труднее», — говорит Фринке.
Исследования, проведенные NSA/CSS, показали, что такой прием увеличивает когнитивную нагрузку на хакеров и играет на их когнитивных предубеждениях. «Мы можем попытаться подтолкнуть их к ошибочным выводам. Другими словами, мы их выводим из равновесия. Мы пытаемся заставить их работать слишком старательно, искать зацепки там, где они им не нужны. И таким образом нам будет легче их обнаружить, — уверяет Фринке. — Это немного сродни старым добрым приманкам Honeypot или Honeynet в явном виде, только встроенным в систему в качестве неотъемлемого механизма ее работы, а не дополнительного модуля».
Недостаток защитной дезориентации в том, что этим процессом сложнее управлять. «Мне приходится выполнять больше работы по проектированию и управлению системами, чтобы с полной уверенностью знать, какими тремя из сотни узлов мне нужно пользоваться, иначе я сама себе окажу медвежью услугу, особенно если речь идет о применении каких-либо изменений с целью дезориентировать злоумышленника», — подытожила Фринке.
По информации https://www.pcweek.ru/security/article/detail.php?ID=193156
