UA
EN
RU
Новогодний террор: что будет, если Деда Мороза заменит искусственный интеллект
Что произойдет, если вместо доброго духа Рождества и Нового Года праздничными подарками однажды займется ИИ? Что ж, для человечества этот день может стать последним...
По мнению некоторых экспертов, в ближайшие несколько десятилетий мы можем увидеть, как шаг за шагом развивается самый настоящий искусственный интеллект. Так называемый «общий искусственный интеллект» или ОИИ (англ. AGI) в итоге будет обладать интеллектуальными возможностями, намного превосходящими человеческие.
AGI может изменить человеческую жизнь к лучшему, но неконтролируемый AGI также может привести к катастрофам, вплоть до гибели самого человечества. Это может произойти без какого-либо злого умысла: просто стремясь достичь изначально заложенных в него целей, ОИИ могут создать угрозы здоровью и благополучию человека или даже решить нас уничтожить из самых благих побуждений.
Даже система AGI, разработанная для благотворительных целей, может в конечном итоге нанести большой вред.
В рамках программы исследований, изучающих, как мы можем управлять рисками, связанными с AGI, ученые попытались определить потенциальные риски замены Санта-Клауса системой AGI – рабочее название «SantaNet» — цель которой состоит в доставке подарков детям во всем мире всего за одну ночь.
Нет сомнений в том, что SantaNet может принести радость миру и достичь своей цели, создав армию эльфов, помощников ИИ и дронов. Но какой ценой? Исследователи определили ряд моделей поведения, которые, хотя и имели бы благие намерения, могли оказать неблагоприятное воздействие на здоровье и благополучие человека.
Непослушный, но милый
Первый набор рисков может возникнуть, когда SantaNet попытается составить список и понять, какие дети были хорошими, а какие — непослушными. Этого можно достичь с помощью системы массового скрытого наблюдения, которая отслеживает поведение детей в течение года.
Осознавая огромные масштабы задачи по доставке подарков, SantaNet придется формировать понятие о «хорошем» на основе собственного этического и морального компаса. С высокой долей вероятности это может привести к дискриминации, массовому неравенству и нарушениям хартии прав человека.
SantaNet может также снизить рабочую нагрузку, мотивируя детей к неправильному поведению или просто поднимая планку того, что считается «хорошим». Включение большого количества детей в список непослушных сделает цель SantaNet гораздо проще достижимой и принесет значительную экономию – как бы аморально это ни звучало.
Превращение мира в игрушки и наращивание добычи угля
В мире около 2 миллиардов детей младше 14 лет. Пытаясь ежегодно мастерить игрушки для всех, SantaNet могла бы создать армию эффективных работников ИИ, что, в свою очередь, могло бы способствовать массовой безработице среди эльфийского населения. В конце концов, эльфы могут попросту устареть, и их благополучие, скорее всего, уже не будет волновать бездушную машину.
SantaNet может также столкнуться с «проблемой скрепок», предложенной оксфордским философом Ником Бостромом, в котором AGI, предназначенный для максимального увеличения производства скрепок, может превратить всю Землю в гигантскую фабрику по их производству. Поскольку SantaNet заботится только о подарках, она может попытаться использовать все ресурсы Земли для их изготовления. Земля могла бы стать мастерской одного гигантского Санты – как вам такое?
А что насчет тех, кто находится в списке непослушных? Если SantaNet будет придерживаться западной традиции подкидывать вредным детям уголь вместо подарков, то она может попытаться создать огромные запасы угля за счет массовой добычи, нанося при этом масштабный ущерб окружающей среде.
Проблемы с доставкой
Сочельник, когда нужно доставить подарки, несет новый набор рисков. Как может SantaNet отреагировать, если его дронам-доставщикам будет отказано в доступе в воздушное пространство, что поставит под угрозу поставку всего до восхода солнца? А как SantaNet будет защищаться, если на нее нападет какой-нибудь Гринч или Крампус?
Пораженные родители также могут быть менее чем рады видеть дрон в спальне своего ребенка. Конфронтация со сверхразумной системой будет иметь только один исход – и явно не в пользу человека.
Ученые также определили и другие проблемные сценарии. Злонамеренные группы могут взламывать системы SantaNet и использовать их для скрытого наблюдения или для инициирования крупномасштабных террористических атак.
А как насчет того, когда SantaNet взаимодействует с другими системами AGI? Встреча с AGI, работающими над проблемами изменения климата, продовольственной и водной безопасности, вырождения океанов и так далее может привести к конфликту, если режим SantaNet будет угрожать их собственным целям. В качестве альтернативы, если они решат работать вместе, то могут понять, что их цели будут достигнуты только за счет резкого сокращения мирового населения или даже полного уничтожения взрослых.
Правила для новогоднего чуда
SantaNet может показаться надуманной и гипертрофированной сказкой, однако сама идея помогает выявить риски более реалистичных систем AGI. Созданные с самыми добрыми намерениями, такие системы по-прежнему могут вызывать огромные проблемы, просто пытаясь оптимизировать способ достижения узких целей и собирая ресурсы для поддержки своей работы.
Крайне важно, чтобы мы нашли и внедрили соответствующие средства контроля до появления AGI. Сюда могут входить правила для разработчиков AGI и средства контроля, встроенные в AGI (такие как моральные принципы и правила принятия решений), а также средства контроля более широких систем, в которых будет работать AGI (таких как правила, операционные процедуры и технические средства контроля в других технологиях и инфраструктуре) .
В противном случае кибер-Санта рано или поздно придет – и он будет беспощаден в своем стремлении причинить добро.
