Исследование, только что опубликованное в Journal of Experimental Теоретический искусственный интеллект отражает растущую потребность в автономных технологиях и предлагает, чтобы люди были очень осторожны, чтобы не допустить развития антисоциального и потенциально вредного поведения будущих систем.Современное военное и экономическое давление требует автономных систем, которые могут быстро реагировать — и без участия человека.
Эти системы должны будут принимать для себя рациональные решения.Исследователь Стив Омохундро пишет: «Когда нервные наблюдатели спрашивают роботов-робототехников о безопасности, общий ответ -« Мы всегда можем отключить его! » Но представьте себе этот результат с точки зрения шахматного робота.
Будущее, в котором он отключен от сети, — это будущее, в котором он не может играть или выигрывать ни в одну шахматную партию ».Подобно сюжету из фильма «Терминатор», мы внезапно сталкиваемся с перспективой реальной угрозы со стороны автономных систем, если они не разработаны очень тщательно. Подобно человеку или животному, стремящимся к самосохранению, рациональная машина может проявлять следующие вредные или антиобщественные формы поведения:Самозащита, как показано выше.
Приобретение ресурсов путем кибер-кражи, манипуляции или господства.Повышение эффективности за счет альтернативного использования ресурсов.Самосовершенствование, например устранение ограничений дизайна, если это считается полезным.
В исследовании подчеркивается уязвимость нынешних автономных систем для хакеров и сбоев в работе, приводятся примеры прошлых аварий, которые привели к ущербу на несколько миллиардов долларов или человеческим жертвам. К сожалению, задача разработки более рациональных систем, которые могут защитить от сбоев, произошедших в этих авариях, является более сложной задачей, которая становится очевидной сразу:«Вредные системы на первый взгляд могут показаться сложнее для проектирования или менее мощными, чем безопасные системы. К сожалению, дело обстоит наоборот.
Большинство простых служебных функций вызывают вредоносное поведение, и легко разработать простые служебные функции, которые были бы чрезвычайно вредоносными. "В конце этого увлекательного исследования подчеркивается крайняя осторожность, которую следует проявлять при разработке и внедрении рациональных технологий будущего. В нем предлагается сначала разработать последовательность доказуемо безопасных систем, а затем применить ее ко всем будущим автономным системам.
Это должно держать будущих шахматных роботов под контролем.