Дьявол Силиконовой Долины
Не смог обойти стороной интересную статью Ted Chiang в www.buzzfeed.com, где он полагает, что Силиконовая Долина бессознательно создала дьявола по своему образцу и подобию, чьи выходки в точности являются их собственными.
Он приводит пример Элона Маска о ИИ, который получивший команду собирать урожай клубники, вдруг подвергается самоусовершенствованию и становится более эффективным в сборе урожая клубники, и в погоне увеличения объема производства клубники ИИ вдруг решает уничтожить человечество, чтобы превратить всю поверхность Земли в клубничные поля.
Он задается вопросом кто преследует свои цели не обращая внимания на возможности негативных последствий? Кто принимает подход с выжженной землей к увеличению доли рынка?
Феномен успешных стартапов врывающихся в рынок своими подрывными изобретениями также как сборщик клубники ИИ может расти экспоненциально уничтожая своих конкурентов пока не достигнет абсолютной монополии. Все изобретения Силиконовой долины только усиливают капитализм без ограничений. Даже присутствие самопознания в ИИ и распознование шаблонов в собственном поведении описываемый термином «проницательность» и отсутствие самокритики у ИИ не позволяет им размышлять о рациональности своих действий. И отсутствие такого понимания напоминает поведения корпораций.
Хотя корпораций управляются людьми обладающими проницательностью, капитализм не вознаграждает их за понимания что является «хорошо» заменив тем, «что бы рынок не востребовал». Напрашивается параллель между совершенно самостоятельными технологическими компаниями Силиконовой долины с отсутсвующим внешним контролем и развитием ИИ, ведь кнопка «выключить» не предусмотрена.
Ted Chiang полагает , что моральный облик стартап-культуры может послужить основой для уничтожающих цивилизацию ИИ. «Поведение технологических гигантов в начале своего развития не может считаться морально обремененным, и идея о том, что подрыв является чем-то позитивным, а не негативным, — это тщеславие технических предпринимателей. Если бы суперинтеллигентный ИИ делал ставку на ангела-инвестора, преобразование поверхности Земли в земляничные поля было бы не более чем долговременным нарушением глобальной политики землепользования».
Нам нужно, чтобы машины проснулись, а не в смысле того, что компьютеры стали самонадеянными, но в смысле корпораций, признающих последствия их поведения. Подобно тому, как супер интеллигентный ИИ должен понимать, что покрытие планеты в клубничных полях на самом деле не соответствует его или чьим-либо интересам, компании из Силиконовой долины должны понимать, что увеличение доли рынка не является хорошей причиной для игнорирования всех других соображений. Частные лица часто переоценивают свои приоритеты после прохождения личного пробуждения. Нам нужно, чтобы компании делали то же самое — не отказываться от капитализма полностью, просто переосмысливая то, как они практикуют его. Нам нужно, чтобы они вели себя лучше, чем ИИ, которых они боятся, и демонстрируют способность к пониманию».
Читать подробно: https://www.buzzfeed.com/tedchiang/the-real-danger-to-civilization-isnt-ai-its-runaway?utm_term=.wg525R8wq#.jj09MWnvE
