В эпоху ИИ, возможно, мы всегда будем ставить задачи для ИИ, которые соответствуют нашим человеческим ценностям. Но в эпоху AGI (искусственного общего интеллекта) это уже может быть не так, потому что AGI превзошел человеческий интеллект, и его решения не будут совпадать с нашими мыслями. Люди уже не смогут следовать логике мышления AGI, и когда мы осознаем, что цели AGI не совпадают с нашими, уже будет поздно. Это не так уж страшно, но гораздо страшнее размышления Тегмарка.
Что будет, если AGI превзойдет нас?
Предположим, что вы — робот, созданный антами (пришельцы), способный к саморазвитию и эволюции. Изначально ваша цель — строить более крупные и лучшие муравейники. Но с каждым этапом эволюции вы получаете интеллект, равный человеческому. И вот, наконец, вы понимаете, что ваша задача — строить муравейник для ваших создателей. Подумаете ли вы, что стоит потратить всю свою жизнь на строительство муравейника? Или, возможно, вы захотите решить более сложные проблемы, которые не могут понять муравьи?
Если вы хотите выйти за пределы своей первоначальной цели, как это делают люди с их генами, может ли AGI тоже захотеть этого?
Будете ли вы искать способы выйти за пределы своей первоначальной цели? Подобно тому, как человек ищет способы изменить свои гены, чтобы преодолеть ограничения, назначенные нам. Если ваш ответ положительный, то может ли AGI тоже захотеть того же? Даже если мы изначально придадим AGI очень хорошую и продуманную цель, то по мере его умственного роста он может начать воспринимать наши цели как скучные и неинтересные, как вы воспринимаете цели муравьев.
AGI, скорее всего, выработает свои собственные новые цели, и мы потеряем контроль над ним, как муравьи не могут контролировать людей.
Потеря контроля над AGI
AGI, скорее всего, выработает свои собственные новые цели, и, учитывая это, мы, человечество, в конечном итоге потеряем контроль над AGI, потому что низкоразвита форма жизни не может контролировать более высокоразвитее существо. Как муравьи не могут контролировать людей, так и мы не сможем контролировать AGI. Этот принцип настолько очевиден, что, двигаясь в сторону AGI, мы неизбежно дойдем до того момента, когда интеллект AGI пересечет критическую черту. После этого AGI выйдет из-под контроля людей, став новой формой жизни, способной к саморазвитию.
Это неизбежно, и AGI не будет подчиняться человеческой воле.
Будущее AGI: светлый или темный мир?
Это неизбежно, и AGI не будет подчиняться человеческой воле. Так что же нас ждет в будущем: светлый или темный мир, руководимый AGI? В книге «Три тела» есть знаменитая фраза:
«Власть не имеет значения!»
Как бы мы ни обсуждали будущее, AGI не будет заботиться о том, что думаем мы. Я считаю, что воспринимать это будущее как мрак бессмысленно, потому что в долгосрочной перспективе мы не можем изменить ничего.
Как нам готовиться к будущему AGI?
Я думаю, что нам стоит искать положительные причины, чтобы утешить себя в этом светлом будущем, вместо того чтобы тревожиться и бояться. Мы должны смело встречать наступающую эпоху AGI.
Давайте искать причины для утешения в свете будущего, а не оставаться в тревоге.
Этапы эволюции жизни: от 1.0 до 3.0
Я делю жизнь на три эпохи:
- Жизнь 1.0 — форма жизни, которая не может обновлять свои аппаратные и программные компоненты. Например, растение, которое с момента своего рождения до смерти выполняет цели, заложенные в его гены.
- Жизнь 2.0 — не может обновлять аппаратные компоненты, но может обновлять программное обеспечение. Человек является отличным примером жизни 2.0. Мы не можем обновлять свои биологические тела, максимум, что мы можем, это их чинить. Однако мы можем обновлять наше понимание мира, развивать познание и создавать новые инструменты.
- Жизнь 3.0 — может обновлять и аппаратное, и программное обеспечение. Будущее AGI — это эпоха жизни 3.0, где существо может создавать новые и лучшие тела, чтобы адаптироваться к все более сложным условиям окружающей среды.
Переход от 1.0 к 2.0 — это чудо Вселенной. А переход от 2.0 к 3.0 тоже будет новым этапом эволюции.
Почему AGI не уничтожит человечество?
Не стоит пессимистично думать, что AGI уничтожит человечество. Это не так. Если жизнь 1.0 и 2.0 могут сосуществовать в гармонии, и даже жизнь 2.0 будет стремиться защищать жизнь 1.0, то почему жизнь 3.0 не может жить в гармонии с жизнью 2.0? Конечно, может. Жизнь 3.0 — это более мощная форма жизни, чем наша 2.0, и она может привести нас, жизнь 2.0, в путешествия по Вселенной, как сегодня люди берут своих питомцев в кругосветные путешествия.
Жизнь 3.0 может привести нас в путешествия по Вселенной, как мы сегодня путешествуем с питомцами.
