- Введение
- Определение терминова
- Усложнение нашей цивилизации. Кризис институтов управления.
- Усложнение технических систем, которые мы создаем. Кризис управления рисками.
- Усложнение систем, с которыми нам нужно работать. Кризис методологии.
- Три тезиса данной статьи кратко:
- Эта статья стала возможной благодаря:
Сложность: беседа у костра под утесом фазового барьера
Петр Левич
Введение
Исследователь глобальных рисков Мартин Риз оценивает шанс выживания человечества в 21-ом веке в 50 процентов. Такой бросок монетки… И в расчет этой вероятности входят лишь варианты "самоубийства" человечества — глобальная война, экологический кризис, техногенные катастрофы и так далее, и не входят внешние угрозы вроде нападения инопланетян или даже падения метеорита. То есть рассчитана эта вероятность исходя из тех самых общеизвестных "глобальных вызовов".
Основной тезис данной статьи заключается в том, что эти глобальные вызовы есть более понятные, и, как следствие, зримые проявления более общего процесса роста сложности систем, с которыми человечеству приходится работать и роста сложности самого человечества, как системы. Так, экологический кризис можно связать с тем, что экологические проблемы, как правило, требуют коллективных решений, работа с которыми сейчас практически невозможна из-за критического увеличения сложности нашей цивилизации, а также несоразмерной сложности самой экосистемы по сравнению с теми системами, с которыми мы умеем работать. Рост милитаризации также есть следствие усложнения систем — например, из-за развития новых мощных и более общедоступных технологий, количество акторов, которые могут навредить цивилизации в целом, критически выросло. Рост вероятности техногенных катастроф, очевидно, следует из усложнения технических систем, которые мы создаем.
Основной тезис данной статьи заключается в том, что эти глобальные вызовы есть более понятные, и, как следствие, зримые проявления более общего процесса роста сложности систем, с которыми человечеству приходится работать и роста сложности самого человечества, как системы. Так, экологический кризис можно связать с тем, что экологические проблемы, как правило, требуют коллективных решений, работа с которыми сейчас практически невозможна из-за критического увеличения сложности нашей цивилизации, а также несоразмерной сложности самой экосистемы по сравнению с теми системами, с которыми мы умеем работать. Рост милитаризации также есть следствие усложнения систем — например, из-за развития новых мощных и более общедоступных технологий, количество акторов, которые могут навредить цивилизации в целом, критически выросло. Рост вероятности техногенных катастроф, очевидно, следует из усложнения технических систем, которые мы создаем.
Определение терминов
В рамках данной статьи я буду понимать под сложностью системы количество элементов в этой системе, количество связей между ними, скорость изменения этих элементов и связей, а также "скрытость" — долю неявных, недоступных связей и элементов, то есть находящихся в другом физическом или онтологическом пространстве.
Так, например, система коммуникации двух интернет-серверов кажется достаточно сложной системой согласно критерию количества элементов и связей, однако все транзакции данных (сколько бы их не было) могут быть выявлены и запротоколированы, а при должном желании (например, желании кого-то получить очередную звездочку на погоны) такая система коммуникации может быть даже полностью остановлена. Поэтому на самом деле эта система не является такой уж сложной.
Напротив, допустим, система коммуникации двух соседних муравейников является (во всяком случае из человеческой позиции) чрезвычайно сложной системой, так как включает в себя недоступные — подземные — связи, то есть связи, находящиеся в другом физическом пространстве, а также, насколько нам известно (а известно нам не так уж много), включает эта система коммуникации и связи принципиально иной природы — химические — обмен запахами, то есть связи, находящиеся в другом онтологическом пространстве. Полностью понять и уж тем более остановить систему такой коммуникации мы (к счастью!) не можем.
В данной статье я рассмотрю эволюцию во времени трех систем (групп систем) в предложенном выше формализме критериев сложности. Вот эти системы:
Так, например, система коммуникации двух интернет-серверов кажется достаточно сложной системой согласно критерию количества элементов и связей, однако все транзакции данных (сколько бы их не было) могут быть выявлены и запротоколированы, а при должном желании (например, желании кого-то получить очередную звездочку на погоны) такая система коммуникации может быть даже полностью остановлена. Поэтому на самом деле эта система не является такой уж сложной.
Напротив, допустим, система коммуникации двух соседних муравейников является (во всяком случае из человеческой позиции) чрезвычайно сложной системой, так как включает в себя недоступные — подземные — связи, то есть связи, находящиеся в другом физическом пространстве, а также, насколько нам известно (а известно нам не так уж много), включает эта система коммуникации и связи принципиально иной природы — химические — обмен запахами, то есть связи, находящиеся в другом онтологическом пространстве. Полностью понять и уж тем более остановить систему такой коммуникации мы (к счастью!) не можем.
В данной статье я рассмотрю эволюцию во времени трех систем (групп систем) в предложенном выше формализме критериев сложности. Вот эти системы:
- наша цивилизация;
- технические системы, которые наша цивилизация создает;
- системы, необходимость работы с которыми перед нашей цивилизацией встает.
Усложнение нашей цивилизации. Кризис институтов управления.
В поле первого критерия сложности — количества элементов системы — за последние десятилетия можно выделить такие процессы как деколонизация (за время существования ООН количество стран-участников выросло с 50 до 193); распад би-полярного мира, и, как следствие, увеличение количества геополитических акторов; появление новых неуправляемых групп — как горизонтальных — хакеров, биохакеров, других активистов, так и вертикальных — террористических, маргинальных религиозных организаций; появление новых глобальных игроков — транснациональных корпораций.
Появились и принципиально новые, нечеловеческие акторы — алгоритмы глубокого обучения нейронных сетей (самое близкое к тому, что мы называем научно-фантастическим "искусственным интеллектом"). Вот лишь несколько новостей уже двухлетней давности:
Второй критерий сложности — количество связей системы. Применительно к нашей цивилизации, это: транспортная связность (появление массовой гражданской авиации, контейнерных грузоперевозок, и пр.) и информационная связность (расцвет телевидения, появление Интернета, новых медиа и, наконец, социальных сетей и мессенджеров).
В частности, в начале 2016 года компания Facebook опубликовала исследование количества "рукопожатий" (термин из известной "теории шести рукопожатий"). Был построен граф для 1,59 миллиардов человек — пользователей социальной сети на момент исследования. Средняя степень разделения (именно она понимается под количеством "рукопожатий") оказалось равной 3,57. То есть как минимум часть нашей цивилизации, которая пользуется Facebook, стала почти в 2 раза более связанной.
К скорости изменение элементов и связей в системе (третий критерий сложности) можно отнести появление непредсказуемых стихийно возникающих и так же стихийно распадающихся точек кристаллизации — рабочих групп тех же хакеров и биохакеров, а также инноваторов вообще. Кроме того, изменился сам стиль жизни: сейчас вполне нормальным является один или более раз за жизнь поменять не только семью и работу, но и страну жизни. Выбор высшего образования уже не является судьбоносным решением, знания и навыки устаревают, человеку только в профессиональной области деятельности приходится за жизнь менять множество сообществ, уже не говоря о областях коммуникации "по интересам". Транснациональные корпорации, упомянутые выше, могут оказаться вчерашними стартапами.
Ну и наконец, неявные связи в системе. При кажущейся "прозрачности" современного мира, когда множество действий имеют свой цифровой след, реально фиксировать и уж тем более управлять системой связей нашей цивилизации (к счастью!) не под силу даже самому ретивому и вычислительно мощному Большому Брату. Как было указано выше, самоорганизующиеся группы имеют горизонтальные связи меняющиеся столь быстро, а порой и зашифрованные столь хорошо, что для их отслеживания требуется либо соразмерное количество отслеживающих (тут, конечно, вспоминается горькая ирония про половину страны, которая сидит и половину, которая охраняет, но пока что в мире не так), либо астрономические вычислительные мощности, потому что работать требуется не столько с состоянием связей в данный момент времени (так как скорее всего к моменту анализа эта информация уже устареет), сколько с прогнозированием. Идеи вычислительного прогнозирование сложных социальных систем были описаны еще Айзеком Азимовым в "Основании", и кажутся пока что для нашей реальности, как и для реальности Азимова, маловероятными.
Стоить отметить и еще один фактор, делающий связи нашей системы еще менее явными. Это децентрализация и в том числе децентрализация на инфраструктурном уровне. Peer-to-peer системы, такие как блокчейн, торренты, браузер Tor и другие, позволяют осуществлять обмен информацией (и ресурсами) полностью вне централизованной инфраструктуры. Одной из красивых иллюстраций к этому принципу является это изображение:
Появились и принципиально новые, нечеловеческие акторы — алгоритмы глубокого обучения нейронных сетей (самое близкое к тому, что мы называем научно-фантастическим "искусственным интеллектом"). Вот лишь несколько новостей уже двухлетней давности:
- "Компьютер научился копировать стиль художников";
- "Компьютер научился писать музыку";
- "Компьютер научился копировать стиль поэта": Сотрудники «Яндекса» Алексей Тихонов и Иван Ямщиков записали и выпустили альбом «Нейронная оборона», тексты к которому в стиле лидера группы «Гражданская оборона» Егора Летова написала нейросеть. Тест Медузы показал, что около 60 процентов людей не смогли определитьгде машина, а где человек;
- "Написанный компьютером рассказ вышел в финал литературного конкурса": роман "День, когда компьютер напишет роман" написан нейронной сеткой (оценим иронию), которую разработала группа ученых из Университета будущего в Хакодате. Роман вошел в список финалистов Литературной премии имени Хоси Синъити (популярного японского писателя-фантаста).
Второй критерий сложности — количество связей системы. Применительно к нашей цивилизации, это: транспортная связность (появление массовой гражданской авиации, контейнерных грузоперевозок, и пр.) и информационная связность (расцвет телевидения, появление Интернета, новых медиа и, наконец, социальных сетей и мессенджеров).
В частности, в начале 2016 года компания Facebook опубликовала исследование количества "рукопожатий" (термин из известной "теории шести рукопожатий"). Был построен граф для 1,59 миллиардов человек — пользователей социальной сети на момент исследования. Средняя степень разделения (именно она понимается под количеством "рукопожатий") оказалось равной 3,57. То есть как минимум часть нашей цивилизации, которая пользуется Facebook, стала почти в 2 раза более связанной.
К скорости изменение элементов и связей в системе (третий критерий сложности) можно отнести появление непредсказуемых стихийно возникающих и так же стихийно распадающихся точек кристаллизации — рабочих групп тех же хакеров и биохакеров, а также инноваторов вообще. Кроме того, изменился сам стиль жизни: сейчас вполне нормальным является один или более раз за жизнь поменять не только семью и работу, но и страну жизни. Выбор высшего образования уже не является судьбоносным решением, знания и навыки устаревают, человеку только в профессиональной области деятельности приходится за жизнь менять множество сообществ, уже не говоря о областях коммуникации "по интересам". Транснациональные корпорации, упомянутые выше, могут оказаться вчерашними стартапами.
Ну и наконец, неявные связи в системе. При кажущейся "прозрачности" современного мира, когда множество действий имеют свой цифровой след, реально фиксировать и уж тем более управлять системой связей нашей цивилизации (к счастью!) не под силу даже самому ретивому и вычислительно мощному Большому Брату. Как было указано выше, самоорганизующиеся группы имеют горизонтальные связи меняющиеся столь быстро, а порой и зашифрованные столь хорошо, что для их отслеживания требуется либо соразмерное количество отслеживающих (тут, конечно, вспоминается горькая ирония про половину страны, которая сидит и половину, которая охраняет, но пока что в мире не так), либо астрономические вычислительные мощности, потому что работать требуется не столько с состоянием связей в данный момент времени (так как скорее всего к моменту анализа эта информация уже устареет), сколько с прогнозированием. Идеи вычислительного прогнозирование сложных социальных систем были описаны еще Айзеком Азимовым в "Основании", и кажутся пока что для нашей реальности, как и для реальности Азимова, маловероятными.
Стоить отметить и еще один фактор, делающий связи нашей системы еще менее явными. Это децентрализация и в том числе децентрализация на инфраструктурном уровне. Peer-to-peer системы, такие как блокчейн, торренты, браузер Tor и другие, позволяют осуществлять обмен информацией (и ресурсами) полностью вне централизованной инфраструктуры. Одной из красивых иллюстраций к этому принципу является это изображение:
Здесь показано покрытие peer-to-peer мессенджером FireChat территории фестиваля Burning Man (еще одного примера горизонтальной самоорганизации людей, кстати). FireChat — это киберанархистский проект, позволяющий общаться без любой внешней инфраструктуры (ну, например, если правительство отключило вышки сотовой связи вокруг площади, на которой проходит митинг). Данные отправляются напрямую по Bluetooth или WiFi через промежуточные девайсы.
Но вернемся к вопросу глобальных вызовов. Во введении было показано, что сложность их решения есть следствие усложнения нашей цивилизации. Но как же именно? Проблема в том, что сложность устройства и логики действий институтов, которые, во всяком случае согласно задекларированной миссии, должны решать эти вызовы, например, ООН и национальных правительств, явно ниже сложности управляемой ими системы — нашей цивилизации. Иерархическая, внедренческая логика их действий не может сравниться по сложности с горизонтальными самоорганизующимися процессами. Это не удивительно: в частности, ООН создавалась, в первую очередь, для обеспечения мирного сосуществования человечества после второй мировой войны и недопущения третьей — и с этой задачей, по видимому, справилось: вряд ли если третья мировая война случится, она будет похожа на вторую. Система управления ООН не менялась с момента основания и рассчитана на работу в ритмике середины двадцатого века. Конвенция ООН о правах инвалидов — последняя из принятых на данный момент — согласовывалась около двадцати лет, ООН регулярно критикуется за неспособность оперативно ответить на возникающие кризисы. В частности, Боко Харам в Нигерии, эпидемия Эболы в Африке, землетрясение на Гаити и другие кризисы. Мир с середины 20 века усложнился. Так, например, количество акторов, обладающих ядерным оружием, ограничивается девятью странами, и это количество, в принципе, возможно контролировать иерархической логикой (хотя и здесь не все просто). Для того, чтобы обладать ядерным оружием даже в обход одобрения ООН, требуется вложить астрономические суммы денег в исследования и еще гораздо больше в систему образования за пару десятилетий. А биолаборатория, в которой с помощью технологии редактирования генома можно создать биологическое оружие, может существовать в любом среднем университете, а то и в гараже среднего биохакера. Возможность создать опасный вирус (лошадиной оспы) используя исключительно материалы из коммерческих наборов для генного редактирования продемонстрировали исследователи из Альбертского университета в Канаде. Простейший набор (скорее всего, конечно, не такой, как использовали эти исследователи) для редактирования генома стоит $149 на Amazon:
Но вернемся к вопросу глобальных вызовов. Во введении было показано, что сложность их решения есть следствие усложнения нашей цивилизации. Но как же именно? Проблема в том, что сложность устройства и логики действий институтов, которые, во всяком случае согласно задекларированной миссии, должны решать эти вызовы, например, ООН и национальных правительств, явно ниже сложности управляемой ими системы — нашей цивилизации. Иерархическая, внедренческая логика их действий не может сравниться по сложности с горизонтальными самоорганизующимися процессами. Это не удивительно: в частности, ООН создавалась, в первую очередь, для обеспечения мирного сосуществования человечества после второй мировой войны и недопущения третьей — и с этой задачей, по видимому, справилось: вряд ли если третья мировая война случится, она будет похожа на вторую. Система управления ООН не менялась с момента основания и рассчитана на работу в ритмике середины двадцатого века. Конвенция ООН о правах инвалидов — последняя из принятых на данный момент — согласовывалась около двадцати лет, ООН регулярно критикуется за неспособность оперативно ответить на возникающие кризисы. В частности, Боко Харам в Нигерии, эпидемия Эболы в Африке, землетрясение на Гаити и другие кризисы. Мир с середины 20 века усложнился. Так, например, количество акторов, обладающих ядерным оружием, ограничивается девятью странами, и это количество, в принципе, возможно контролировать иерархической логикой (хотя и здесь не все просто). Для того, чтобы обладать ядерным оружием даже в обход одобрения ООН, требуется вложить астрономические суммы денег в исследования и еще гораздо больше в систему образования за пару десятилетий. А биолаборатория, в которой с помощью технологии редактирования генома можно создать биологическое оружие, может существовать в любом среднем университете, а то и в гараже среднего биохакера. Возможность создать опасный вирус (лошадиной оспы) используя исключительно материалы из коммерческих наборов для генного редактирования продемонстрировали исследователи из Альбертского университета в Канаде. Простейший набор (скорее всего, конечно, не такой, как использовали эти исследователи) для редактирования генома стоит $149 на Amazon:
Таким образом, количество акторов, способных навредить глобальной цивилизации, выросло на порядки.
Не обстоят дела лучше и с решением экологического кризиса. Консолидировать в ООН в вертикальной логике коллективные действия по, например, решению такой конкретной и относительно локальной (в сравнении с изменением состава атмосферы или глобальным потеплением) проблемы, как пластиковое пятно в Тихом Океане, не получается уже десятилетия — любые обсуждение и решения происходят чрезвычайно медленно и неэффективно по причине того, что сложная система современных государств не может договориться кто за кем будет убирать отходы, в производстве которых все поучаствовали. Здесь стоит отметить гораздо большие успехи НКО в направлении решения данной проблемы, что показывает их большую способность действий в сложной системе, однако и они (особенно самые крупные, международные, действия которых и требуются для решения такой международной проблемы) достаточно вертикальны и бюрократизированны. Так или иначе, пластиковое пятно и ныне там. Как раз вчера я сфотографировал такой натюрморт на пляже острова Русский рядом с Владивостоком (безусловно, мой субъективный опыт не может быть доказательством процесса цивилизационного масштаба, но синхронность фотографии и написания этой статьи не позволяет мне ее не вставить):
Не обстоят дела лучше и с решением экологического кризиса. Консолидировать в ООН в вертикальной логике коллективные действия по, например, решению такой конкретной и относительно локальной (в сравнении с изменением состава атмосферы или глобальным потеплением) проблемы, как пластиковое пятно в Тихом Океане, не получается уже десятилетия — любые обсуждение и решения происходят чрезвычайно медленно и неэффективно по причине того, что сложная система современных государств не может договориться кто за кем будет убирать отходы, в производстве которых все поучаствовали. Здесь стоит отметить гораздо большие успехи НКО в направлении решения данной проблемы, что показывает их большую способность действий в сложной системе, однако и они (особенно самые крупные, международные, действия которых и требуются для решения такой международной проблемы) достаточно вертикальны и бюрократизированны. Так или иначе, пластиковое пятно и ныне там. Как раз вчера я сфотографировал такой натюрморт на пляже острова Русский рядом с Владивостоком (безусловно, мой субъективный опыт не может быть доказательством процесса цивилизационного масштаба, но синхронность фотографии и написания этой статьи не позволяет мне ее не вставить):
фотография автора
В кибернетике есть "Закон необходимого разнообразия" Уильяма Эшби, который в краткой форме может быть сформулирован так: "Для эффективности управления разнообразие управляющего воздействия должно быть не ниже разнообразия управляемой системы". Так как разнообразие есть одна из составляющих сложности, закон У. Эшби как раз описывает проблему несоответствия методологии управления институтов и их устройства и сложности систем, которыми они должны управлять.
Усложнение технических систем, которые мы создаем. Кризис управления рисками.
Начну с иллюстрации количества элементов в некоторых технических системах (количество связей в этих системах, очевидно, является в данном случае коррелирующим параметром):
Эти системы кажутся достаточно сложными и все они ведь созданы человеком, в чем же смысл этого примера? Начиная с машины (в данной выборке технических систем) ни одна из систем не может быть создана ни одним человеком, ни группой людей. Лишь группа людей с помощью компьютерных инженерных программ, баз данных, вычислительных мощностей, может создать такие системы. И, что важнее, человек без этих систем компьютерной поддержки не может их починить. Скорее всего, без систем компьютерного анализа он даже не поймет, что сломалось. В случае с современной машиной еще, наверное, как-то можно, если дело касается очевидных поломок, но начиная с самолета уже сделать что-то человеку без компьютера невозможно. Сложность этих систем находится за гранью работы человека. Но пока что перед гранью понимания — мы все же способны объяснить их работу и, получив данные о неполадке с помощью компьютера, принять решение хотя бы о направлении ремонта. По оставшимся двум критериям сложности — динамики изменения связей в системе и степени неявности связей — эти системы достаточно просты: связи постоянны (хоть и многочисленны) и все они известны (хоть и только компьютеру).
Ну а что же самое сложное из технических систем наша цивилизация создавала? Что является нашей технологической гордостью? Предположим, это Большой Адронный Коллайдер. Я не нашел данных по количеству деталей в нем, поэтому следующая иллюстрация является лишь примерным оценочным суждением:
Ну а что же самое сложное из технических систем наша цивилизация создавала? Что является нашей технологической гордостью? Предположим, это Большой Адронный Коллайдер. Я не нашел данных по количеству деталей в нем, поэтому следующая иллюстрация является лишь примерным оценочным суждением:
Для создания этой системы понадобился многолетний труд международных рабочих групп, конечно же, тоже с применением инженерных компьютерных программ и огромных вычислительных мощностей. Понимаем ли мы эту систему? Вероятно, да, но понимание это уже, скорее групповое, распределенное — только группа людей способна полностью объяснить его работу, один человек — только на уровне самых общих принципов. Способны ли мы его починить? В начале работы БАКа (кстати, время от идеи до сдачи в эксплуатацию — 22 года), через 2 недели после официального запуска произошла авария, которую устраняли 15 месяцев. Следующие 5 лет эксперименты проводились лишь на пониженной энергии, затем, еще 2 года велась модернизация коллайдера и эксперименты не проводились вовсе. Я ни в коем случае не хочу принизить заслуги ученых и инженеров, работающих с БАКом, напротив — я показываю, что это, возможно, самая сложная техническая система, когда-либо созданная человеком! И она же является самой уязвимой, в том смысле, что любое отклонение от плана ее функционирования требует огромных временных и вычислительных ресурсов для выявления и понимания. Данная система все еще обладает постоянством связей (с точностью до квантовых эффектов, которые здесь уже важны), и, в теории, не имеет неявных связей, но на практике оказывается, что они есть — зависимости работы частей системы настолько многофакторны, что даже с применением компьютерных вычислений невозможно их все предусмотреть.
Но давайте перейдем к системам, в полной мере удовлетворяющим критерию сложности — то есть обладающих и динамикой связей, и их неявностью. И здесь обратим внимание на принципиальное изменение, которое произошло в области программирования: переход от детерминированных алгоритмов к эволюционным. Именно к последним относятся знаменитые алгоритмы глубокого обучения нейронных сетей. Детерминированные программы успешно обыграли человека в шахматы, но только эволюционная программа смогла выиграть в Го. Эта игра допускает гораздо больше сценариев, то есть имеет другой и — судя по тому, что именно эта игра стала камнем преткновения детерминированных алгоритмов, другой принципиально — уровень сложности. И для победы в ней пришлось дать программе дополнительную степень свободы — свободу самой обучаться, выбирать стратегию обучения и самой менять свой алгоритм. То есть техническая система получила тот самый третий критерий сложности — изменение связей системы во времени. И, кстати, в течение очень небольшого времени, учатся такие программы гораздо быстрее человека. Ну а в виде довеска (человек бы предпочел, чтобы его не было) такие программы получили и четвертый критерий сложности — неявные связи. Самообучающиеся алгоритмы работают по принципу "черного ящика" — не могут "объяснить" свой выбор. Они могут лишь сообщить, что на основании вот этой выборки из миллиарда входящих случаев, было принято такое-то решение в данном конкретном случае. В этот момент наше понимание технических систем, которые мы сами создаем, закончилось. Мы не можем починить такую систему, не можем предугадать ее действия. При общении с другой аналогичной системой, они изобретают язык, который мы не пониманием. Этот пример с языком окажется особенно важным в конце данной статьи.
Но давайте перейдем к системам, в полной мере удовлетворяющим критерию сложности — то есть обладающих и динамикой связей, и их неявностью. И здесь обратим внимание на принципиальное изменение, которое произошло в области программирования: переход от детерминированных алгоритмов к эволюционным. Именно к последним относятся знаменитые алгоритмы глубокого обучения нейронных сетей. Детерминированные программы успешно обыграли человека в шахматы, но только эволюционная программа смогла выиграть в Го. Эта игра допускает гораздо больше сценариев, то есть имеет другой и — судя по тому, что именно эта игра стала камнем преткновения детерминированных алгоритмов, другой принципиально — уровень сложности. И для победы в ней пришлось дать программе дополнительную степень свободы — свободу самой обучаться, выбирать стратегию обучения и самой менять свой алгоритм. То есть техническая система получила тот самый третий критерий сложности — изменение связей системы во времени. И, кстати, в течение очень небольшого времени, учатся такие программы гораздо быстрее человека. Ну а в виде довеска (человек бы предпочел, чтобы его не было) такие программы получили и четвертый критерий сложности — неявные связи. Самообучающиеся алгоритмы работают по принципу "черного ящика" — не могут "объяснить" свой выбор. Они могут лишь сообщить, что на основании вот этой выборки из миллиарда входящих случаев, было принято такое-то решение в данном конкретном случае. В этот момент наше понимание технических систем, которые мы сами создаем, закончилось. Мы не можем починить такую систему, не можем предугадать ее действия. При общении с другой аналогичной системой, они изобретают язык, который мы не пониманием. Этот пример с языком окажется особенно важным в конце данной статьи.
На картинке выше три конструкции одного и того же назначения. Не так важно какого именно (соединение тонких кабелей с более толстым кабелем), важно, что все вектора наклона, необходимая жесткость на разрыв по этим векторам и другие характеристики согласно ТЗ, одинаковы. Левая спроектирована человеком, правые спроектированыс помощью компьютерной оптимизации (чем правее — тем больше компьютеру "разрешили" подправить). Самая правая выдерживает тот же вес, что и левая-человеческая, но при этом на 75% легче.
Я хочу указать здесь не столько на потрясающий уровень оптимизации, сколько на принципиальную невозможность спроектировать и даже понять устройство самой правой детали человеком. Она выглядит не как часть нашей привычной перпендикулярно-параллельной техносферы, а как ветки дерева или мицелий гриба (к этой аналогии, кстати, я вернусь еще далее). Это значит, что починить систему, спроектированную компьютером, человек не в состоянии — ее сложность за границей нашего понимания. В принципе, это следовало и из предыдущего примера с Большим Адронным Коллайдером, но этот объект являет собой сложность даже визуально, а его схожесть с природными формами полезна для моего повествования в качестве подготовки к следующему разделу.
Справедливо будет отметить, что примеры творчества алгоритмов из раздела о новых акторах в нашей цивилизации (пока что) не относятся к геополитике и цивилизационным процессам. Здесь приведу другой, гораздо более мрачный пример, который явно относится к этой области: SKYNET. Нет, это не то, о чем вы подумали, хотя разница не такая уж большая: это название программы АНБ США по анализу Big Data мобильной связи в Пакистане. Она использует алгоритмы машинного обучения для оценки вероятности каждого пользующегося мобильным телефоном гражданина Пакистана оказаться террористом. На основе данных, предоставленных этой программой, граждан устраняли. Для полноты картины убивать их летали беспилотники. Согласно данным Бюро Журналистских Расследований, с 2004 года в Пакистане от ударов беспилотников погибли от 2500 до 4000 человек. И большинство из них были классифицированы правительством США как "экстремисты". С какого момента работает алгоритм машинного обучения не известно, но начали разрабатывать его еще до 2007. Система имеет профили абонентов и отслеживает их перемещения. Выключение мобильного телефона помечается как попытка уклонения от наблюдения, обмен сим-картой с другим человеком также помечается как подозрительный маркер (а понимает это программа так как появляется разница между данными местоположения сим-карты и активности в социальных сетях, показано на изображении ниже). За использование этой программы АНБ было подвергнуто серьезной критике, в том числе потому что они не смогли предоставить никаких доказательств по жертвам, кроме "так показала программа". Но как было сказано выше, проблема подобных программ в том, что они не могут объяснить свои действия. Так что это является вполне правомочным примером нечеловеческого агента, влияющего напрямую на жизни людей, а также неподконтрольного и, что важнее, непонятного никому, включая создателей.
Я хочу указать здесь не столько на потрясающий уровень оптимизации, сколько на принципиальную невозможность спроектировать и даже понять устройство самой правой детали человеком. Она выглядит не как часть нашей привычной перпендикулярно-параллельной техносферы, а как ветки дерева или мицелий гриба (к этой аналогии, кстати, я вернусь еще далее). Это значит, что починить систему, спроектированную компьютером, человек не в состоянии — ее сложность за границей нашего понимания. В принципе, это следовало и из предыдущего примера с Большим Адронным Коллайдером, но этот объект являет собой сложность даже визуально, а его схожесть с природными формами полезна для моего повествования в качестве подготовки к следующему разделу.
Справедливо будет отметить, что примеры творчества алгоритмов из раздела о новых акторах в нашей цивилизации (пока что) не относятся к геополитике и цивилизационным процессам. Здесь приведу другой, гораздо более мрачный пример, который явно относится к этой области: SKYNET. Нет, это не то, о чем вы подумали, хотя разница не такая уж большая: это название программы АНБ США по анализу Big Data мобильной связи в Пакистане. Она использует алгоритмы машинного обучения для оценки вероятности каждого пользующегося мобильным телефоном гражданина Пакистана оказаться террористом. На основе данных, предоставленных этой программой, граждан устраняли. Для полноты картины убивать их летали беспилотники. Согласно данным Бюро Журналистских Расследований, с 2004 года в Пакистане от ударов беспилотников погибли от 2500 до 4000 человек. И большинство из них были классифицированы правительством США как "экстремисты". С какого момента работает алгоритм машинного обучения не известно, но начали разрабатывать его еще до 2007. Система имеет профили абонентов и отслеживает их перемещения. Выключение мобильного телефона помечается как попытка уклонения от наблюдения, обмен сим-картой с другим человеком также помечается как подозрительный маркер (а понимает это программа так как появляется разница между данными местоположения сим-карты и активности в социальных сетях, показано на изображении ниже). За использование этой программы АНБ было подвергнуто серьезной критике, в том числе потому что они не смогли предоставить никаких доказательств по жертвам, кроме "так показала программа". Но как было сказано выше, проблема подобных программ в том, что они не могут объяснить свои действия. Так что это является вполне правомочным примером нечеловеческого агента, влияющего напрямую на жизни людей, а также неподконтрольного и, что важнее, непонятного никому, включая создателей.
Усложнение систем, с которыми нам нужно работать. Кризис методологии.
Давайте продолжим ставший уже привычным нам график сложности систем. С Большим Адронным Коллайдером разобрались, но даже он на много порядков проще такой системы, как сознание. В человеческом мозге порядка 86 миллиардов нейронов, не говоря уже о количестве связей (один нейрон может иметь до 20 тысяч связей с другими). Согласно оценкам, в человеческом мозге столько же «транзисторов», сколько во всей мировой ИТ-инфраструктуре. Связи меняются со временем (например, в моей голове за время написания этой статьи; надеюсь, после прочтения, и в вашей), и они неявны — мозг человека до сих пор не картирован с точностью до нейрона: самое последнее исследование имеет разрешение 20 мкм (что в 50 раз точнее предыдущего картирования, так что успех есть), в то время как размер нейрона варьируется от 3 до 130 мкм.
Таким образом фазовый барьер сложности можно нанести на нашу условную карту где-то в районе за Большим Адронным Коллайдером и до сознания. Я называю этот барьер именно фазовым, потому что переход через него требует принципиального изменения методологии работы с системами. Усложнение работы с системами до него требовало увеличения вычислительной мощности, количества людей и других ресурсов. Да, быть может, нелинейно, но тем не менее развитие находилось в одной логике. Вспомним пример с одинаковым количеством элементов (даже еще не связей!) мозга одного человека и составляющих глобальной ИТ-инфраструктуры. Работать с такой системой в той же логике наращивания мощности для вычисления кубиков этого Лего невозможно. Здесь также уместен "Закон необходимого разнообразия" У. Эшби: вычислительная система должна быть не менее сложной, чем мозг. Может ли мы использовать для исследования одного мозга всю мировую ИТ-инфраструктуру? Или удвоить ее? В теории когда-нибудь да, но пока что вряд ли, ведь даже Закон Мура замедлился, спасибо квантовым эффектам. Другой путь лежит в смене методологии, как минимум в изменении отношения внутри этой методологии к объекту исследования и работы — с большого количества кубиков Lego (я раскрою подробнее эту метафору ниже) на целостное рассмотрение этой системы (здесь также уместны слова "холистичная" и "интегральная" методология). С другой стороны, те самые квантовые эффекты, мешающие нам делать нашу Lego-оптику еще могущественнее, могут оказаться полезны — быть может как раз квантовый компьютер сможет работать с системами гораздо большей сложности. Но, во-первых, это не точно, а во-вторых, переход на квантовые компьютеры также можно считать фазовым изменением.
Усложняемся дальше. Глобальная экосистема. И снова я не располагаю точными данными о количестве ее элементов, но, например, наличие миллиона лишь видов насекомых, не говоря о количестве особей, ставит ее на много порядков выше в этой схеме (ну и, сознания живых существ, сложность которых была описана в предыдущем пункте, тоже являются ее частью).
Усложняемся дальше. Глобальная экосистема. И снова я не располагаю точными данными о количестве ее элементов, но, например, наличие миллиона лишь видов насекомых, не говоря о количестве особей, ставит ее на много порядков выше в этой схеме (ну и, сознания живых существ, сложность которых была описана в предыдущем пункте, тоже являются ее частью).
В этой системе также присутствуют все критерии сложности: связи динамичны и часть их (возможно, бОльшая) неявна. Напомню, что я понимаю под неявными связями — это связи, существующие в другом физическом или онтологическом пространстве. Вот, например, про неявные связи — видео BBC о мицелии как "интернете деревьев", что, кстати, есть явный комплимент интернету, потому как он является более простой системой, чем мицелий, как минимум потому что сам интернет не является живой системой. И для леса, во всяком случае того леса, который мы видим, и, как нам кажется, понимаем, связь через мицелий принадлежит и другому физическому (под землей) и другому онтологическому пространству (другое царства, другие принципы). Ну а визуально перед просмотром этого видео, вспомните ту алгоритмически вычисленную деталь из предыдущего раздела.
В Вальдорфских школах отказались от использования в обучении конструктора Lego, потому что были случаи, когда ребенок отрывал птицам крылья и лапки, не понимая, почему потом нельзя собрать обратно все так же, как это получалось на уроке с Lego. Можно было бы сказать, что это ребенок глупенький, мол, не понимает разницу между живым существом и конструктором! Но нет, ребенок-то как раз умный — он берет жизненный опыт из одной сферы и прикладывает к другой, а глупенькие мы все, наша цивилизация, потому что мы, такие взрослые и умные, не знаем ответа на этот вопрос.
По сути и все наши технологические успехи базируются на методологии конструктора Lego. Мы разбираем природу на кусочки — руду, дерево, воду, собираем по определенному алгоритму (быть может весьма сложному — включающему большое количество элементов и связей) и получаем, например, машину. Это методология удобна для транслирования — если другой человек на другом конце земли аккуратно, без ошибок выполнит наш алгоритм, он получит такую же машину. И наша цивилизация сделала большой технологический скачок благодаря этой методологии.
Но такая логика подходит только для работы с системами ниже определенного уровня сложности. И вот с птичкой уже не получается, как и вообще с живыми системами. Не получается так и с, например, сознанием — мы не понимаем где, с какого количества и порядка взаимодействия нейронов, оно начинается и как следствие не можем работать с ним, как с конструктором (пример избыточный, так как сознание обладает как минимум свойством живой системы, но он важен для моего дальнейшего тезиса).
Если пытаться найти этот рубеж сложности систем, то хорошо подходит понятие эмерджентности. Эмерджентная система — это система, элементы которой не обладают по отдельности некоторым свойством, которое появляется у этой системы только при определенном соединении элементов. Такое появляющиеся свойство тоже называется эмерджентным. У одного нейрона нет сознания, у мозга в целом есть. С жизнью чуть сложнее, живое тело состоит из тоже живых клеток, но, допустим, спустившись на уровень молекул, мы получим ту же ситуацию — у них свойства жизни нет, а у клетки в целом есть.
Остановимся подробнее на примере с лесом. Оставлю подробное описание работы с другими эмерджентными системами, например,— сознанием, за рамками данной статьи. Почему же мы не можем работать с лесом так же, как мы работаем с техническими системами? Наличие скрытых связей не позволяет нам находиться с этой системой в поле общего языка. Не только языка вербального, или языка программирования, вообще языка-интерфейса взаимодействия. Вот, допустим, сейчас я сижу в номере отеля. Он мне понятен — я знаю, как пользоваться пультом управления кондиционера, как открыть окно ручкой. Язык леса нам непонятен. В нем нет пульта управления, голосового интерфейса или тачпада. За наличием неявных связей стоит еще более глубокий слой инаковости — у нас с лесом разная ритмика. Нам ведь кажется, что в лесу ничего не происходит. Ну, ветки колышутся на ветру. Мало кому из нас доводилось даже видеть, как падает дерево (не когда мы его ломаем, а когда падает само, от ветра). Рационально мы знаем, что лес меняется, растет, умирает, и возрождается, но это рациональное знание совершенно не помогает синхронизации ритмик. А общий язык возможен лишь при общей ритмике систем. И поэтому чем больше ускоряется наша цивилизация, тем сложнее нам понять лес. Пока что наш язык взаимодействия с лесом варьируется от топора до "лесопосадок" — таких высаженных в ровные ряды деревьев, по уровню сложности ничего с настоящим лесом не имеющих. Кстати, этот пример расширяет наше определение сложности: неявные связи могут быть не только в ином физическом и онтологическом, как было показано в примерах выше, но еще и в другом временном пространстве, в другой ритмике.
Сейчас наша цивилизация начинает сталкиваться с необходимостью работы с системами такого уровня сложности, с эмерджентными системами, но располагаем мы лишь Lego-методологией. Нам нужно как-то чинить глобальную экосистему, которую мы нарушили, но чаще всего мы не можем понять работу даже локальной экосистемы, например, пермакультурной грядки.
В Вальдорфских школах отказались от использования в обучении конструктора Lego, потому что были случаи, когда ребенок отрывал птицам крылья и лапки, не понимая, почему потом нельзя собрать обратно все так же, как это получалось на уроке с Lego. Можно было бы сказать, что это ребенок глупенький, мол, не понимает разницу между живым существом и конструктором! Но нет, ребенок-то как раз умный — он берет жизненный опыт из одной сферы и прикладывает к другой, а глупенькие мы все, наша цивилизация, потому что мы, такие взрослые и умные, не знаем ответа на этот вопрос.
По сути и все наши технологические успехи базируются на методологии конструктора Lego. Мы разбираем природу на кусочки — руду, дерево, воду, собираем по определенному алгоритму (быть может весьма сложному — включающему большое количество элементов и связей) и получаем, например, машину. Это методология удобна для транслирования — если другой человек на другом конце земли аккуратно, без ошибок выполнит наш алгоритм, он получит такую же машину. И наша цивилизация сделала большой технологический скачок благодаря этой методологии.
Но такая логика подходит только для работы с системами ниже определенного уровня сложности. И вот с птичкой уже не получается, как и вообще с живыми системами. Не получается так и с, например, сознанием — мы не понимаем где, с какого количества и порядка взаимодействия нейронов, оно начинается и как следствие не можем работать с ним, как с конструктором (пример избыточный, так как сознание обладает как минимум свойством живой системы, но он важен для моего дальнейшего тезиса).
Если пытаться найти этот рубеж сложности систем, то хорошо подходит понятие эмерджентности. Эмерджентная система — это система, элементы которой не обладают по отдельности некоторым свойством, которое появляется у этой системы только при определенном соединении элементов. Такое появляющиеся свойство тоже называется эмерджентным. У одного нейрона нет сознания, у мозга в целом есть. С жизнью чуть сложнее, живое тело состоит из тоже живых клеток, но, допустим, спустившись на уровень молекул, мы получим ту же ситуацию — у них свойства жизни нет, а у клетки в целом есть.
Остановимся подробнее на примере с лесом. Оставлю подробное описание работы с другими эмерджентными системами, например,— сознанием, за рамками данной статьи. Почему же мы не можем работать с лесом так же, как мы работаем с техническими системами? Наличие скрытых связей не позволяет нам находиться с этой системой в поле общего языка. Не только языка вербального, или языка программирования, вообще языка-интерфейса взаимодействия. Вот, допустим, сейчас я сижу в номере отеля. Он мне понятен — я знаю, как пользоваться пультом управления кондиционера, как открыть окно ручкой. Язык леса нам непонятен. В нем нет пульта управления, голосового интерфейса или тачпада. За наличием неявных связей стоит еще более глубокий слой инаковости — у нас с лесом разная ритмика. Нам ведь кажется, что в лесу ничего не происходит. Ну, ветки колышутся на ветру. Мало кому из нас доводилось даже видеть, как падает дерево (не когда мы его ломаем, а когда падает само, от ветра). Рационально мы знаем, что лес меняется, растет, умирает, и возрождается, но это рациональное знание совершенно не помогает синхронизации ритмик. А общий язык возможен лишь при общей ритмике систем. И поэтому чем больше ускоряется наша цивилизация, тем сложнее нам понять лес. Пока что наш язык взаимодействия с лесом варьируется от топора до "лесопосадок" — таких высаженных в ровные ряды деревьев, по уровню сложности ничего с настоящим лесом не имеющих. Кстати, этот пример расширяет наше определение сложности: неявные связи могут быть не только в ином физическом и онтологическом, как было показано в примерах выше, но еще и в другом временном пространстве, в другой ритмике.
Сейчас наша цивилизация начинает сталкиваться с необходимостью работы с системами такого уровня сложности, с эмерджентными системами, но располагаем мы лишь Lego-методологией. Нам нужно как-то чинить глобальную экосистему, которую мы нарушили, но чаще всего мы не можем понять работу даже локальной экосистемы, например, пермакультурной грядки.
Мы сделали многое в Lego-методологии для увеличения продолжительности жизни человека (коль уж наша цивилизация выбрала это одной из целей, соразмерных другим глобальным вызовам, но оставим вопрос этого выбора за рамками данной статьи): научились менять "сломавшиеся" органы, киборгизировать тело. Но теперь человек начал доживать до процессов, которые проявляют как раз те самые сложные и эмерджентные свойства живых систем: процессов в сознании (Альцгеймер), комплексных хаотичных и непредсказуемых процессов в теле (рак и старение, как таковое). И теперь биомедицинских фронтир упирается именно в этот барьер сложности.
Но не буду заканчивать на совсем уж печальной ноте. Можно заметить постепенную смену дискурса, вот, например, достаточно популярная нынче книга "Удивительная жизнь деревьев". Безусловно, мы только приближаемся к пониманию этого мира, который был скрыт долгое время от нашей цивилизации. Возможно, когда-то и где-то это понимание было, но, по большей части, утеряно. И это было понимание не в том значении глагола "понимать", которое у нас есть сейчас. И вот мы как цивилизация делаем новый заход, с новым бэкграундом знаний.
Здесь, наконец, я раскрою явным намек, который внимательный читатель, возможно, уже заметил. Есть много общего в моем описании технологии глубокого обучения нейронных сетей и живых систем. Что в общем-то, неудивительно, даже если посмотреть на название. Но назвать можно как угодно, давайте разберемся в сходствах: присутствует и уровень сложность, включающий критерий неявных связей, и не понятный нам язык, и даже, кстати, иная ритмика, как в случае с лесом, только наоборот — у программ она во много раз быстрее. Быть может, эта схожесть должна проявить надежду на то, что как раз эволюционные алгоритмы смогут разобраться в живых системах. Однако, они должны не только разобраться сами, но и как-то объяснить нам, а то мы окажемся в ситуации, что поверх непонятного ляжет еще один слой непонятного. В данном тезисе мне важен скорее сам факт того, что технологии потенциально могут работать с эмерджентными системами.
Тем не менее, пока что процесс поиска (в будущем ли, в прошлом ли) методологии работы с эмерджентными системами идет сложно и медленно, но надежда есть. Я вижу проблему в фрагментарности картины мира нашей цивилизации, из позиций которой сейчас создаются новые технологии, и несопоставимости сложности этого технологического дискурса и сложности систем, с которыми нам нужно работать, в том числе это выражается в целеполагании развития новых технологий. Таким образом, остается два вопроса:
Но не буду заканчивать на совсем уж печальной ноте. Можно заметить постепенную смену дискурса, вот, например, достаточно популярная нынче книга "Удивительная жизнь деревьев". Безусловно, мы только приближаемся к пониманию этого мира, который был скрыт долгое время от нашей цивилизации. Возможно, когда-то и где-то это понимание было, но, по большей части, утеряно. И это было понимание не в том значении глагола "понимать", которое у нас есть сейчас. И вот мы как цивилизация делаем новый заход, с новым бэкграундом знаний.
Здесь, наконец, я раскрою явным намек, который внимательный читатель, возможно, уже заметил. Есть много общего в моем описании технологии глубокого обучения нейронных сетей и живых систем. Что в общем-то, неудивительно, даже если посмотреть на название. Но назвать можно как угодно, давайте разберемся в сходствах: присутствует и уровень сложность, включающий критерий неявных связей, и не понятный нам язык, и даже, кстати, иная ритмика, как в случае с лесом, только наоборот — у программ она во много раз быстрее. Быть может, эта схожесть должна проявить надежду на то, что как раз эволюционные алгоритмы смогут разобраться в живых системах. Однако, они должны не только разобраться сами, но и как-то объяснить нам, а то мы окажемся в ситуации, что поверх непонятного ляжет еще один слой непонятного. В данном тезисе мне важен скорее сам факт того, что технологии потенциально могут работать с эмерджентными системами.
Тем не менее, пока что процесс поиска (в будущем ли, в прошлом ли) методологии работы с эмерджентными системами идет сложно и медленно, но надежда есть. Я вижу проблему в фрагментарности картины мира нашей цивилизации, из позиций которой сейчас создаются новые технологии, и несопоставимости сложности этого технологического дискурса и сложности систем, с которыми нам нужно работать, в том числе это выражается в целеполагании развития новых технологий. Таким образом, остается два вопроса:
- Если допустить, что другие цивилизации, другие культуры располагают методологией работы с эмерджентными системами, то как мы можем у них научиться?
- Если допустить, что технологии в теории способны работать с эмерджентными системами, то с какими онтологиями нужно объединять современный дискурс их разработки и как?
Три тезиса данной статьи кратко:
- Сложность цивилизации увеличивается. Кризис институтов управления.
- Сложность технических систем, которые мы создаем, увеличивается. Мы сами уже не полностью их понимаем.
- Мы подошли к необходимости работы с системами, сложность которых еще на порядки выше. В инструментарии нашей цивилизации нет масштабируемых методологий работы с системами этого уровня сложности.
Петр Левич
Основатель Live Gathering
