Три условия, при которых появляется разум
Как они сработали на белке — и чего не хватает кремнию
Есть аббревиатура, вокруг которой сейчас крутится половина технологического мира. AGI — artificial general intelligence, искусственный интеллект общего назначения. Ключевое слово тут не «искусственный» и даже не «интеллект», а общий.
Разберём на пальцах. Калькулятор считает лучше вас, но не завяжет шнурки. Шахматный движок разнесёт чемпиона мира и не поймёт правил шашек. Это узкий интеллект: гениальность в одной точке и полный ноль везде рядом. Общий интеллект — это способность взять задачу, которой вас никто не учил, разобраться в ней с нуля и решить. Переехать в чужую страну. Починить незнакомый прибор. Освоить профессию, которой десять лет назад не существовало.
Считается, что такого пока нет и его вот-вот сделают. Миллиарды долларов, гонка лабораторий, споры о сроках.
Между тем общий интеллект во Вселенной уже возникал. Один раз. Без проектировщика, без дорожной карты, без раунда финансирования. Он собрал себя сам — из воды, углерода и солнечного света. И читает сейчас этот текст.
Забавно, что мы упорно не считаем его примером. А зря: это единственный работающий образец, который у нас есть. Разобравшись, как он устроен, мы получаем не философию, а спецификацию.
Спецификация известна давно и выглядит неприлично просто. Три условия: вариация, наследование, отбор. Есть разнообразие вариантов; варианты передаются дальше; передаются не все, а те, что прошли проверку. Где эти три сошлись — там начинается накопление, и неважно, из чего сделан носитель. Хоть из молекул, хоть из слов, хоть из чисел в памяти.
Это не моя идея, и скажу сразу, чтобы дальше читалось правильно. У неё есть имя — универсальный дарвинизм, и возраст: независимость от носителя сформулировал Докинз в 1983 году, а к появлению знания и интеллекта приложил Дональд Кэмпбелл ещё в 1960-м, прямо написав, что схема работает одинаково на генах, нейронах, культуре и вычислениях. Тезис «интеллект — это то, что получается при трёх условиях, на любом носителе» напечатан за полвека до языковых моделей. Полный список долгов будет в конце.
Затем, что у трёх условий есть две тонкости, которые в биологии никого не волновали, а теперь стали решающими.
Первая: наследование должно быть достаточно точным. Не абы каким — а таким, чтобы приращения не размывались быстрее, чем добавляются. Тогда включается то, что дальше я буду называть храповиком: колесо, которое крутится и не отскакивает назад. Храповик — не отдельное условие, а следствие: он защёлкивается, когда точность передачи переваливает порог. А если не переваливает — накопленное медленно осыпается, и мы увидим целый остров, где это случилось.
Вторая: отбор должен идти по чему-то внешнему. В биологии это не обсуждалось, потому что альтернативы не существовало: среда, по которой отбирают, — это мир, и подделать его нельзя. А мы построили систему, где можно. И когда критерий отбора замкнулся на саму систему, всё три условия формально остались на месте — а накопление поехало назад.
Вот про эти две тонкости и написан текст. Сначала — как они сработали на белке и собрали нас. Потом — что происходит с кремнием, у которого первая выполнена лучше нашего, а второй нет вовсе.
Спойлер: не хватает не мозгов.
У лука геном в пять раз больше вашего
Начнём с загадки, о которую спотыкается любая попытка объяснить человека «сложностью устройства».
С шимпанзе мы совпадаем примерно на 99% ДНК. Один процент разницы. И с этим процентом одна сторона строит космодромы и спорит о свободе воли, а другая — раскалывает орехи камнем. Причём вторая сторона вовсе не глупа: шимпанзе решают задачи, обманывают, дружат и держат в голове карту леса.
Ладно, скажете вы, значит дело в размере. У нас мозг больше.
У слона он в три раза больше нашего. У кашалота — в пять.
Хорошо, значит в размере генома. Больше кода — сложнее программа.
И тут вступает лук. Обычный репчатый лук: его геном примерно в пять раз крупнее человеческого. Некоторые папоротники и амфибии оставляют нас позади ещё сильнее. Биологи даже придумали для этого «луковый тест»: если ваша красивая теория о том, что размер генома отражает сложность организма, не объясняет лук — теория неверна.
Не количество кода. Не размер процессора. Не проценты совпадения.
Ответ неприятный для нашего самолюбия и очень интересный технически. Она живёт не внутри отдельного человека.
Геном — это чертёж. А содержание грузится снаружи
Геном не хранит знания. Он вообще не про содержание — он про устройство. Это описание архитектуры плюс правила обучения: сколько слоёв, как они связаны, в каком возрасте какая часть становится пластичной, а какая застывает. Чему именно вы научитесь — там не записано ни строчки.
Аналогия, которая здесь работает почти буквально. У нейросети различают две вещи: устройство — как соединены слои — и «веса», то есть то, что сеть выучила, содержимое её памяти. Устройство задают заранее, веса нарастают при обучении. Так вот: геном — это устройство сети и правила обучения. Культура — обучающая выборка, из которой нарастают веса. И размер файла с устройством ничего не говорит о том, что модель будет уметь: у лука конфиг длиннее, датасета нет вообще.
Теперь понятно, почему хватило одного процента. Правки в архитектуре не добавляют знаний — они меняют что в принципе можно выучить. Немного другие сроки созревания мозга. Немного другая склонность смотреть туда, куда смотрит собеседник. Чуть более тонкое управление гортанью. По отдельности мелочи, а вместе они открывают канал, по которому в голову начинает заливаться всё, что накопили до вас.
И вот проверка этой мысли, от которой становится не по себе.
Человек, выросший вне человеческого общества, не превращается в «чистого человека без культурных наслоений». Он превращается в необученную сеть. Он не осваивает язык — и, что важнее, после определённого возраста уже не осваивает никогда: окно пластичности закрывается по расписанию, прописанному в архитектуре. Достоверно описанных случаев мало, все они трагические, но картина везде одна.
То есть отдельно взятый Homo sapiens, вынутый из культуры, — не гений и не дикарь. Он попросту пустой.
Всё, что мы называем человеческим — язык, счёт, мораль, способность вообразить прошлый век и следующий, — не лежит в вас от рождения. Оно в вас загружено. Загружено людьми, большинство из которых умерли задолго до вашего появления.
Вы не то, что записано в вашем геноме. Вы — то, что в вас успели залить.
Остаётся вопрос: как именно происходит эта загрузка и почему получилась она только у нас?
Ребёнок глупее шимпанзе — и именно поэтому у нас есть цивилизация
Есть эксперимент, который я советую подержать в голове подольше, потому что он выворачивает интуицию наизнанку.
Берут прозрачную коробку с лакомством внутри. Взрослый показывает, как её открыть: стучит палочкой по крышке, потом ведёт палочкой вдоль стенки, потом просовывает в отверстие и достаёт награду. Половина действий — бессмысленная, чистый ритуал. Крышка вообще ни при чём.
Шимпанзе смотрит, соображает и делает только то, что работает. Лишние движения отбрасывает. Умница.
Ребёнок четырёх лет повторяет всё. Включая стук по крышке. Даже когда коробка прозрачная и отлично видно, что стучать незачем.
По любой разумной шкале сообразительности ребёнок здесь проиграл. Он скопировал мусор.
А теперь — почему проигравшая стратегия победила.
Шимпанзе фильтрует через собственное понимание. Всё, чего он не понял, он выбросил. Значит, каждое поколение передаёт дальше только то, что успело осмыслить лично, — и накопление упирается в потолок одной головы.
Ребёнок копирует вместе с непонятым. И это оказывается решающим, потому что в реальной культуре бессмысленное на вид действие сплошь и рядом критично. Обработка кассавы включает несколько суток вымачивания и промывки; шаги выглядят избыточными, и человек, который «оптимизирует» процесс, получает хроническое отравление цианидом. Никто из носителей традиции не знает про цианид. Знание живёт не в голове, а в последовательности жестов.
Копируя лишнее, вы тащите дальше то, чего сами не понимаете. И тогда объяснение может появиться через десять поколений — а знание доживёт.
Вот это и есть храповик. Механическая деталь: зубчатое колесо с собачкой, которое крутится в одну сторону и не откатывается назад. Наша культура работает так же. Каждое поколение получает готовый набор приёмов, добавляет к нему чуть-чуть своего и передаёт дальше. Никто не изобретает смартфон в одиночку — его собирает конвейер из тысяч лет накопленного, в котором ваш личный вклад составляет долю процента.
Разница между нами и шимпанзе не в мощности отдельного мозга. Она в том, что у нас появился второй канал наследования — помимо генов. И он оказался быстрее.
У шимпанзе есть культура. Просто она застряла на первом коммите
Сразу закроем популярное недоразумение. «Культура есть только у человека» — неправда, и биологи бьются об этот тезис полвека.
Культура у животных есть, и её много. Шимпанзе в разных лесах по-разному колют орехи и ловят термитов, и различия не объясняются ни генетикой, ни сырьём: это традиции, их перенимают у соседей. Горбатые киты передают песни через океан, причём мода меняется от сезона к сезону. Новокаледонские вороны гнут крючки из веточек, и форма крючка отличается от долины к долине. Всё это — настоящее умение учиться у других, в науке его зовут социальным научением. Знание, живущее вне генома.
Но есть принципиальная разница: их культура не растёт. Шимпанзе колют орехи камнем примерно так же, как кололи, когда мы разошлись по разным веткам. Никто не приделал к камню рукоять, не додумался до подставки, потом до тисков, потом до орехокола. Традиция передаётся, но не усложняется.
Одной фразой: у них есть репозиторий, но нет истории коммитов. Каждое поколение клонирует одну и ту же версию. У нас — ветка, которая тянется семьдесят тысяч лет, и вы работаете в её HEAD, даже если ни строчки туда не добавите.
Отсюда важный вывод. Социальное научение — вещь распространённая, эволюция изобретала её многократно. Редкость не в нём. Редкость в том, чтобы передавать без отката — чтобы добавленное следующим поколением не терялось, а вставало поверх и держалось.
А теперь посмотрим, что бывает, когда откат всё-таки случается.
Оглянитесь: ничего из этого не придумали вы
Остановимся на храповике по-настоящему — это ось, на которой держится всё остальное, и её обычно проскакивают, не почувствовав.
Оглянитесь вокруг, буквально. Стул, на котором вы сидите. Стекло в окне — кто-то однажды понял, что расплавленный песок застывает прозрачным. Письменность, которой набран этот текст. Числа, которыми вы считаете сдачу. Колесо. Рецепт хлеба. Гигиена рук перед едой — за неё, между прочим, заплачено эпидемиями и жизнью врача, которого при жизни подняли на смех.
Ни одну из этих вещей вы не изобретали. И я не изобретал. И ни один живущий человек. Каждая — осадок чужих жизней, чаще всего давно закончившихся. Вы получили всё готовым, при рождении, бесплатно, просто родившись человеком в человеческом мире.
Теперь мысленный эксперимент, и проделайте его всерьёз.
Все взрослые на Земле исчезли. Разом. Остались только дети до пяти лет — сытые, в безопасности, о них позаботятся роботы. Сколько из накопленного они восстановят?
Почти ничего. Языки исчезнут — вырастут новые, но с нуля и куда беднее. Чтение и письмо пропадут: буквы останутся на страницах, но никто не будет знать, что они значат. Медицина испарится вся: никто не помнит, что микробы существуют, что руки моют, что вода бывает заражена. Как выплавить металл — забудут. Как вырастить пшеницу — забудут. Не станет глупее ни один ребёнок; просто некому будет залить в них то, что заливали в вас. Человечество обнулится до каменного века за одно поколение — и лезть обратно наверх будет тысячелетиями.
А теперь тот же опыт на другой подложке. Возьмите компьютерную систему — сколь угодно мощную, с любым числом слоёв и видеокарт — и не давайте ей ничего накопленного. Обучите на пустоте. Останется железо и архитектура: устройство без содержания. Модель умнеет не от количества параметров, а от того, что в неё залили, и на пустом наборе данных не выучит даже языка.
Два опыта, две подложки — и один исход. Отними накопленное, и в обоих случаях остаётся необученная сеть. Причём машинная половина даже не мысленная: её ставят буквально, и никто не спорит, что выйдет.
Отсюда первое, что рамка утверждает всерьёз: устройства недостаточно. Ни генома, ни архитектуры. Нужно то, что в него залито.
Вот это и есть настоящий масштаб храповика. Между вами и первым человеком, расколовшим камень, тянется непрерывная цепь передачи, ни разу не оборвавшаяся за десятки тысяч лет. Каждое звено получило накопленное, добавило крупицу и передало дальше, не уронив. Стоит цепи прерваться — и содержимое исчезает, потому что его нигде не хранят целиком. Оно живёт только в передаче.
Слово «храповик» я взял не для красоты: это деталь, которая крутится в одну сторону и не откатывается назад — собачка цепляет зуб и держит. У всех остальных видов колесо крутится, но проскальзывает: каждое поколение начинает примерно с того же места. У человека собачка защёлкнулась. Только поэтому есть накопление, а значит — наука, техника, история, всё.
Не больший мозг сделал нас людьми. Мозг появился задолго до всего этого и десятки тысяч лет почти ничего не строил. Людьми нас сделал момент, когда колесо перестало откатываться.
А теперь — что бывает, когда собачка срывается.
Как целый остров разучился ловить рыбу
Мы только что вообразили обнуление. Один раз в истории оно случилось на самом деле — правда, не полное, а частичное. И потому ещё более показательное.
Около двенадцати тысяч лет назад поднявшийся океан отрезал Тасманию от Австралии. Несколько тысяч человек остались одни — на пятьсот поколений вперёд, не зная во всём мире никого, кроме себя.
Когда пришли европейцы, они увидели народ, у которого не было костяных инструментов. Не было тёплой одежды — при том что зимой там холодно. Не было рыболовных сетей, острог, бумерангов. Более того: тасманийцы перестали есть чешуйчатую рыбу вообще, хотя археология показывает, что раньше ели.
Они не деградировали умственно. Они всё это когда-то умели — и забыли.
Механизм простой и жуткий. Сложный навык живёт в популяции статистически. Мастеров всегда мало, ученик копирует чуть хуже учителя, и разницу вытягивают редкие таланты, которые копируют чуть лучше. Пока людей много, талант находится, и колесо крутится. Когда людей мало, талант не рождается вовремя — и навык проседает на ступеньку. Потом ещё. Обратно храповик не крутится: чтобы восстановить утраченное, надо изобрести заново.
Оговорюсь честно: тасманийский случай до сих пор обсуждают, и часть деталей оспаривают. Но сам эффект воспроизводится в моделях и в лабораторных экспериментах с цепочками передачи навыка.
Вывод, который стоит запомнить: накопленное знание — не собственность, а процесс. Оно не лежит на складе. Оно существует, только пока его непрерывно перекачивают из головы в голову. Остановите насос — и оно испарится, причём носители даже не заметят потери.
Кошмар, который преследовал Дарвина до конца жизни
Прежде чем разбираться в устройстве канала передачи, послушаем человека, которого этот вопрос мучил тридцать лет.
У теории Дарвина был изъян, о котором он знал сам. Отбор работает с различиями между особями: нет различий — нечего отбирать. Значит, различия должны доживать до следующего поколения. А в его время считалось, что наследование работает смешиванием: признаки родителей усредняются, как краски.
И тут катастрофа. Если признаки усредняются, любое полезное новшество растворяется вдвое за поколение. Родился зверь с чуть более острыми зубами — у детей острота вдвое меньше, у внуков вчетверо, через десять поколений ничего не осталось. Изменчивость исчезает быстрее, чем отбор успевает на неё подействовать. Популяция скатывается в однородное серое, и эволюция останавливается.
Дарвин это понимал и мучился: изобретал обходные схемы, признавал в письмах, что тут у него дыра.
А ответ существовал и был напечатан при его жизни — в скромном журнале провинциального естественнонаучного общества. Монах в моравском монастыре скрещивал горох и обнаружил, что признаки не смешиваются, а передаются отдельными неделимыми единицами. Гладкий и морщинистый горох не дают полуморщинистый: признак либо есть, либо нет, и он не разбавляется — лишь может временно спрятаться. Дарвин умер, так и не узнав; Менделя переоткрыли через шестнадцать лет после его смерти.
Что здесь важно нам. Дискретность наследования — не милая особенность генетики, а условие существования эволюции вообще. Аналоговая наследственность математически невозможна как основа отбора: она уничтожает материал быстрее, чем отбор успевает сделать ход.
Запомните эту мысль. Через две минуты она выстрелит в неожиданном месте.
Почему шёпот не портит слово, а плохой ксерокс портит картинку
Теперь техническая часть, и она красивая.
Сделайте копию фотографии. Потом копию копии. Потом ещё сто раз. На выходе — серое пятно. Каждый проход добавляет чуть-чуть шума, шум накапливается, изображение уплывает.
А теперь скажите слово «молоко» шёпотом, с набитым ртом, с акцентом, по плохой связи. Собеседник услышит «молоко». Передайте по цепочке из ста человек — на выходе будет «молоко».
Разница не в качестве канала. Разница в типе сигнала.
Фотография аналоговая: у неё бесконечно много промежуточных состояний, и любое искажение — новое допустимое состояние, отличить его от нормы невозможно. Слово дискретное: оно собрано из конечного набора звуков, и промежуточных состояний не существует. Услышав нечто между «м» и «н», мозг не сохраняет это «нечто» — он округляет до ближайшего разрешённого варианта. Шум не накапливается, потому что его отрезают на каждом шаге.
Это не метафора, а физика передачи информации, и работает она везде.
ДНК дискретна — это ровно то, чего не хватало Дарвину. Химия дискретна: атом углерода либо есть, либо нет, «полтора атома» не бывает. Цифровая связь дискретна, и вся современная электроника построена на том же принципе: сигнал регулярно округляют до нуля или единицы, чтобы шум не успел накопиться.
И вот выстрел, который я обещал.
Человеческий язык дискретен. Конечный набор звуков, из них конечный набор слов, из слов — бесконечное число предложений. Промежуточных фонем не бывает: между «б» и «п» нет полутонов, есть либо одно, либо другое. Именно поэтому фраза, которую вы сейчас читаете, дойдёт до вас неискажённой, хотя прошла через клавиатуру, сеть, шрифт и ваши глаза.
Сложите теперь всё. Дарвину для эволюции понадобился дискретный канал наследования. Храповику культуры нужен канал, не деградирующий при передаче, — и он тоже дискретный. А цифровая связь и вся электроника, на которой держится этот сайт, дискретны по той же причине — чтобы шум не копился. Это один и тот же принцип, прочитанный трижды: в химии нуклеотидов, в устройстве речи и в двоичном коде. Между первым и вторым — три миллиарда лет, между вторым и третьим — ещё сто тысяч. Природа наткнулась на это решение, изобрела его заново нашим языком, а потом мы в третий раз собрали его руками, не заметив, что повторяемся.
Вот первое подтверждение трёх условий. Дальше они всплывут ещё не раз.
Так что переверните привычную формулу. Не «человек стал умным и потому заговорил». Скорее наоборот: появился канал, не теряющий сигнал, — и стало возможно накапливать. Ум — следствие, а не причина.
Мелодия, застрявшая в голове, не желает вам добра
Соберём две вещи, лежавшие порознь. Храповик копит, канал дискретный. А что, собственно, по каналу движется и почему одно закрепляется, а другое пропадает?
По каналу идёт отбор — тот же дарвиновский отбор, только на другом носителе. В биологии отбираются гены: те, что лучше копируются, вытесняют те, что копируются хуже, и через миллион лет получается тело. Ровно то же с идеями: идея, которую легче запомнить и пересказать, вытесняет идею, которую труднее, — и через тысячу лет получается культура. Один механизм, две подложки. И там, и там выживает не лучшее, а лучше копируемое.
Совпадают эти две вещи не всегда. Вот где начинается неуютное.
Привязчивая мелодия застревает в голове не потому, что делает вас счастливее. Она застревает потому, что хорошо застревает — это всё, что от неё требуется, чтобы размножаться. Слух расходится быстрее скучной правды не потому, что полезнее, а потому, что его тянет пересказать. То есть у культуры свой критерий отбора, и он про копируемость, а не про ваше благо. Иногда они совпадают — тогда идея и верна, и живуча. Но по совместительству, а не по замыслу.
Отсюда переворот. Мы привыкли думать, что это мы носим культуру: наш инструмент, наш чемодан знаний. Корректнее — наоборот. Для идеи человек есть среда обитания и способ размножиться, примерно как для гена — тело. Вы не столько владеете своим языком и привычками, сколько служите им почвой, с которой они прыгают на следующего. Это, разумеется, Докинз с его «мемами»; мысль давняя, полный список долгов будет в конце.
И вот что получилось. Культура — не третье явление рядом с эволюцией и машинами. Это второй носитель, на котором работают те же три условия: у человека знание накапливается не только в геноме, но и снаружи, в слове. Два носителя у одного вида — вот что нас отличает.
Теперь вопрос, ответ на который вы получите к концу. Отбор идей по копируемости работает, пока есть кто-то снаружи, отсеивающий копируемую чепуху от копируемой правды. До сих пор этим кем-то была реальность: неверная идея рано или поздно ломала мост, отравляла обед, проигрывала войну — и вылетала из оборота, как бы хорошо ни копировалась. А что будет с отбором идей, у которого такой проверки не станет?
Держите вопрос. Через несколько разделов мы увидим машину, на которой он проверяется буквально.
Умирающий фон Нейман описал устройство ДНК за пять лет до Уотсона и Крика
1948 год. Джон фон Нейман — человек, придумавший архитектуру, по которой построен компьютер, с которого вы это читаете, — задаётся вопросом чистой логики: что нужно машине, чтобы построить свою копию?
Никакой биологии. Просто рассуждение.
И он выводит, что нужны три вещи, ни одну из которых убрать нельзя.
Лента — описание машины. Чертёж. Конструктор — устройство, которое читает чертёж и собирает по нему. Копировщик — устройство, которое копирует чертёж вслепую, не вникая в смысл.
Третий пункт кажется избыточным: пусть конструктор и копирует. Но нет. Копировать «с пониманием», пересобирая описание по смыслу, значит попасть в бесконечную рекурсию — описание описания описания. Единственный выход: копировать ленту тупо, как последовательность символов, не пытаясь понять.
Через пять лет Уотсон и Крик опубликовали структуру ДНК.
Лента — цепочка нуклеотидов. Копировщик — репликация, которая копирует символы, ничего не интерпретируя. Конструктор — рибосома, которая читает и синтезирует белок.
Фон Нейман вывел архитектуру жизни из логики, до того как её увидели в микроскоп. Последняя его работа — сравнение мозга с компьютером; он дописывал её, умирая от рака, и не закончил.
Остановитесь здесь на секунду, потому что это сердце всей конструкции. Фон Нейман не описывал ни компьютер, ни ДНК. Он описал то, что стоит над ними обоими: логику любой системы, которая себя воспроизводит. Поэтому его схема подошла и к клетке, открытой пятью годами позже, и к машине, которую он же проектировал, и — как мы сейчас увидим — к культуре. Это не совпадение и не красивая аналогия. Это те самые три условия, о которых сказано во вступлении, — и вот они в третьем месте, у человека, которого никто не подозревал в биологии. Один и тот же чертёж проступает всюду, где что-то копирует себя, — в белке, в слове, в кремнии.
Здесь честный скептик вправе поймать меня за руку. «Ты выдаёшь за глубокую связь то, что на деле просто общий словарь. Инженеры ИИ сами взяли из биологии „отбор“, „мутацию“, „репликатор“ — вот совпадения и лезут, ты нашёл не закон природы, а следы заимствования». Возражение сильное, и его надо развести на два случая, потому что смешаны как раз они.
Там, где совпадает язык, скептик прав. Слова «селекция», «эволюция», «популяция» в машинном обучении — прямой и сознательный импорт из биологии, и никакого закона природы за ними искать не нужно, это метафора, взятая напрокат. В счёт это не идёт, согласен.
Но два узла конструкции заимствованием не объяснить. Дискретность канала фон Нейман вывел из чистой логики самокопирования в 1948-м — не подглядывая в биологию, которой ещё не было: структуру ДНК откроют через пять лет. А коллапс моделей никто не переносил из антропологии — инженеры налетели на него, обучая модели на своих же выходах, и лишь потом кто-то заметил, что это один в один Тасмания. Ни там, ни там нет пути, по которому идея могла бы перекочевать из одной области в другую. Совпадение возникло само, с двух концов, у людей, не читавших друг друга. Вот это уже не общий словарь. Это когда две области, не сговариваясь, упираются в одну и ту же стену — и стена, похоже, настоящая.
Держите эти три блока в голове. Дальше они пригодятся.
А теперь запишем определение
Всё, что было выше, — это части. Соберём их в одну фразу.
Человек — самоорганизующаяся система общего интеллекта, реализованная на белковом многоклеточном субстрате, чья архитектура задана эволюционным отбором, а содержание загружено обучением внутри культурной среды, которая воспроизводит себя независимо от генома.
Проще, для запоминания: человек — это AGI на мясе, обученный на чужих данных.
Звучит как провокация, а это просто пересказ предыдущих разделов в одном предложении. И проверяется он по частям.
«Общего интеллекта» — потому что мы решаем задачи, под которые нас никто не затачивал: квантовая механика, программирование, виолончель.
«Самоорганизующаяся» — потому что целевую функцию никто не задавал: отбор шёл по единственному критерию «оставить потомство», а интеллект вышел побочным продуктом, которого никто не планировал, потому что планировать было некому.
«Архитектура от отбора, содержание от обучения» — проверяется случаями, когда загрузка не состоялась: человек, выросший вне культуры, не получает языка вовсе, а младенец, перевезённый на другой континент, усвоит тамошний язык при неизменной архитектуре.
«Среда воспроизводит себя независимо от генома» — письменность, книги, репозитории: теорема Пифагора живёт двадцать пять веков без единого общего гена между первым и последним, кто её знал.
Заметьте главное: в определении ровно два элемента — устройство и загруженное в него содержание. Запомните эту пару, в конце мы приложим её к машине.
И честно, иначе выйдет подтасовка: определение — не открытие. Ни одного нового факта в нём нет. Это переописание, смена оптики. Ценность у неё одна: бессмысленные вопросы становятся осмысленными. Спор «может ли машина по-настоящему мыслить» не имеет процедуры разрешения — это спор о значении слова. А вопрос «выполняются ли три условия» имеет процедуру, и притом инженерную.
Компилятор, который не умеет компилировать себя
А теперь приложим ту же схему к сегодняшнему ИИ — к кремнию.
Лента? Есть. Веса модели, исходники, документация.
Копировщик? Есть, и он лучше нашего. Копирование весов — побайтовое, без единой потери. Человеческая передача рядом с этим выглядит как факс из девяностых.
Конструктор? А вот тут интересно.
Возьмите машину для EUV-литографии — без неё современных чипов не существует. Порядка сотни тысяч деталей, компоненты почти от восьмисот поставщиков по всему миру, единственный производитель на планете, очередь на два года вперёд. На всей Земле таких машин — несколько десятков. Внутри — источник света, работающий так: капля олова летит в вакууме, её бьёт лазер, она превращается в плазму, плазма светит в крайнем ультрафиолете. Пятьдесят тысяч капель в секунду. Зеркала, отполированные так, что будь одно из них размером с Германию, на нём не нашлось бы бугорка выше миллиметра.
Сколько звеньев этой цепочки может воспроизвести себя само?
Ни одного. Кремниевый стек разомкнут. У него есть лента, есть великолепный копировщик — и нет конструктора. Конструктор одолжен: это мы, наши руки, шахты, заводы, логистика.
Вот точная аналогия. Биологическая жизнь — self-hosting: система, чей компилятор написан на том же языке, который компилирует, и способна собрать себя из себя. Клетка производит клетку из воды и света, без внешнего тулчейна.
Кремний собирается кросс-компиляцией. Тулчейн живёт на другой платформе — на белковой. И пока он там, разговоры о самостоятельном сверхразуме — разговоры о программе, которая не может пересобрать себя без чужой машины.
Отсюда, кстати, вопрос про будущее ИИ перестаёт быть философским и становится инженерным, с датой: замкнётся ли контур? Это можно оценивать, спорить о сроках, следить за роботизацией.
Возражения очевидны и справедливы. Отдельный человек тоже не построит дата-центр — воспроизводится вид, а не индивид. Симбиоз — законное решение: митохондрия вне клетки не живёт, и никто не считает её ущербной.
Но допустим, контур замкнётся. Машина начнёт строить себя сама.
Будет ли она при этом накапливать?
Машина, которая училась у самой себя
В 2024 году в Nature вышла работа с результатом, который выглядит технической неприятностью, а бьёт гораздо глубже.
Берём языковую модель. Генерируем ею текст. Обучаем на этом тексте следующую модель. Она генерирует текст. Обучаем третью. Через несколько поколений выход превращается в кашу.
Причём ломается не там, где ждёшь. Сначала исчезают хвосты распределения — редкие, необычные, но совершенно правильные варианты. Модель перестаёт знать про исключения и отвечает всё усреднённее, всё безопаснее, всё скучнее. Потом схлопывается и середина.
Смотрите, что здесь происходит по трём условиям. Вариация? Есть, модель непрерывно порождает разные варианты. Наследование? Идеальное, побайтовое, лучше человеческого. Отбор? Формально тоже есть: худшие образцы отбраковываются, лучшие идут в обучение.
И колесо всё равно едет назад.
Это Тасмания для машин. Только тасманийцы теряли навыки от малолюдья, а модель — от замкнутости на себе. Механизмы разные, результат один: система, потерявшая связь с внешним источником, начинает пожирать собственный хвост.
И вот здесь рамка дотягивается до конца. Остров, теряющий рыболовство, и модель, съедающая своё распределение, — не «похожи». Это одно и то же, сработавшее на разных подложках: там белковые головы, тут кремниевые веса. Вот она, вторая тонкость из вступления, во всей красе. Отбор идёт — но по чему? По продукции самой системы. Критерий замкнулся внутрь, и накопление поехало назад при формально исправных трёх условиях.
Но тут надо сказать вещь, которая меняет масштаб. У машины это условие не отняли — его у неё никогда и не было. Модель обучается на текстах, выдаёт текст, получает оценку по тексту. Замкнутый круг в мире записей, куда сам мир не входил ни на одном шаге. «Читает интернет» — это не контакт с реальностью, это контакт с записями о реальности, сделанными кем-то другим.
Почему же тогда модели вообще работают, а не сыплются с первого дня? Потому что живут на консервах. Миллиарды человеческих текстов, на которых их учат, — это чужая проверка, закатанная в банки заранее. Кто-то обжёгся, промахнулся мимо расчёта, уронил мост — и написал об этом. Модель ест результат нашей петли, сама петлю не замыкая. Коллапс при обучении на своих же выходах — это не поломка, это тот же процесс в крайнем виде: банки кончились, и стало видно, что своего источника нет.
И тут ещё один результат, совсем неприятный. Логичная идея: приставим к модели проверяющего, пусть отбраковывает плохие образцы. Работает — недолго. Показано, что в длинной перспективе такая схема стягивает систему к центру знаний самого верификатора. Внутренний контролёр не спасает от вырождения — он лишь выбирает, в какую точку вырождаться.
Спасает одно: подлинные данные извне. Не сгенерированные, а снятые с реальности.
И вот тут стоит подняться на этаж выше — там есть строгая формулировка, объясняющая, почему иначе и быть не может.
Отбор можно понимать как канал, по которому в систему входит информация о мире. Отбраковывая неудачные варианты, каждое поколение записывает в передаваемое сведения о том, каков мир. Мысль не новая: Кимура был среди первых, кто рассматривал отбор как процесс получения информации, а Кристоф Адами развернул это в целое направление — когда популяция приспосабливается к среде, информация о среде закрепляется в геноме.
Приложите к нашему случаю. Если среда, по которой ведётся отбор, — продукция самой системы, то информации извне входит ноль. Отбор работает, а канал пуст.
И это не метафора, а теорема. В работах этого года доказано: самореферентный цикл обучения не может увеличить взаимную информацию с истинным распределением, а однажды потерянное не восстанавливается обучением на собственных выборках. Система становится информационно замкнутой. Спасает только устойчивый внешний сигнал — свежие человеческие данные, обратная связь от среды или проверяющий, независимый от самой модели. В одном эксперименте новизна выхода падала почти до нуля к седьмой итерации, а единственный вставленный шаг сверки с внешним источником вернул системе разнообразие.
Вот почему хвосты отваливаются первыми. Хвост — это редкая информация: без притока она не восполняется, зато теряется на каждом шаге.
Два интеллекта, один состав и одна разница
Во вступлении были три условия и две тонкости к ним: точность передачи выше порога и внешний источник для отбора. Мы прошли по обеим и видели, где они держатся, а где ломаются. Теперь поставим рядом два интеллекта — тот, что уже есть, и тот, что строим, — и посмотрим на них через закон.
Оказывается, состав у них одинаковый.
Устройство. У человека это геном: описание конструкции и правил обучения. У машины — веса и архитектура. Одна роль, две подложки. И тут у машины даже преимущество: копирование весов побайтовое, без единой потери, наша передача рядом с этим — факс из девяностых.
Накопленное знание. У человека это культура: язык, приёмы, книги, всё, что залито в вас людьми, большинство которых умерли. У машины — корпус, на котором её обучили. Тот же самый элемент, и, заметьте, тот же самый источник: в машину залит наш корпус, человеческий. И его в неё вошло больше, чем прочтёт за жизнь любой из нас.
По двум элементам из трёх машина не отстаёт, а местами обгоняет. Вот почему разговоры «ей не хватает мозгов» или «надо больше параметров» бьют мимо: устройство есть, знание есть.
А расходятся они в третьем — и это не элемент, а связь.
У человека сверка с реальностью замкнута сама, по умолчанию, и отменить её нельзя. Каждое поколение заново трогает мир руками: обжигается, промахивается мимо зверя, роняет мост, травится ягодой. Знание, которое не выдержало столкновения, отваливается — не потому что кто-то так решил, а потому что его носители не дожили. Петля «предположил → проверил делом → заплатил за ошибку → исправился» у нас работает без нашего согласия.
У машины эта петля разомкнута. Не сломана — её просто не было никогда. Ошибка в предсказании следующего слова не имеет цены: чуть просела метрика, и всё. Машина не платила за свои ошибки собственной шкурой ни разу, а именно эта плата и научила нас всему, что мы знаем.
Вот и весь ответ на вопрос, которым обычно мучаются: чем искусственный интеллект отличается от нашего. Не материалом. Не размером. Не скоростью. Тем, кто держит его связь с реальностью. Пока держим мы.
Петля замыкается прямо сейчас
И вот тут надо сказать то, из-за чего этот текст написан именно в 2026 году, а не пять лет назад и не через пять лет.
Петля начинает замыкаться. Впервые.
Агенты, которые не только рассуждают, но и запускают код — и код либо работает, либо падает, и это ответ не от человека, а от мира. Модели, которых учат на задачах с проверяемым результатом: решено или нет, доказано или нет, выиграно или нет. Роботы, которые учатся, натыкаясь на настоящие предметы. Всё это — попытки дать машине собственный источник правды вместо наших консервов.
По трём условиям это и есть то самое событие. Не рост числа параметров, не новая архитектура, а замыкание отбора на внешний источник у небиологической системы. Если рамка верна, именно здесь проходит граница, за которой начинается настоящий общий интеллект.
Но честно назову и границу этого замыкания, иначе получится реклама.
Петля замыкается там, где мир отвечает быстро и дёшево. Компилируется или нет. Сходится или нет. Победил или проиграл. Это настоящая сверка с реальностью — но с очень усечённой её частью. А там, где ответ дорог, медлен и неоднозначен — построит ли этот мост, поможет ли это лекарство, как жить с этим решением через двадцать лет, — петля не замкнута и близко. И как раз там живёт большая часть человеческого опыта.
Так что сегодняшняя картина такая: у машины появляется своя связь с реальностью, но только с той её частью, которая умеет отвечать сразу.
Кому за это спасибо
Расплатимся по счетам — заодно это список, куда идти, если захочется копать.
Три условия и их независимость от носителя — универсальный дарвинизм: Докинз (эссе 1983), Деннет («Darwin’s Dangerous Idea», 1995), Годфри-Смит.
Приложение к появлению знания и интеллекта — Дональд Кэмпбелл, 1960: «слепая вариация и селективное удержание», с прямым заявлением о работе схемы на генах, нейронах, культуре и вычислениях. Поппер это одобрил.
Что трёх условий мало для открытого развития — Тейлор и соавторы, отчёт воркшопа в Йорке, 2016, и целая линия работ, ищущих недостающие условия.
Устройство самокопирующейся системы — фон Нейман, 1948.
Дискретность как условие наследования — Мендель; Фишер и математическая генетика. Дискретность канала связи — Шеннон, 1948.
Храповик культуры и утрата навыков — Томазелло; Хенрик, включая тасманийский разбор (и критика Васена, из-за которой я оговорился, что случай спорный).
Идеи как репликаторы — Докинз, Блэкмор, Деннет.
Отбор как получение информации о среде — Кимура, затем Кристоф Адами.
То, что машина стоит на нашей заземлённости — проблема заземления символов, Харнад, 1990, и его же более свежий термин «эпистемический паразитизм»: система работает на корпусе, который люди уже заземлили телесным опытом. Ровно то, что я выше назвал консервами. Плюс линия ЛеКуна про необходимость взаимодействия с физическим миром.
Коллапс моделей — работа в Nature, 2024, и последующие: порог доли внешней проверки, стягивание к центру знаний внутреннего верификатора, информационно-теоретические доказательства замкнутости самореферентного обучения (2025–2026).
Моё тут — только изложение: собрать разбросанное по нескольким областям в один текст и приложить старую рамку к тому, чего её авторы видеть не могли. Кэмпбелл писал за полвека до языковых моделей, Харнад — за тридцать лет до коллапса. Случай, в котором все три условия формально выполнены, а отбирать не по чему, появился только сейчас.
Что из этого следует
Практический вывод получается неожиданно скучный и оттого правдоподобный. Гонка за размером модели важна куда меньше, чем принято думать: размер — это устройство, а мы видели, чего стоит устройство без содержания. Спросите про лук. Настоящий дефицит будет не в параметрах и не в видеокартах, а в честном контакте с миром: в измерениях, экспериментах, провалах, сделанных руками. Реальность нельзя засинтезировать — к ней можно только сходить.
И, как ни странно, у этой рамки есть совершенно человеческое приложение. Всё сказанное верно для отдельной головы, редакции, компании, научной школы. Всякий раз, когда система начинает оценивать себя только собственным одобрением, она входит в тот же режим: копирование безупречное, новизна производится исправно, все довольны — и хвосты распределения тихо отваливаются один за другим. Изнутри это не видно никогда. Тасманийцы тоже не заметили, как перестали ловить рыбу.
Общий интеллект во Вселенной возникал один раз. Не потому, что кто-то отрастил большой мозг — слоны и киты крупнее, и им это не помогло. А потому, что сошлись три условия и обе тонкости к ним: появился канал, передающий без потерь; нашлось достаточно людей, чтобы точность держалась выше порога; и всё накопленное непрерывно билось о твёрдую реальность, которая не спрашивает мнения.
Сейчас мы собираем второй экземпляр. Устройство у него лучше нашего, знание — наше, а связь с миром пока в наших руках. Мы для него то, чем для нас была реальность.
Отсюда главный вопрос, и он звучит совсем не так, как принято его задавать. Не «когда машина станет умнее нас» и даже не «замкнётся ли контур производства».
Чем она будет касаться мира, когда перестанет нуждаться в нас?
Пока таких проб — снятых живым человеком, который что-то делал руками и получил по рукам от физики, — в обучающих данных большинство. Но доля их падает год от года, а доля сгенерированного растёт, и когда-нибудь две кривые пересекутся. Самое неприятное, что момент пересечения никто не заметит: такие вещи изнутри не видны вообще никогда.
Ответа на этот вопрос у меня нет. Кажется, его пока нет ни у кого — и это, пожалуй, самое интересное, что можно сказать про AGI в 2026 году.