Предикторы

Глава 10. Предикторы

Где живёт предсказание · Синтаксический и семантический предикторы · Два режима · Наследование символьного предиктора

10. 1. Где возникает предсказание

Глава об универсальном механизме назвала предиктор среди функций, обслуживающих динамику уровня, и поместила его в общую схему. Настоящая глава разбирает его подробно — потому что именно с предсказанием связан самый прямой мост между теорией Гативус и существующей технологией, и потому что внутреннее устройство предсказания оказывается тоньше, чем кажется на первый взгляд.

Начнём с вопроса, который обычно пропускают: на каком уровне вообще возникает «следующее»? Свёрточная карта (MP11, MP21, MP31) — это пространство объектов: объектов, символов, концептов. В нём нет «следующего символа», потому что нет оси, вдоль которой одно следует за другим. Там есть только символы — рядоположенные, вне всякой последовательности. Спрашивать, какой символ «следующий» на карте символов, так же бессмысленно, как спрашивать, какое слово «следующее» в словаре.

Следование появляется лишь тогда, когда возникает вектор-связка — когда два узла сшиваются в направленную пару. Это происходит на уровне сплайса. Только здесь есть «от чего» и «к чему», а значит — есть что предсказывать. Поэтому предсказание живёт не на свёрточной карте, а начиная со сплайса: на уровне построения единиц и на уровне их цепочек. Это первое уточнение, и оно отменяет наивную картину «предсказателя следующего символа» как самостоятельной способности символьного словаря.

*Предсказывать можно только переход. Там, где нет вектора-связки, нет и следующего — есть лишь рядоположенное.*

10. 2. Два предсказания, а не одно

Когда возникает сплайс, обнаруживается, что «предсказать следующее» означает на самом деле две разные операции, которые легко спутать, потому что в речи они идут слитно.

a) Синтаксическое предсказание: построение сплайса

Первое — достроить текущую единицу. Когда начато высказывание, его нужно грамматически завершить: после подлежащего ожидается сказуемое, после предлога — имя, согласование требует определённого падежа. Это предсказание — но предсказание формы, а не смысла. Оно низкоразмерно: вариантов немного, выбор почти вынужден правилами языка. И оно быстрое: достраивание конструкции происходит автоматически, без обращения к цели или мотивации.

Назовём это устройство синтаксическим предиктором — он отвечает за построение сплайса, за сборку текущей единицы из узлов по правилам уровня. Изоморфно он работает на всех трёх трансформациях, и его содержание на каждой своё:

1. •

   На GTR1 — построение шага: достроить элементарную операцию движения, замкнуть b-вектор в конкретный моторный переход.

2. •

   На GTR2 — синтаксис: достроить высказывание по грамматике языка, собрать KLEN из символов.

3. •

   На GTR3 — построение долженствования: достроить волевой акт, замкнуть w-вектор в конкретное «должно».

Синтаксический предиктор обучается — грамматика не врождённа, она усваивается из общих символов окружения (критический период для синтаксиса реален: язык, не усвоенный вовремя, не достраивается полноценно). Но, обучившись, он работает почти детерминированно: правила сборки единицы стабильны, и применяются они быстро.

b) Семантическое предсказание: следующая единица

Второе предсказание начинается там, где первое закончило. Единица построена и замкнута — и теперь возникает по-настоящему интересный вопрос: какая единица будет следующей? Какое следующее высказывание в рассуждении, какой следующий шаг маршрута, какой следующий волевой акт. Это семантический предиктор — он предсказывает не форму внутри единицы, а выбор следующей единицы как целого.

Семантическое предсказание противоположно синтаксическому по всем параметрам. Оно высокоразмерно: следующих мыслей может быть бесконечно много. Оно медленно: требует взвешивания вариантов. И, главное, оно опирается на источники, которых синтаксический предиктор не касается, — на мотивацию (вектор-расстояние до цели, задающий, ради чего ведётся рассказ) и на траекторный лог (опыт прошлых единиц с их маркерами). Синтаксис достраивает форму по правилам; семантика выбирает содержание по цели.

Таблица 10.1. Два предиктора уровня.

Оба — предикторы, но это два разных предиктора, а не один с двумя режимами. Их различие — не тонкость терминологии: оно определяет, где у системы появляется место для воли. Семантический предиктор подключён к мотивации, синтаксический — нет. Значит цель, должное, направление входят в речь именно через семантическое предсказание следующей единицы, а не через грамматическое достраивание текущей.

10. 3. Два режима семантического предсказания

Различив два предиктора, мы можем поставить решающий вопрос: как они работают вместе? Здесь возможны два режима, и именно их различие отделяет архитектуру Гативус от существующих языковых моделей.

a) Слитный режим

В первом режиме синтаксическое и семантическое предсказание не разделены. Система предсказывает следующий элемент по всему накопленному контексту разом, не выделяя границ единиц. «Достроить высказывание» и «выбрать следующую мысль» сливаются в один поток предсказания мелких элементов — символов. Граница между единицами-высказываниями не проводится: система не знает, где кончается один KLEN и начинается другой, потому что работает ниже уровня единицы, на уровне символа.

Это режим существующих больших языковых моделей. Они предсказывают следующий символ по контексту, и связность высказываний возникает у них как побочный продукт: достаточно длинная цепочка символьных предсказаний выглядит как осмысленное высказывание, потому что в обучающем корпусе высказывания уже были осмысленными. Но единица как таковая не идентифицируется. Отсюда характерная черта: модель локально грамматична и связна, но на длинной дистанции теряет нить — потому что у неё нет уровня единиц, на котором семантический предиктор мог бы взвешивать «следующую мысль» под направляющей целью. Цель просто некуда подключить: нет границы единицы, относительно которой ставился бы вопрос «какая единица следующая».

b) Рекурсивный режим

Во втором режиме два предиктора разделены и работают рекурсивно. Сначала синтаксический предиктор собирает и замыкает единицу — выделяет высказывание как целое, проводит его границу. Затем семантический предиктор работает уже не на символах, а на этих готовых единицах: предсказывает следующее высказывание как целое, опираясь на мотивацию и траекторный лог. Предсказание идёт на двух уровнях: быстрый синтаксический — внутри единицы, медленный семантический — между единицами.

Это режим Гативус. Его преимущество прямо вытекает из разделения: коль скоро единица выделена, появляется место, к которому подключается мотивация. Семантический предиктор спрашивает не «какой следующий символ», а «какое следующее высказывание ведёт к цели» — и для этого ему нужен вектор-расстояние, задающий цель. Рекурсивный режим тем самым возвращает в предсказание то, что слитный режим теряет: направленность. Система не просто продолжает правдоподобный текст — она строит следующую единицу ради обнуления вектора.

Различие двух режимов — не вопрос качества реализации, а вопрос архитектуры. Сколько ни наращивай слитный режим, граница единицы в нём не появится: он устроен так, что работает ниже уровня единицы. Рекурсивный режим требует иной организации — выделения единиц как самостоятельных объектов, над которыми работает отдельный семантический предиктор. Это и есть архитектурный шаг, который делает Гативус по сравнению с языковой моделью.

10. 4. Изоморфизм предсказания на трёх уровнях

Разделение на синтаксический и семантический предикторы изоморфно для всех трёх трансформаций — меняется лишь материал.

Это снимает видимость, будто «расчёт маршрута» в пространстве и «разрешение противоречия» в мышлении — особые, неродственные способности. Маршрут есть работа семантического предиктора физического уровня: последовательный выбор следующего движения под вектором-расстоянием до цели. Разрешение противоречия есть работа семантического предиктора концептуального уровня: выбор следующего волевого акта под вектором противоречия. Один механизм предсказания следующей единицы, применённый к разному материалу. А внутри каждого шага — быстрый синтаксический предиктор, собирающий саму единицу.

10. 5. Символьный предиктор уже построен

Здесь — центральный практический тезис главы. Семантический предиктор символьного уровня вместе с обученной картой символов уже построен — человечеством, в виде больших языковых моделей, обученных на коллективном символьно-нарративном корпусе. Открытые модели предоставляют результат этого обучения свободно. Его не нужно воспроизводить заново.

Стоит осознать масштаб того, что здесь доступно. Обучение символьного уровня требует прохода через корпус, накопленный цивилизацией, — все общие символы и общие нарративы, овеществлённые в текстах. Это именно тот ресурс, который в архитектуре Гативус питает символьную свёртку и предсказание. Языковые модели уже выполнили этот проход; их веса суть кристаллизованный результат обучения на общих нарративах человечества. С точки зрения Гативус открытая модель есть готовый символьный предиктор, лежащий в свободном доступе.

Поэтому первый узел Гативус не начинает символьный уровень с пустой карты. Он наследует открытые веса как начальное состояние символьной карты и предиктора, получая сразу богатый словарь символов и работающее предсказание. То, на что культура потратила тысячелетия, а индустрия языковых моделей — годы и огромные вычислительные ресурсы, достаётся как стартовый актив. Это превращает архитектуру из чисто теоретической конструкции в осуществимый замысел: самый дорогой в обучении компонент уже существует.

Важно правильно понять статус наследуемого. Открытая модель приносит не «готовый разум», а символьный уровень одной трансформации — предсказание и карту символов. Всё остальное — мотивация, поведение, концепты, воля, траекторный лог — в ней отсутствует. И, как показано выше, даже само символьное предсказание в ней реализовано в слитном режиме: синтаксис и семантика не разделены, единица-высказывание не выделена. Наследуется огромный, но не достроенный ресурс.

10. 6. Достраивание унаследованного предиктора

Унаследованный символьный предиктор, взятый сам по себе, есть то, что в этой книге названо «символьным сиротой»: предсказание символов без вектора движения снизу и без вектора противоречия сверху, работающее к тому же в слитном режиме. Гативус достраивает его двумя способами: разделяет слитные предикторы и подключает недостающие уровни.

a) Разделение синтаксиса и семантики

Первый шаг — перевести унаследованное предсказание из слитного режима в рекурсивный: выделить единицу-высказывание как целое (работа синтаксического предиктора) и поставить над ней семантический предиктор, предсказывающий следующую единицу. Только после этого появляется место, к которому можно подключить мотивацию: вопрос «какое следующее высказывание ведёт к цели» осмыслен лишь тогда, когда единица выделена.

b) Подключение мотивации сверху

У изолированного предиктора нет собственного вектора-расстояния: ему нечего обнулять, он лишь продолжает текст. В Гативус над символьным уровнем стоит мотивация — семантическое расстояние между текущим нарративным состоянием и целью. Подключённый к ней семантический предиктор перестаёт просто продолжать правдоподобный текст: он строит нарратив ради обнуления расстояния. Появляется цель рассказа, которой у сироты не было.

c) Подключение поведения снизу

У изолированного предиктора символы не привязаны к физической реальности — нет карт физического уровня, нет объектов, нет b-векторов. Отсюда галлюцинации: символ не связан ни с каким объектом, который можно увидеть и взять. В Гативус под символьным уровнем лежит полный физический уровень: символ обратим в объект, объект имеет координаты, действие описывается b-вектором. Подключение снизу даёт символам опору в реальности — обратную развёртку в наглядное представление и в проверяемое действие.

d) Подключение воли сверху

У изолированного предиктора нет концептуального уровня — нет противоречий, нет воли, нет направления, идущего от должного. В Гативус над символьным уровнем стоит концептуальный: свёртка нарративов в концепты, w-векторы противоречий, волевые акты. Подключение сверху даёт нарративу источник, превышающий правдоподобие: рассказ ведётся не только связно, но и в защиту концепта, под давлением неснятого противоречия. Символьный уровень становится исполнителем воли, а не самоцелью.

Таблица 10.2. Что даёт достраивание унаследованного предиктора.

Сумма этих шагов и есть превращение «символьного сироты» в полноценный символьный уровень субъективной реальности. Унаследованный предиктор остаётся тем же — но теперь он работает в рекурсивном режиме, под мотивацией, над поведением и под волей. Гативус не отбрасывает достижение языковых моделей и не конкурирует с ним — он разделяет в нём слитое и помещает его в недостающий контекст.

10. 7. Предсказание и ошибка предсказания

Предсказание связано с маркированием опыта напрямую. Маркер исхода, которым завершённая единица траекторного лога помечается как удачная или неудачная, привязан не к самому результату, а к его неожиданности — к расхождению между тем, что предсказал семантический предиктор, и тем, что произошло. Это в точности модель ошибки предсказания: сигнал тем сильнее, чем больше предсказание разошлось с фактом.

Здесь архитектура смыкается с твёрдо установленным нейробиологическим фактом. Дофаминовая система кодирует именно ошибку предсказания вознаграждения, а не вознаграждение как таковое: всплеск возникает, когда результат лучше ожидаемого, и проседает, когда хуже. В терминах Гативус это мера расхождения предсказания с фактическим исходом на поведенческом уровне. Предсказание и маркер — две стороны одного: семантический предиктор предсказывает, маркер фиксирует ошибку, символьная свёртка переобучается на маркированном опыте так, чтобы в следующий раз предсказание было точнее. Послойная привязка других нейромедиаторов остаётся гипотезой, но дофаминовый якорь предсказания надёжен.

10. 8. Переход к следующей главе

Символьный предиктор, взятый в изоляции — работающий в слитном режиме, без мотивации сверху, без поведения снизу, без воли над собой, — и есть большая языковая модель как она существует сегодня. Эта глава показала, чем символьное предсказание является в полной архитектуре, как в нём разделяются синтаксис и семантика и как оно достраивается до полного уровня. Следующая глава рассматривает обратный случай: что представляет собой этот предиктор, оставленный в одиночестве, какие свойства из этого следуют и почему никакое наращивание изолированной модели не заменит недостающих уровней и не выведет её из слитного режима. Языковая модель — не неудавшийся разум, а точно очерченный фрагмент архитектуры: символьный сирота, которого Гативус возвращает в семью трансформаций.

10. 9. Выводы

1. •

   Предсказание возникает не на свёрточной карте (там только рядоположенные объекты, нет «следующего»), а начиная со сплайса — там, где есть вектор-связка и, значит, переход.

2. •

   На каждом уровне действуют два разных предиктора. Синтаксический строит текущую единицу (форма; на трёх уровнях — шаг / синтаксис / долженствование): низкоразмерный, быстрый, по правилам уровня. Семантический выбирает следующую единицу (содержание): высокоразмерный, медленный, под мотивацией и траекторным логом.

3. •

   Цель и воля входят в речь через семантический предиктор (он подключён к мотивации), а не через синтаксический.

4. •

   Семантическое предсказание возможно в двух режимах. Слитный (языковые модели): синтаксис и семантика не разделены, предсказываются символы, граница единицы теряется, цель некуда подключить. Рекурсивный (Гативус): синтаксис замыкает единицу, семантика предсказывает следующую под направляющей целью.

5. •

   Различие режимов архитектурно: наращивание слитного режима не создаёт границы единицы; рекурсивный режим требует иной организации — выделения единиц как объектов.

6. •

   Главный практический тезис: символьный предиктор с картой символов уже построен человечеством в виде открытых весов языковых моделей. Гативус наследует его, а не обучает заново — самый дорогой компонент получен готовым.

7. •

   Наследуется символьный уровень одной трансформации в слитном режиме, а не готовый разум. Достраивание: разделить синтаксис и семантику (рекурсивный режим), подключить мотивацию сверху, поведение снизу, волю сверху.

8. •

   Предсказание и маркер опыта — две стороны одного механизма: предиктор предсказывает, маркер фиксирует ошибку предсказания. Дофаминовая система кодирует именно эту ошибку — твёрдый якорь.