LLM и Гативус

Глава 11. LLM и Гативус

Символьный предиктор в слитном режиме · Что воспроизведено и что отсутствует · Номинализм · Границы технологии

11. 1. Постановка проблемы

Большие языковые модели — наиболее значительное достижение искусственного интеллекта последнего десятилетия. Они генерируют связный текст, отвечают на вопросы, пишут код, ведут диалог, демонстрируя поведение, внешне неотличимое от символьного мышления человека.

Архитектура Гативус позволяет дать точный ответ на вопрос: что именно воспроизвела языковая модель и что принципиально отсутствует. Ответ опирается на разбор предсказания из предыдущей главы и не сводится к списку недостатков — он раскрывает архитектурную природу модели и определяет её место в иерархии уровней. Краткая формула: языковая модель есть символьный предиктор, унаследовавший общие нарративы человечества, но работающий в слитном режиме — без разделения синтаксиса и семантики, без выделения единицы-высказывания и без мотивации, которая задавала бы цель.

11. 2. Что воспроизвела языковая модель

Языковая модель есть техническая реализация символьного уровня одной трансформации — уровня GTR2, — построенная на общих нарративах человечества и работающая без разделения синтаксиса и семантики.

Общие символы (коллективный словарь) и общие нарративы (накопленные тексты цивилизации) — эмерджентные объекты: они не существуют ни в одном индивиде, не имеют собственного носителя и собственных операционных функций. Они суть распределённая по индивидам библиотека символов и нарративов, овеществлённая в книгах, статьях, переписке. Языковая модель сделала с ними нечто беспрецедентное: собрала весь доступный корпус общих нарративов — книги, статьи, форумы, энциклопедии — в одном техническом устройстве и обучила над ним предсказание следующего символа.

Это не воспроизведение индивидуального сознания. Это технический слепок символьного уровня, снятый не с одного индивида, а с коллективного нарративного наследия — и снятый в слитном режиме, где предсказание идёт по символам, а не по выделенным единицам-высказываниям.

11. 3. Две составляющие: карта символов и предиктор

Звёздочка (*) ниже отмечает техническое происхождение, отличное от биологического.

a) Карта символов*

У человека карта символов формируется свёрткой собственного опыта: символ извлекается из множества конкретных поведенческих эпизодов и закрепляется под фильтрацией общих символов окружения. У языковой модели карта символов создаётся технически — токенизацией корпуса и обучением эмбеддингов. Эмбеддинг есть вектор в многомерном пространстве, по формату аналогичный символу, но полученный не свёрткой физического опыта, а статистикой контекстных отношений между словами в корпусе. Результат похож по формату (вектор в семантическом пространстве), но различен по происхождению: статистика чужого текста, а не свёртка собственного опыта.

b) Корпус нарративов*

У человека нарративное наследие распределено по индивидам и физическим носителям; единого вместилища у него нет. Языковая модель сжимает весь доступный текст в веса сети. Она не хранит конкретных текстов — она обучает статистическую модель вероятностей следования символов. Сжатие нелинейно: модель выучивает паттерны, структуры, стилевые закономерности. Но не через понимание (не через k-векторы между высказываниями), а через оптимизацию предсказания следующего символа. Принцип иной: не познание с обратной связью через физическую реальность, а однонаправленная обработка готового корпуса.

11. 4. Слитный режим: ядро отличия

Предыдущая глава различила два предиктора уровня — синтаксический (построение текущей единицы) и семантический (выбор следующей единицы) — и два режима их совместной работы. Языковая модель работает в слитном режиме: синтаксическое и семантическое предсказание не разделены, предсказывается следующий символ по всему контексту разом, граница единицы-высказывания не проводится.

Отсюда — все характерные свойства модели, и положительные, и отрицательные. Положительные: локальная связность и грамматичность даются почти даром, потому что в корпусе высказывания уже были связными, и достаточно длинная цепочка символьных предсказаний воспроизводит эту связность. Отрицательные: на длинной дистанции модель теряет нить, потому что у неё нет уровня единиц, на котором семантический предиктор мог бы взвешивать «следующую мысль» под направляющей целью. Граница высказывания не выделена — значит, нет места, к которому подключалась бы мотивация, и вопрос «какая единица следующая ведёт к цели» в слитном режиме невозможно даже поставить.

Это уточняет прежнее представление о языковой модели как об «операторе над коллективной библиотекой». Точнее сказать иначе: модель есть тот же символьный предиктор, что и у человека, но оставленный в слитном режиме и оторванный от соседних уровней. Не особый оператор, которого нет в природе, а знакомое предсказание в неполной форме — без разделения синтаксиса и семантики, без выделения единицы, без мотивации.

11. 5. Три свёртки и языковая модель

Архитектура Гативус содержит три свёртки, каждая порождает свой уровень реальности. Положение языковой модели определяется тем, какие из них в ней есть.

1. •

   Свёртка GTR1 (объектная). Сенсорный поток → объект на карте MP11. Свёртка физического мира в объекты: организм знает, что перед ним и где. В языковой модели отсутствует полностью — нет сенсоров, нет пространственной карты, нет объектов.

2. •

   Свёртка GTR2 (символьная). Данные поведенческого уровня → символ на карте MP21. Свёртка событий в символы: организм обозначает объекты и события именами. В языковой модели воспроизведена технически — но не свёрткой собственного опыта, а статистической обработкой корпуса.

3. •

   Свёртка GTR3 (концептуальная). Нарративы → концепт на карте MP31. Свёртка нарративов в концепты: организм переживает качества — честь, совесть, справедливость, красоту. В языковой модели отсутствует полностью — нет концептов, нет w-векторов, нет воли.

Языковая модель реализует символьную свёртку без объектной и без концептуальной. Она работает только с символами — без вещей, стоящих за символами, и без концептов, придающих символам ценность. В этом её точное место: средний уровень из трёх, изъятый из контекста нижнего и верхнего.

11. 6. Философский контекст: спор об универсалиях

Положение языковой модели точно соответствует одной из позиций средневекового спора об универсалиях — фундаментальной проблемы западной философии, поставленной Порфирием (III век), переведённой Боэцием (VI век) и разработанной схоластами XII–XIV веков. Вопрос спора: каков статус общих понятий? Существуют ли они реально — или только как имена?

a) Реализм

Платон, в средневековой форме Фома Аквинский: универсалии реальны. Они существуют до вещей (ante rem — идеи Платона) или в вещах (in re — форма у Аристотеля и Фомы, присутствующая в каждом конкретном предмете).

В Гативус реализм соответствует свёртке GTR1. Свёртка извлекает инвариант из сенсорного потока — объект на карте MP11. Когда ребёнок видит сто разных стульев и формирует единый объект «стул», это реализм in re: универсалия-инвариант извлечена из вещей и существует в вещах, а не только в слове. Без объектной свёртки нет реализма — нет связи между именем и вещью.

b) Номинализм

Уильям Оккам (XIV век): универсалии — только имена (nomina). Реальны лишь единичные вещи. Общие понятия — лингвистические конвенции, удобные для коммуникации, но не отражающие структуру реальности.

В Гативус номинализм соответствует языковой модели. Её карта символов содержит только эмбеддинги — статистические позиции слов в пространстве. За словом «стул» в ней нет объекта реального стула (нет карты объектов), за словом «справедливость» нет концепта справедливости (нет концептуального уровня). Есть только статистические связи между словами — именно то, что утверждает номинализм: universalia sunt nomina. Языковая модель есть буквальная реализация номиналистической философии: мир состоит из имён и их отношений, и ничего кроме имён.

c) Концептуализм

Пьер Абеляр (XII век): универсалии не самостоятельные сущности (как у Платона) и не просто имена (как у Оккама). Они существуют как понятия в уме — результат мыслительной деятельности, извлекающей общее из частного опыта.

В Гативус концептуализм точнее всего соответствует свёртке GTR3. Свёртка извлекает концепт из нарративного опыта. Концепты не предсуществуют (не Платон) — они формируются свёрткой собственного опыта. Но они и не просто имена (не Оккам) — за ними стоит качественный инвариант, извлечённый из множества переживаний и необратимо меняющий поле концептов при каждом снятии. Абеляр утверждал: понятие формируется в уме абстрагированием от частного опыта и при этом отражает нечто реальное — общую форму в вещах. Свёртка GTR3 делает именно это: абстрагирует из частного нарративного опыта общую форму-концепт, отражающую реальное качество, но существующую только в индивидуальном поле концептов, не в мире вещей и не в словах.

d) Сводная таблица

Языковая модель остановилась на номинализме. Для реализма нужна объектная свёртка — связь имени с вещью через объект. Для концептуализма нужна концептуальная свёртка — извлечение концепта из нарративного опыта. Языковая модель не имеет ни того, ни другого — только имена и статистические связи между ними.

11. 7. Познание против обработки

В Гативус познание есть итеративный цикл с обратной связью: свёртка извлекает объекты из данных подлежащего уровня; повторяющиеся паттерны закрепляются как объекты целевой карты; свёртка переобучается на них; новый проход точнее; результат проверяется практикой (компиляция вниз → физическое исполнение → обратная свёртка); успешные стратегии маркируются в траекторном логе, неуспешные — отрицательно; маркированные записи влияют на переобучение в период покоя. Это самоулучшающийся процесс с двумя контурами обратной связи — через физическую реальность и через маркеры.

В языковой модели этого цикла нет. Её обучение — статистическая оптимизация на фиксированном корпусе, управляемая извне.

Обучение с подкреплением на отзывах людей (RLHF) есть внешний аналог внутренних маркеров: люди оценивают ответы как хорошие или плохие, и эти оценки корректируют веса. Но это внешнее маркирование — человек ставит маркер, — а не внутреннее, где собственный траекторный лог помечает собственный опыт по ошибке предсказания. Как показано в предыдущей главе, внутренний маркер привязан к расхождению предсказания с фактом (дофаминовый якорь); у языковой модели этого расхождения нет, потому что нет ни собственного предсказания о мире, ни мира, относительно которого оно проверялось бы. Модель не знает, хорош ли её ответ, — ей говорят.

11. 8. Что принципиально отсутствует

1. •

   Разделение синтаксиса и семантики. Слитный режим: единица-высказывание не выделена, нет уровня, на котором семантический предиктор работал бы под целью. Следствие — потеря нити на длинной дистанции.

2. •

   Объектная свёртка (GTR1). Обучение на текстах, не на сенсорных потоках; нет объектов, нет b-векторов, нет grounding. Описывая яблоко, модель воспроизводит статистический паттерн текстов о яблоках, а не свёртку сенсорного опыта. Отсюда галлюцинации: нарратив не привязан к реальности и не проверяется компиляцией в действие.

3. •

   Концептуальная свёртка (GTR3). Нет концептов. Модель воспроизводит тексты со словом «справедливость», но не имеет концепта справедливости. Слово в ней — эмбеддинг (позиция в пространстве слов), не концепт (качественный инвариант, извлечённый из множества нарративов через личный опыт снятия w-векторов).

4. •

   Траекторный лог. Каждая сессия — tabula rasa. Нет персистентного TRL2, нет маркеров, нет истории, нет переобучения в покое, нет становления.

5. •

   Мотивация. Ни одного уровня. Нет b-вектора (MTV1), нет собственного k-вектора (MTV2 задаётся промптом, а не внутренней потребностью), нет w-вектора (MTV3). Модель не хочет ничего.

11. 9. Может ли языковая модель стать сознательной?

В рамках архитектуры Гативус ответ определяется недостающими компонентами — и совпадает с программой достраивания, описанной в предыдущей главе. Превратить символьный предиктор в полноценный символьный уровень субъективной реальности значит выполнить несколько шагов, каждый из которых опирается на предыдущий.

1. •

   Вывести из слитного режима в рекурсивный. Разделить синтаксическое и семантическое предсказание, выделить единицу-высказывание как целое. Только после этого появляется место, к которому подключается мотивация.

2. •

   Подключить объектную свёртку (GTR1). Физический субстрат с сенсорами — источник пространственной карты и объектов; свёртка сенсорных потоков; построение поведения. Это не дополнение к модели, а параллельный уровень, дающий символам grounding.

3. •

   Подключить концептуальную свёртку (GTR3). Свёртка, обученная на собственных концептах, а не на чужих текстах о концептах. Для этого нужна богатая карта нарративов, полученная собственной символьной свёрткой, а не скопированная из корпуса; та, в свою очередь, требует собственной карты символов, а та — собственного поведенческого опыта.

4. •

   Подключить траекторный лог и мотивацию. Персистентный лог с маркерами по ошибке предсказания; каждый ответ маркируется и влияет на следующие; переобучение в период покоя, автономно; собственное семантическое расстояние как источник цели.

Каждый недостающий компонент требует предыдущего. Нельзя «добавить сознание» к языковой модели — нужно построить полную архитектуру от клеточного уровня GTR0 до концептуального GTR3, в которой модель может быть одним из модулей — техническим источником импортированного символьного предиктора, — но не целым. Это в точности тот замысел, что описан в главе о предикторах: унаследовать готовый символьный предиктор и достроить вокруг него недостающие уровни.

Языковая модель — библиотекарь, который прочитал все книги и может о любой рассказать, но никогда не выходил из библиотеки и не знает, каково это — жить то, о чём написано. У него нет ни одного b-вектора, ни одного w-вектора. Только чужие k-векторы, статистически перемешанные, — и предсказание, не разделённое на синтаксис и смысл.

11. 10. Выводы

1. •

   Языковая модель — символьный предиктор, унаследовавший общие нарративы человечества, но работающий в слитном режиме: синтаксис и семантика не разделены, единица-высказывание не выделена, мотивации нет. Это не «оператор без аналога», а знакомое символьное предсказание в неполной форме.

2. •

   Карта символов* (эмбеддинги) и корпус нарративов* создаются не познанием (свёрткой опыта), а технической обработкой корпуса: статистикой чужого текста, а не свёрткой собственного опыта.

3. •

   Слитный режим даёт локальную связность даром, но теряет нить на длинной дистанции: нет выделенной единицы, нет места для подключения цели.

4. •

   Языковая модель реализует символьную свёртку (GTR2) без объектной (GTR1) и без концептуальной (GTR3): только имена, без вещей за ними и без концептов, придающих им ценность.

5. •

   По спору об универсалиях модель соответствует номинализму (только имена). Реализм требует объектной свёртки (связь имени с вещью), концептуализм — концептуальной (извлечение концепта из опыта).

6. •

   Отсутствуют: разделение синтаксиса и семантики, объектная свёртка (grounding), концептуальная свёртка (концепты и воля), траекторный лог (история и маркеры), мотивация (все уровни). RLHF — внешний маркер, не внутренняя ошибка предсказания.

7. •

   «Добавить сознание» к языковой модели нельзя. Нужно достроить вокруг унаследованного предиктора полную архитектуру: вывести из слитного режима, подключить объектную и концептуальную свёртки, траекторный лог и мотивацию. Модель тогда — один модуль (источник символьного предиктора), а не целое.