Перейти к содержанию

Призма + LLM

Как использовать LLM (ChatGPT, Claude, Gemini и др.) в рамках методологии Призма — чтобы модель давала полезный результат, а не «похожий на правду» текст.


Главное правило

LLM — ускоритель, а не замена

Модель хорошо генерирует гипотезы (🟡) и помогает найти направление поиска, но не производит факты (🟢). Любой ответ LLM без ссылки на проверяемый первоисточник — это 🟡 гипотеза или 🔴 пробел, пока не подтверждён свидетельством.


Где LLM полезна, а где опасна

Задача Польза Почему
Холодный старт: стартовый словарь С1 (глоссарий, карта области) ⭐⭐⭐⭐⭐ Идеальная точка входа — быстро даёт стартовую карту: термины, синонимы, структуру
С3: поиск типов свидетельств ⭐⭐⭐⭐ Хорошо подсказывает, какие стандарты, реестры и базы данных существуют
У1: генерация сценариев и типовых задач ⭐⭐⭐⭐ Хорошо перечисляет типовые задачи, роли, pain points
У1: модель влияния ⭐⭐⭐ Может предложить структуру, но причинно-следственные связи нужно верифицировать
У2: сравнение подходов ⭐⭐⭐ Даёт первичное сравнение, но оценки нужно проверять по S1–S3
У2: поиск стандартов ⭐⭐⭐⭐ Хорошо знает названия и номера стандартов (но может галлюцинировать!)
У3: типовые отказы, анти-паттерны ⭐⭐⭐⭐ Хорошо собирает «что обычно ломается» из обучающих данных
Генерация вопросов (мета-промпт) ⭐⭐⭐⭐⭐ Лучший способ использования — просить не ответы, а вопросы
Проверка конкретных фактов ⭐⭐ Может уверенно врать. Всегда проверяй по первоисточнику
Генерация числовых данных ⭐ Часто выдумывает цифры. Никогда не бери числа из LLM без проверки

LLM для холодного старта

Когда область полностью незнакома, LLM — лучший инструмент для первых 30 минут:

Промпт 1: Стартовая карта области

Я исследую область [ТЕМА] с нуля и не знаю ни одного термина.

Задача: составь стартовую карту области:
1. Глоссарий из 20–30 ключевых терминов (определение + синонимы на русском и английском)
2. Карта области: из каких подсистем состоит, какие роли/акторы, где границы
3. Типы первичных документов и артефактов, существующих в этой области
   (стандарты, протоколы, реестры, базы данных — не блоги и статьи)

Формат: таблица для терминов, структурированный текст для карты.
Не пиши вводных фраз, сразу к делу.

ВАЖНО: если не уверен в точном номере стандарта или названии —
укажи это явно. Лучше «предположительно ISO XXXX» чем уверенно неправильный номер.

Промпт 2: Выход на свидетельства (С3)

Область: [ТЕМА].

Какие типы первичных документов и артефактов существуют в этой области?
Интересуют:
- стандарты (ГОСТ, ISO, отраслевые)
- типовые протоколы / отчёты / реестры
- базы данных и публичные реестры
- типовая документация (ТУ, паспорта, сертификаты)

Для каждого типа укажи:
- что это за документ
- кто его создаёт
- где искать (публичный доступ или нет)
- конкретные примеры (названия, номера)

Не включай блоги, статьи и вторичные источники — только первичные артефакты.

ВАЖНО: если не уверен в точном номере стандарта — укажи это явно,
не выдумывай.

Промпты по уровням

Сценарии и типовые задачи (С2):

Область: [ТЕМА].
Я уже знаю: [вставь ключевые термины и границы].

Задача: опиши 10–20 типовых сценариев / задач в этой области.
Для каждого сценария:
- кто пользователь / актор
- какая проблема решается
- что является KPI / мерой успеха
- какие ограничения

Сгруппируй по категориям. Формат: таблица.

Модель влияния:

Область: [ТЕМА].
Контекст: [вставь сценарии].

Задача: построй модель влияния — что на что влияет.
Выдели 3–5 главных «рычагов», определяющих результат.
Для каждого:
- что он определяет
- от чего зависит сам
- как можно на него повлиять

Формат: структурированный текст с иерархией.

Сравнение подходов:

Область: [ТЕМА].
Вопрос: [КОНКРЕТНЫЙ ВОПРОС ВЫБОРА].

Контекст: вот мои критерии сравнения:
[вставь критерии из модели влияния]

Задача: сравни подходы по этим критериям.
Для каждой ячейки таблицы:
- оценка (и краткое обоснование)
- на чём основана: стандарт, исследование, общее знание?
- уровень уверенности: факт / гипотеза / не знаю

ВАЖНО: если не знаешь точного ответа — пиши «не знаю», не выдумывай.

Формат: сравнительная таблица.

Поиск стандартов:

Область: [ТЕМА], контекст: [СТРАНА / РЕГИОН].

Какие стандарты, нормативные документы и регуляторные требования
действуют в этой области?

Интересуют:
- обязательные стандарты (ГОСТ, ISO, отраслевые)
- добровольные стандарты и best practices
- требования к сертификации / лицензированию

Для каждого: номер, название, что регулирует, статус (действующий/устарел).

ВАЖНО: если не уверен в точном номере — укажи это.

Типовые отказы и анти-паттерны:

Область: [ТЕМА].
Контекст: [метод/подход, который рассматриваю].

Задача: опиши типичные типовые отказы / что обычно идёт не так.

Для каждого:
- что ломается
- почему (корневая причина)
- как обнаружить (на что смотреть)
- как предотвратить

Формат: таблица.

Метрики и бенчмарки:

Область: [ТЕМА].
Контекст: [что нужно оценить].

Задача: какие метрики и бенчмарки используются для оценки
эффективности в этой области?

Для каждой метрики:
- что измеряет
- как измеряется (методика)
- какие типичные значения (baseline)
- где найти бенчмарки (источники)

ВАЖНО: если не знаешь конкретных значений — так и напиши.

Мета-промпт: генерация вопросов вместо ответов

Один из самых сильных способов использовать LLM в Призме — просить не ответы, а вопросы:

Я выбираю между [ВАРИАНТ A] и [ВАРИАНТ B] для задачи [ЗАДАЧА].

Не давай мне ответ. Вместо этого:
составь список из 10–15 вопросов, ответы на которые
позволят сделать обоснованный выбор.

Для каждого вопроса укажи:
- где искать ответ (тип источника)
- почему этот вопрос важен для выбора

Почему это работает

LLM не знает реальных данных твоей области, но хорошо знает структуру принятия решений. Вопросы от LLM → поиск ответов в S1–S3 источниках → обоснованный выбор.


Паттерны итеративной работы

Уточнение через контекст

Первый ответ LLM — черновик. Каждый следующий запрос точнее, потому что ты вкладываешь контекст:

Шаг 1: «Расскажи об области X» → получаешь стартовую карту
Шаг 2: «Вот что я уже нашёл: [термины, источники]. Уточни модель с учётом этого»
Шаг 3: «Я обнаружил противоречие: [А] говорит одно, [Б] — другое. Какие вопросы помогут разобраться?»

Правило

Чем больше ты даёшь из уже найденного (термины, границы, критерии, свидетельства), тем точнее ответ. Пустой запрос «расскажи про X» — худший формат.

Верификация через перекрёстные запросы

Чтобы снизить риск галлюцинаций, спроси одно и то же разными способами:

  1. Прямой вопрос: «Какой стандарт регулирует X?»
  2. Обратный вопрос: «Вот стандарт Y — он действительно регулирует X?»
  3. Контрольный вопрос: «Какие стандарты НЕ относятся к X, но часто путаются?»

Если ответы согласуются — выше вероятность, что информация верна. Если расходятся — красный флаг, нужна проверка по первоисточнику.

Генерация гипотез для триангуляции

Я утверждаю, что [УТВЕРЖДЕНИЕ].
Это основано на [ИСТОЧНИК].

Задача:
1. Какие факты подтвердили бы это утверждение?
2. Какие факты опровергли бы его?
3. Где искать и то, и другое?

Не оценивай само утверждение — помоги найти способ его проверить.

LLM с веб-поиском: правило наследования источника

Современные LLM умеют искать в интернете и давать ссылки. Это меняет статус ответа — но не отменяет проверку:

Ситуация Уровень источника
Ответ LLM без ссылок S7 — 🟡 структура / 🔴 факты
Ответ LLM со ссылкой, которую ты не открывал Всё ещё S7 — ссылка может быть нерелевантной, неточно пересказанной или выдуманной
Ответ LLM со ссылкой, которую ты открыл и проверил Уровень самого источника по ссылке (S1–S6) — LLM была просто поисковиком

Правило наследования

Ссылка, добытая LLM, наследует уровень источника, на который указывает, — после того как ты открыл её и убедился, что она действительно подтверждает утверждение. Непроверенная ссылка ничего не наследует: пересказ источника — не источник. В рабочую запись заноси ссылку на первоисточник, а не на диалог с LLM.

Перекрёстные запросы (спросить одно и то же 2–3 способами) снижают риск галлюцинаций, но не заменяют проверку первоисточника: модель может ошибаться согласованно. Согласованность ответов — повод повысить приоритет проверки, а не уверенность.


Правила работы с ответами LLM

  1. Всё от LLM — это 🟡 или 🔴 по умолчанию. Структурная информация (термины, карта области, классификации) — 🟡 гипотеза. Конкретные факты (номера стандартов, даты, числа) — 🔴 пробел, пока не подтверждены свидетельством (S1–S3).

  2. Номера и цифры — проверяй всегда. LLM регулярно путает номера стандартов, даты, числовые значения. Одна ошибка в номере ГОСТа — и ты ссылаешься на несуществующий документ.

  3. Проси «не знаю» вместо выдумки. Добавляй в промпт: «если не знаешь точного ответа — напиши "не знаю"». Это снижает (но не устраняет) галлюцинации.

  4. Вставляй свой контекст. Чем больше ты даёшь из уже найденного, тем точнее ответ. Пустой запрос «расскажи про X» — худший формат.

  5. Используй LLM для вопросов, а не ответов. Вместо «какой метод лучше?» спроси: «какие вопросы нужно задать, чтобы выбрать между методами A и B?»

  6. Итерируй. Первый ответ — черновик. Скорми LLM свои уточнения, найденные свидетельства, противоречия — и попроси переработать.

  7. Один промпт — одна задача. «Составь глоссарий + сравни методы + найди стандарты» в одном запросе → плохой результат по каждому пункту.

  8. Верифицируй перекрёстно. Спроси одно и то же 2–3 разными способами. Расхождения — сигнал к проверке по первоисточнику.


Чеклист верификации ответа LLM

Перед тем как перенести что-то из ответа LLM в рабочую запись:

  • Названия / номера стандартов — проверены в первоисточнике?
  • Числовые значения — подтверждены свидетельством?
  • Термины — совпадают с глоссарием? Нет ли «выдуманных» терминов?
  • Причинно-следственные связи — есть источник?
  • Светофор присвоен? (по умолчанию 🟡, повышается только после верификации)
  • Перекрёстная проверка проведена? (спросил разными способами)