Призма + LLM¶
Как использовать LLM (ChatGPT, Claude, Gemini и др.) в рамках методологии Призма — чтобы модель давала полезный результат, а не «похожий на правду» текст.
Главное правило¶
LLM — ускоритель, а не замена
Модель хорошо генерирует гипотезы () и помогает найти направление поиска, но не производит факты (
). Любой ответ LLM без ссылки на проверяемый первоисточник — это
гипотеза или
пробел, пока не подтверждён свидетельством.
Где LLM полезна, а где опасна¶
| Задача | Польза | Почему |
|---|---|---|
| Холодный старт: стартовый словарь С1 (глоссарий, карта области) | Идеальная точка входа — быстро даёт стартовую карту: термины, синонимы, структуру | |
| С3: поиск типов свидетельств | Хорошо подсказывает, какие стандарты, реестры и базы данных существуют | |
| У1: генерация сценариев и типовых задач | Хорошо перечисляет типовые задачи, роли, pain points | |
| У1: модель влияния | Может предложить структуру, но причинно-следственные связи нужно верифицировать | |
| У2: сравнение подходов | Даёт первичное сравнение, но оценки нужно проверять по S1–S3 | |
| У2: поиск стандартов | Хорошо знает названия и номера стандартов (но может галлюцинировать!) | |
| У3: типовые отказы, анти-паттерны | Хорошо собирает «что обычно ломается» из обучающих данных | |
| Генерация вопросов (мета-промпт) | Лучший способ использования — просить не ответы, а вопросы | |
| Проверка конкретных фактов | Может уверенно врать. Всегда проверяй по первоисточнику | |
| Генерация числовых данных | Часто выдумывает цифры. Никогда не бери числа из LLM без проверки |
LLM для холодного старта¶
Когда область полностью незнакома, LLM — лучший инструмент для первых 30 минут:
Промпт 1: Стартовая карта области¶
Я исследую область [ТЕМА] с нуля и не знаю ни одного термина.
Задача: составь стартовую карту области:
1. Глоссарий из 20–30 ключевых терминов (определение + синонимы на русском и английском)
2. Карта области: из каких подсистем состоит, какие роли/акторы, где границы
3. Типы первичных документов и артефактов, существующих в этой области
(стандарты, протоколы, реестры, базы данных — не блоги и статьи)
Формат: таблица для терминов, структурированный текст для карты.
Не пиши вводных фраз, сразу к делу.
ВАЖНО: если не уверен в точном номере стандарта или названии —
укажи это явно. Лучше «предположительно ISO XXXX» чем уверенно неправильный номер.
Промпт 2: Выход на свидетельства (С3)¶
Область: [ТЕМА].
Какие типы первичных документов и артефактов существуют в этой области?
Интересуют:
- стандарты (ГОСТ, ISO, отраслевые)
- типовые протоколы / отчёты / реестры
- базы данных и публичные реестры
- типовая документация (ТУ, паспорта, сертификаты)
Для каждого типа укажи:
- что это за документ
- кто его создаёт
- где искать (публичный доступ или нет)
- конкретные примеры (названия, номера)
Не включай блоги, статьи и вторичные источники — только первичные артефакты.
ВАЖНО: если не уверен в точном номере стандарта — укажи это явно,
не выдумывай.
Промпты по уровням¶
Сценарии и типовые задачи (С2):
Область: [ТЕМА].
Я уже знаю: [вставь ключевые термины и границы].
Задача: опиши 10–20 типовых сценариев / задач в этой области.
Для каждого сценария:
- кто пользователь / актор
- какая проблема решается
- что является KPI / мерой успеха
- какие ограничения
Сгруппируй по категориям. Формат: таблица.
Модель влияния:
Сравнение подходов:
Область: [ТЕМА].
Вопрос: [КОНКРЕТНЫЙ ВОПРОС ВЫБОРА].
Контекст: вот мои критерии сравнения:
[вставь критерии из модели влияния]
Задача: сравни подходы по этим критериям.
Для каждой ячейки таблицы:
- оценка (и краткое обоснование)
- на чём основана: стандарт, исследование, общее знание?
- уровень уверенности: факт / гипотеза / не знаю
ВАЖНО: если не знаешь точного ответа — пиши «не знаю», не выдумывай.
Формат: сравнительная таблица.
Поиск стандартов:
Область: [ТЕМА], контекст: [СТРАНА / РЕГИОН].
Какие стандарты, нормативные документы и регуляторные требования
действуют в этой области?
Интересуют:
- обязательные стандарты (ГОСТ, ISO, отраслевые)
- добровольные стандарты и best practices
- требования к сертификации / лицензированию
Для каждого: номер, название, что регулирует, статус (действующий/устарел).
ВАЖНО: если не уверен в точном номере — укажи это.
Типовые отказы и анти-паттерны:
Область: [ТЕМА].
Контекст: [метод/подход, который рассматриваю].
Задача: опиши типичные типовые отказы / что обычно идёт не так.
Для каждого:
- что ломается
- почему (корневая причина)
- как обнаружить (на что смотреть)
- как предотвратить
Формат: таблица.
Метрики и бенчмарки:
Область: [ТЕМА].
Контекст: [что нужно оценить].
Задача: какие метрики и бенчмарки используются для оценки
эффективности в этой области?
Для каждой метрики:
- что измеряет
- как измеряется (методика)
- какие типичные значения (baseline)
- где найти бенчмарки (источники)
ВАЖНО: если не знаешь конкретных значений — так и напиши.
Мета-промпт: генерация вопросов вместо ответов¶
Один из самых сильных способов использовать LLM в Призме — просить не ответы, а вопросы:
Я выбираю между [ВАРИАНТ A] и [ВАРИАНТ B] для задачи [ЗАДАЧА].
Не давай мне ответ. Вместо этого:
составь список из 10–15 вопросов, ответы на которые
позволят сделать обоснованный выбор.
Для каждого вопроса укажи:
- где искать ответ (тип источника)
- почему этот вопрос важен для выбора
Почему это работает
LLM не знает реальных данных твоей области, но хорошо знает структуру принятия решений. Вопросы от LLM → поиск ответов в S1–S3 источниках → обоснованный выбор.
Паттерны итеративной работы¶
Уточнение через контекст¶
Первый ответ LLM — черновик. Каждый следующий запрос точнее, потому что ты вкладываешь контекст:
Шаг 1: «Расскажи об области X» → получаешь стартовую карту
Шаг 2: «Вот что я уже нашёл: [термины, источники]. Уточни модель с учётом этого»
Шаг 3: «Я обнаружил противоречие: [А] говорит одно, [Б] — другое. Какие вопросы помогут разобраться?»
Правило
Чем больше ты даёшь из уже найденного (термины, границы, критерии, свидетельства), тем точнее ответ. Пустой запрос «расскажи про X» — худший формат.
Верификация через перекрёстные запросы¶
Чтобы снизить риск галлюцинаций, спроси одно и то же разными способами:
- Прямой вопрос: «Какой стандарт регулирует X?»
- Обратный вопрос: «Вот стандарт Y — он действительно регулирует X?»
- Контрольный вопрос: «Какие стандарты НЕ относятся к X, но часто путаются?»
Если ответы согласуются — выше вероятность, что информация верна. Если расходятся — красный флаг, нужна проверка по первоисточнику.
Генерация гипотез для триангуляции¶
Я утверждаю, что [УТВЕРЖДЕНИЕ].
Это основано на [ИСТОЧНИК].
Задача:
1. Какие факты подтвердили бы это утверждение?
2. Какие факты опровергли бы его?
3. Где искать и то, и другое?
Не оценивай само утверждение — помоги найти способ его проверить.
LLM с веб-поиском: правило наследования источника¶
Современные LLM умеют искать в интернете и давать ссылки. Это меняет статус ответа — но не отменяет проверку:
| Ситуация | Уровень источника |
|---|---|
| Ответ LLM без ссылок | S7 — |
| Ответ LLM со ссылкой, которую ты не открывал | Всё ещё S7 — ссылка может быть нерелевантной, неточно пересказанной или выдуманной |
| Ответ LLM со ссылкой, которую ты открыл и проверил | Уровень самого источника по ссылке (S1–S6) — LLM была просто поисковиком |
Правило наследования
Ссылка, добытая LLM, наследует уровень источника, на который указывает, — после того как ты открыл её и убедился, что она действительно подтверждает утверждение. Непроверенная ссылка ничего не наследует: пересказ источника — не источник. В рабочую запись заноси ссылку на первоисточник, а не на диалог с LLM.
Перекрёстные запросы (спросить одно и то же 2–3 способами) снижают риск галлюцинаций, но не заменяют проверку первоисточника: модель может ошибаться согласованно. Согласованность ответов — повод повысить приоритет проверки, а не уверенность.
Правила работы с ответами LLM¶
-
Всё от LLM — это
или
по умолчанию. Структурная информация (термины, карта области, классификации) —
гипотеза. Конкретные факты (номера стандартов, даты, числа) —
пробел, пока не подтверждены свидетельством (S1–S3).
-
Номера и цифры — проверяй всегда. LLM регулярно путает номера стандартов, даты, числовые значения. Одна ошибка в номере ГОСТа — и ты ссылаешься на несуществующий документ.
-
Проси «не знаю» вместо выдумки. Добавляй в промпт: «если не знаешь точного ответа — напиши "не знаю"». Это снижает (но не устраняет) галлюцинации.
-
Вставляй свой контекст. Чем больше ты даёшь из уже найденного, тем точнее ответ. Пустой запрос «расскажи про X» — худший формат.
-
Используй LLM для вопросов, а не ответов. Вместо «какой метод лучше?» спроси: «какие вопросы нужно задать, чтобы выбрать между методами A и B?»
-
Итерируй. Первый ответ — черновик. Скорми LLM свои уточнения, найденные свидетельства, противоречия — и попроси переработать.
-
Один промпт — одна задача. «Составь глоссарий + сравни методы + найди стандарты» в одном запросе → плохой результат по каждому пункту.
-
Верифицируй перекрёстно. Спроси одно и то же 2–3 разными способами. Расхождения — сигнал к проверке по первоисточнику.
Чеклист верификации ответа LLM¶
Перед тем как перенести что-то из ответа LLM в рабочую запись:
- Названия / номера стандартов — проверены в первоисточнике?
- Числовые значения — подтверждены свидетельством?
- Термины — совпадают с глоссарием? Нет ли «выдуманных» терминов?
- Причинно-следственные связи — есть источник?
- Светофор присвоен? (по умолчанию
, повышается только после верификации)
- Перекрёстная проверка проведена? (спросил разными способами)