Правила и артефакты¶
Коротко
Семь правил, которые делают методологию рабочей (свидетельства-first, фиксируй выход, не прыгай через уровни, сравнивай через критерии, помечай уверенность, ограничивай время, управляй гипотезами), плюс иерархия источников S1–S7, анти-паттерны и выходные артефакты. Читай перед первым исследованием и возвращайся, когда чувствуешь, что процесс «поплыл».
7 правил, чтобы методология работала¶
1. Свидетельства-first («сначала свидетельства»)¶
Всегда стремись начать с поиска свидетельств (С3) — артефактов, стандартов, протоколов, данных. Свидетельства — якорь достоверности. Если область совсем незнакома — используй протокол холодного старта, но цель та же: как можно быстрее выйти на первичные источники.
2. Всегда фиксируй выход (артефакт) и критерии выхода¶
Без этого исследование превращается в «чтение ради чтения». Каждый уровень завершается конкретным выходом.
3. Не прыгай через уровни¶
У2 (анализ) без У1 (ориентация) = сравниваешь подходы, не понимая области. У3 (валидация) без У2 = проверяешь, не зная что проверять.
Если есть предыдущий опыт
Если ты уже работал с областью и имеешь У1-знания из прошлого опыта — не обязательно проходить полный У1 заново. Но пройди сокращённый У1 (15–30 мин): сверь свою ментальную модель с актуальным состоянием области, проверь, не появились ли новые термины и игроки. Это защищает от эффекта Даннинга — Крюгера — когда кажется, что «я и так понимаю», но ментальная модель устарела или имеет слепые пятна.
4. Сравнения делай через критерии¶
На У2 любое «подход A лучше подхода B» должно сопровождаться: по какому критерию, в каком сценарии, с какими ограничениями.
5. Помечай уровень уверенности¶
Каждое утверждение — это либо:
| Метка | Значение | Что делать | |
|---|---|---|---|
| [Ф] Факт | Подтверждён свидетельством (стандарт, протокол, данные) | Можно опираться | |
| [Г] Гипотеза | Логичное предположение, но без прямого свидетельства | Нужна проверка | |
| [П] Пробел | Не знаем | Нужно добыть |
Светофор
→ опирайся,
→ проверь,
→ добудь. Чем больше
в рабочей записи — тем надёжнее выводы.
Иерархия источников¶
Как определить, какой уровень уверенности ставить. Чем выше источник в иерархии — тем выше доверие по умолчанию:
flowchart TD
S1["🟢 S1 — Нормативный первичный\nГОСТ, ISO, закон, патент"]
S2["🟢 S2 — Эмпирический первичный\nПротокол, паспорт, логи, телеметрия"]
S3["🟢🟡 S3 — Аналитический рецензируемый\nPeer-reviewed статья, мета-анализ"]
S4["🟡 S4 — Экспертный документированный\nДокументация вендора, RFC, whitepaper"]
S5["🟡 S5 — Экспертное мнение\nДоклад, ответ на форуме"]
S6["🟡🔴 S6 — Вторичный пересказ\nБлог, СМИ, видео, маркетинг"]
S7["🟡🔴 S7 — AI-генерированный\nОтвет LLM без источника"]
S1 --> S2 --> S3 --> S4 --> S5 --> S6 --> S7
style S1 fill:#4caf50,color:#fff
style S2 fill:#4caf50,color:#fff
style S3 fill:#8bc34a,color:#000
style S4 fill:#ff9800,color:#fff
style S5 fill:#ff9800,color:#fff
style S6 fill:#ff5722,color:#fff
style S7 fill:#f44336,color:#fff | Уровень | Тип источника | Примеры | По умолчанию |
|---|---|---|---|
| S1 | Нормативный первичный | ГОСТ, ISO, закон, регламент, патент | |
| S2 | Эмпирический первичный | Протокол испытаний, паспорт партии, лабораторный отчёт, телеметрия, логи | |
| S3 | Аналитический рецензируемый | Научная статья (peer-reviewed), систематический обзор, мета-анализ | |
| S4 | Экспертный документированный | Документация вендора, whitepaper, RFC, гайд отраслевой ассоциации | |
| S5 | Экспертное мнение | Интервью с практиком, доклад на конференции, верифицированный ответ на форуме | |
| S6 | Вторичный пересказ | Блог-пост, статья в СМИ, видео-обзор, маркетинговый материал | |
| S7 | AI-генерированный | Ответ LLM без ссылки на первоисточник |
S7: когда , когда
гипотеза — структурная информация: термины, карта области, типы документов, общие классификации. LLM хорошо воспроизводит структуру знания из обучающих данных.
пробел — конкретные факты: номера стандартов, даты, числовые значения, названия организаций, причинно-следственные связи. LLM регулярно галлюцинирует в деталях. В любом случае — без подтверждения первоисточником не повышается выше
.
Поправки к умолчаниям
- Источник устарел (>5 лет в быстро меняющейся области) → понизить на один уровень
- Вендор пишет о собственном продукте → понизить на один уровень (конфликт интересов)
- Два независимых источника одного уровня совпадают → повысить уверенность
- Источник подтверждает то, что ты хочешь услышать → не повод для
, нужна триангуляция
6. Ограничивай время¶
Каждому уровню — свой лимит времени. Если за отведённое время критерии выхода не достигнуты — фиксируешь пробелы и двигаешься дальше (или пересматриваешь целевой уровень в брифе). Подробнее — в работе при нехватке времени.
7. Управляй гипотезами¶
Исследование ведётся не «вообще», а для проверки конкретных гипотез. Стартовые гипотезы — в брифе. На каждом уровне обновляй трекер гипотез: подтвердил, опроверг, появилась новая.
Типичные ошибки (анти-паттерны)¶
| # | Ошибка | Как проявляется | Противоядие |
|---|---|---|---|
| 1 | Бесконечный глоссарий | Сидишь на У1 неделю, собирая «ещё один термин». Лимит времени давно вышел. | Глоссарий — не энциклопедия. 30–80 терминов достаточно. Новые добавляй итерациями. |
| 2 | Блогер = эксперт | Блог-пост или видео принят как | Проверь по иерархии источников (S1–S7). Блог-пост — S6, по умолчанию |
| 3 | С3 пропущен | «Скучно искать стандарты, проще почитать статьи.» Итог — пересказы без фактов. | Свидетельства-first — не рекомендация, а правило. Без свидетельств нет якоря достоверности. |
| 4 | Линейный марш | Боишься «откатиться» — идёшь только вперёд, игнорируя новые термины и противоречия. | Итерации — не откат, а углубление. Фиксируй каждый возврат. Спираль — норма, не ошибка. |
| 5 | Кроличья нора | Один интересный источник уводит в смежную область. Через 2 часа ты далеко от задачи. | Проверь по брифу: это внутри границ или снаружи? Если снаружи — зафиксируй и вернись. Правило 15 минут: уходя в новую подтему, ставь таймер; если через 15 минут она не привязана к критерию из брифа — стоп. |
| 6 | Единственный источник | Вся картина построена на одном вендоре / авторе / стандарте. | Минимум 2–3 независимых источника для ключевых утверждений. Используй триангуляцию. |
| 7 | Ложная уверенность | Всё помечено | Светофор привязан к иерархии источников, а не к ощущению «я в этом уверен». Какое свидетельство стоит за каждым |
| 8 | Гипотеза забыта | Начал с гипотезы, но увлёкся сбором информации и забыл её проверить. | Обновляй трекер гипотез на каждом уровне. Гипотеза — компас исследования. |
Контроль качества исследования¶
Перед оформлением итоговых артефактов пройди финальную проверку. Цель — выявить слепые пятна и убедиться, что исследование достаточно для принятия решения.
Чеклист самопроверки¶
- Покрытие линз: все три С заполнены на целевом уровне? Нет ли линзы, которую ты «проскочил»?
- Баланс светофора: какая доля утверждений
,
,
? Если больше половины
— исследование сырое
- Разнообразие источников: для ключевых утверждений есть минимум 2–3 независимых источника? Нет ли перекоса в одного автора/вендора?
- Свежесть данных: источники актуальны для области? Нет ли критических данных старше 5 лет в быстро меняющейся области?
- Конфликт интересов: нет ли утверждений, основанных только на источниках с конфликтом интересов (вендор о своём продукте)?
- Трекер гипотез: все стартовые гипотезы проверены? Критические
переведены в
или
?
- Границы области: выводы остаются внутри границ, заданных в брифе? Не вышли ли мы за рамки?
- Тест на остановку: если любой оставшийся
окажется неверным — изменит ли это решение?
Типичные слепые пятна¶
| Слепое пятно | Как проверить |
|---|---|
| Confirmation bias | Искал ли ты опровержения, а не только подтверждения? |
| Survivorship bias | Видишь только успешные кейсы — а что с неудачными? |
| Один домен источников | Все источники из одной страны / одного сектора / одного десятилетия? |
| Не проверен «очевидный» факт | То, что «все знают» — подтверждено свидетельством? |
Регламент для примеров документации
Этот же чеклист — регламент качества для примеров самой Призмы: каждый пример прогоняется через него перед публикацией. Особое внимание — пунктам «покрытие линз» и «светофор привязан к источникам»: обучающий пример, нарушающий правила, учит нарушать правила.
Типовые выходные артефакты (итоговый пакет)¶
По завершении исследования (до целевого уровня) формируется набор:
| # | Артефакт | Из какого уровня |
|---|---|---|
| 1 | Карта области (one-pager) | У1 |
| 2 | Глоссарий / тезаурус | У1 |
| 3 | Карта источников и свидетельств | У1 |
| 4 | Каталог типовых задач | У1 |
| 5 | Модель влияния (что на что влияет) | У1 |
| 6 | Сравнительная матрица подходов | У2 |
| 7 | Список стандартов / ограничений / рисков | У2 |
| 8 | KPI / метрики / чеклист проверки | У3 |
| 9 | Каталог типовых отказов / анти-паттернов | У3 |
| 10 | Чеклист доказательств | У2–У3 |
| 11 | Трекер гипотез (итоговый) | Сквозной |
| 12 | Записка решения (вариант + обоснование + pre-mortem + условия пересмотра) | Шаг 6 |
Методология пройдена. Теперь можно применять: