Оценивать свою работу без заказчика и рынка можно — по критериям, выведенным из назначения работы, с весами по цене ошибки и шкалой, где каждый уровень описан наблюдаемым признаком. Итог процедуры — не вердикт «хорошо или плохо», а число от 1 до 5, список правок и понимание, какие из них дадут больше всего.
Метод занимает около 40 минут и не требует ни эксперта, ни оплаты. Шесть-семь критериев, сумма весов 100, оценка каждого от 1 до 5, затем второй проход через 48 часов по обезличенному файлу. Расхождение между проходами больше одного балла означает, что критерий описан двусмысленно, а не что работа изменилась.
Ниже — таблица с дескрипторами, расчёт на учебном примере, правило расхождения и границы, где шкала врёт. Начнём с того, без чего любая оценка превращается в спор о вкусе.
Назначение работы важнее вкуса
Любая работа делается для чего-то: текст — чтобы объяснить или убедить, иллюстрация — чтобы передать состояние или показать устройство, видео — чтобы удержать и довести до действия. Пока это «что-то» не записано одним предложением, критерии берутся из головы и меняются от настроения. Запишите назначение в форме «после этой работы читатель сможет…» — и половина критериев появится сама.
Пример: обложка статьи должна не «быть красивой», а остановить прокрутку и обещать тему. Из этого сразу следуют проверяемые свойства: читаемость в ленте шириной 300 пикселей, контраст с фоном, обещание темы в первых двух словах, отсутствие визуального шума. Ни одно из них не требует спорить о вкусе.
Если назначение сформулировать не удаётся, это уже сигнал: работа либо делает слишком много, либо не делает ничего конкретного. Но назначение даёт только список свойств; чтобы список стал измеримым, каждому свойству нужен дескриптор — описание того, что видно на каждом уровне.
Шесть критериев, которые покрывают большинство форматов
Сетка ниже — не догма, а стартовая рамка. Для текста, иллюстрации, ролика или интерфейса она работает с небольшой заменой формулировок; лишние критерии лучше убрать, чем оставить «на всякий случай».
Критерий (вес) | Уровень 1 | Уровень 3 | Уровень 5 | Чем подтвердить |
|---|---|---|---|---|
Соответствие задаче (25) | Работа решает другую задачу | Решает задачу частично, с оговоркой | Задачу можно сформулировать по работе без подсказки | Пересказ назначения другим человеком |
Ясность (20) | Главное не найти за 5 секунд | Находится после подсказки | Находится сразу, без контекста | Тест пяти секунд и пересказ |
Точность (15) | Есть утверждение без опоры | Опора есть, но вторичная | Каждое утверждение подтверждено первоисточником | Список утверждений и ссылок |
Целостность (15) | Части не связаны | Связь есть, но провисает в середине | Каждая часть ведёт к следующей | План, раскадровка, проверка стыков |
Ремесло (15) | Дефекты видны без увеличения | Дефекты заметны при разборе | Дефектов нет на увеличении 100% | Зум, вычитка, проверка краёв |
Тон и уместность (10) | Тон спорит с аудиторией или жанром | Тон ровный, но без адресата | Тон совпадает с ситуацией чтения | Сравнение с двумя-тремя работами жанра |
Для учебного примера дальше используются оценки 4, 3, 4, 4, 5 и 3 в том же порядке. Это не измерение реальной работы, а прозрачные входы, чтобы расчёт можно было повторить.
У сетки есть скрытая проблема: одинаковый вес у всех критериев прячет провал в том, что для этой работы важнее всего. Поэтому веса нельзя оставлять равными.
Вес — это цена ошибки, а не важность
Вес отвечает не на вопрос «что важнее вообще», а на вопрос «что дороже стоит, если провалится именно здесь». Для обложки статьи провал читаемости в ленте убивает всё остальное, поэтому «соответствие задаче» получает 25, а «тон» — 10. Для лирического текста вес сместится: тон и целостность станут дороже, точность фактов — дешевле. Сумма весов должна быть 100, иначе взвешенный балл нельзя сравнивать между работами.
Взвешенный балл считается так: сумма (оценка × вес) / 100. При оценках 4, 3, 4, 4, 5, 3 и весах 25, 20, 15, 15, 15, 10 получается (100 + 60 + 60 + 60 + 75 + 30) / 100 = 3,85. Округление до 3,9 не меняет решения, но в журнале лучше хранить два знака.
Равные веса дали бы (4 + 3 + 4 + 4 + 5 + 3) / 6 = 3,83 — почти то же число. Разница появляется не в сумме, а в том, что взвешенная запись показывает, куда смотреть: провал по «ясности» стоит 20 × (5 − 3) = 40 баллов из 500 возможных, провал по «тону» — 10 × 2 = 20. Одинаковый вес эту разницу скрывает, и правка начинается не с того.
Даже честный вес не спасает, если уровень 3 у двух людей означает разное. Поэтому следующий шаг — дескрипторы.
Дескриптор превращает «хорошо» в наблюдаемый признак
Дескриптор — это описание того, что видно на уровне 1, 3 и 5, а не прилагательное. «Ясность 5» ничего не значит; «главная мысль пересказывается без подсказки и называется следующий шаг» — значит. В педагогике такую конструкцию называют рубрикой: критерии, дескрипторы и уровни освоения. Carnegie Mellon описывает рубрику именно как три части, а не как оценку по ощущению.
Обзор 75 исследований рубрик (Jonsson & Svingby, 2007) даёт два вывода, важных здесь. Аналитические, привязанные к конкретной задаче рубрики с примерами повышают согласованность оценок — в том числе между разными оценщиками и повторными проходами. Но сама рубрика не гарантирует валидность: можно согласованно измерять не то, что важно. Второй вывод — предохранитель от самообмана: если критерий не связан с назначением работы, аккуратная шкала дисциплинированно измеряет пустоту.
Согласованность — половина дела. Вторая половина в том, что вы знаете, чья это работа, и это меняет оценку даже при хорошей рубрике.
Слепой проход: убрать имя, дату и контекст
В исследовании Голдин и Раус (2000) оркестры переходили на прослушивания за ширмой. По оценке авторов, переход к слепым прослушиваниям объясняет от 30% до 55% роста доли женщин среди новых наймов и от 25% до 46% роста их доли в оркестрах с 1970 года. Это не про творчество и не про вашу работу; это про то, что имя и контекст меняют суждение даже у профессионалов, которые слушают только звук.
Технически слепой проход простой: экспортируйте работу в файл без имени автора и метаданных, назовите его 01, 02, 03 и перемешайте с двумя чужими работами того же жанра. Отложите на 48 часов: за это время вы перестаёте помнить, где какая правка, и возвращаетесь к работе как к чужой. Оценивайте по тем же дескрипторам, не подглядывая в первый результат.
Слепой проход всё равно опирается на шкалу, а шкала — на референсы. Если референсы подобраны плохо, слепота только усилит ошибку.
Референсы задают диапазон, а не эталон
Нужны три работы, а не тридцать: сильная работа в вашем жанре, средняя, которую вы считаете нормой, и работа вне жанра с нужным качеством — например, типографика плаката для оценки вёрстки лендинга. Сравнивайте не «нравится или нет», а по критериям: где у референса уровень 5 по ясности, чем он это доказывает, что из этого применимо к вашей работе. Алгоритмическая лента для этого плоха: она подбирает похожее, а не показательное.
Разбирать чужую работу, не копируя её, — отдельный навык; на сайте есть разбор «Референсы без копирования».
Когда диапазон есть, можно проверить главное — устойчивость собственной оценки.
Два прохода и правило одного балла
Первый проход — 10–15 минут, второй — 5–10, между ними 48 часов. Сравните оценки по каждому критерию. Если расхождение нигде не больше одного балла, шкала достаточно устойчива для решения. Если хотя бы по одному критерию разница 2 балла и больше, проблема не в работе, а в дескрипторе: он допускает два прочтения. Перепишите дескриптор, добавьте наблюдаемый признак и проведите третий проход только по спорным критериям.
В учебном примере первый проход дал 3,85, слепой — 3,4. Разница 0,45 сама по себе не повод переделывать; повод — два критерия, где оценки разошлись на 2 балла: «точность» (4 против 2) и «тон» (3 против 5). После переписывания дескрипторов эти критерии переоцениваются, а остальные остаются как есть.
Устойчивая шкала даёт число. Дальше нужно правило, по которому число превращается в решение.
Порог 3,5 и жёсткий пол
Правило простое: публиковать или ставить в портфолио можно, если взвешенный балл не ниже 3,5 и ни один критерий не ниже 2. Порог 3,5 — это «выше середины с запасом»; жёсткий пол нужен потому, что средний балл маскирует провал: работа с «единицей» по назначению и «пятёрками» по ремеслу может дать 4,0 и всё равно не решать задачу.
Если балл 3,0–3,49, не переделывайте всё. Посчитайте цену ошибки для каждого критерия: вес × (5 − оценка). В примере «ясность» стоит 20 × 2 = 40, «соответствие задаче» — 25 × 1 = 25, «тон» — 10 × 2 = 20, «точность» — 15 × 1 = 15. Сначала чинится критерий с наибольшей ценой ошибки — «ясность», затем «соответствие задаче». После двух правок пересчитываются только изменённые критерии; остальные оценки не трогают, иначе сравнение с первым проходом теряет смысл.
Если балл ниже 3,0, возвращаться к концепции: шкала показывает не «плохо сделано», а «выбрано не то решение». Готовую работу можно поставить в портфолио и с баллом 3,2, если она честно показывает роль, — но тогда это решение о портфолио, а не о качестве.
Числа дают решение, но не отменяют границ метода. Вот где шкала начинает врать.
Где метод врёт
Первая граница — валидность. Рубрика делает оценку согласованной, но не гарантирует, что критерии схватывают суть; об этом прямо говорят авторы обзора. Если все шесть критериев описывают ремесло и ни один — смысл, вы получите точный балл за хорошо сделанную пустую вещь. Проверка одна: каждый критерий должен выводиться из назначения, а не из привычного чек-листа.
Вторая — эмоция и эксперимент. Для работы, задача которой удивить, критерии из назначения могут наказывать новизну. Оставьте «оригинальность» отдельным критерием с весом 10–15 и ведите экспериментальные работы по другой траектории: у них цель — обучение, а не публикация.
Третья — цена и рынок. Шкала не отвечает, сколько работа стоит: для этого нужен расчёт времени, расходов, прав и риска, а не оценка качества. Четвёртая — реакция аудитории: единственный настоящий тест, который шкала не заменяет. Пятая — смещение самооценки: слепой проход его уменьшает, но не убирает; один внешний оценщик с той же рубрикой полезнее трёх без неё.
Про цену на сайте есть отдельный разбор «Как назначать цену за творческую работу», а про реакцию людей — материал «Как принимать обратную связь и не переделывать проект бесконечно». Шкала отвечает только на вопрос «решает ли работа свою задачу и на каком уровне» — и в этих границах она полезна.
Границы очерчены; дальше — процедура, которую можно повторить на следующей работе.
Чек-лист: оценить работу за 40 минут
Записать назначение работы одним предложением (3 минуты).
Выбрать 5–7 критериев и убрать всё, что нельзя подтвердить наблюдаемым признаком (4 минуты).
Раздать веса, сумма 100; вес равен цене ошибки, а не общему ощущению важности (3 минуты).
Написать дескрипторы 1, 3 и 5 для каждого критерия (10 минут).
Первый проход: оценка и доказательство по каждому критерию (10 минут).
Экспортировать работу без метаданных, перемешать с двумя чужими работами и отложить на 48 часов.
Слепой проход по тем же дескрипторам (5 минут).
Сравнить проходы: расхождение больше одного балла — переписать дескриптор, а не работу (3 минуты).
Применить порог 3,5 и жёсткий пол; выписать две правки с наибольшей ценой ошибки (2 минуты).
Обсуждение
Комментарии
Обсуждение загрузится при приближении к разделу.