В условиях постоянных изменений все больше организаций стали применять Agile-практики. Зачастую, они фокусируются на постоянном улучшении процессов и активностях, забывая о реальных целях — увеличении ценности поставляемого продукта и бизнес результатах.
Введение
Agile – это всего лишь средство для достижения цели, а не сама цель. Когда организации забывают об этом, менеджеры начинают задавать вполне разумные вопросы, направленные на измерение процесса, а не результата. Примерами таких вопросов могут быть:
рис.1. Примеры вопросов
Но дело в том, что эти вопросы не помогают организации увеличить ее способность поставлять больше ценности. Например, отслеживание скорости работы команды разработки ничего не говорит о том насколько выполненные задачи полезны для пользователей.
Без измерения ценности результативность любой Agile-практики основана лишь на интуиции и предположении. В этой статье рассмотрен подход Evidence-Based Management (EBM), который позволяет измерить поставляемую ценность. Данный подход дает возможность организации принимать рациональные решения, основанные на фактах, и учитывает эмпирические данные и логику.
EBM
Подход, который основан на фактах, является эмпирическим. Он предоставляет организациям возможность измерять поставляемую ценность и ресурсы ее достижения для выявления потенциальных улучшений.
рис.2. Четыре сферы EBM
EBM состоит из четырех сфер. Каждая сфера либо фокусируется на текущей ценности, либо на возможности ее создать. Организации, которые не берут во внимание все четыре сферы, с малой долей вероятности могут поставлять долгосрочную ценность.
Текущая ценность – включает в себя поставляемую ценность, удовлетворение заинтересованных лиц и сотрудников.
Время реализации – своевременное удовлетворение рыночного спроса.
Готовность к инновациям – способность создавать и поддерживать высокотехнологичные решения.
Нереализованная ценность – ценность, которую может принести продукт спустя время.
Current Value/Текущая ценность
Показывает ценность, которую продукт поставляет пользователям на данный момент.
Целью определения данного показателя является максимизация ценности, которую организация поставляет конечным пользователям и заинтересованным лицам в настоящее время. Эта ценность касается только того, что есть прямо сейчас, а не того, что может быть в будущем.
Необходимо постоянно отвечать на следующие вопросы для измерения этого показателя:
- Насколько счастливы клиенты и пользователи на данный момент? Их уровень счастья увеличивается или снижается?
- Насколько счастливы ваши сотрудники? Их уровень счастья увеличивается или снижается?
- Насколько счастливы ваши инвесторы и заинтересованные лица? Их уровень счастья увеличивается или снижается?
Некоторые вещи могут увеличить текущую ценность: повышение usability, улучшение условий обслуживания и т.д. Важным аспектом являются сотрудники организации, которые знают как сохранять, поддерживать и повышать ценность. Поэтому так важно отслеживать уровень их счастья.
Time-to-Market/Время реализации
Определяет способность организации быстро поставлять новый функционал, сервисы или продукты.
Целью данного показателя является измерение времени, необходимого организации для поставки ценности. Время реализации позволяет понять частоту поставок.
Необходимо постоянно отвечать на следующие вопросы для измерения этого показателя:
- Как быстро организация может получить обратную связь о новом функционале?
- Как быстро вы можете узнать о новой информации и адаптироваться?
- Как быстро вы можете поставить новую ценность пользователям?
Есть множество факторов, способных сократить время реализации. Например, совершенствование процесса автоматизации, устранение технического долга, все что сокращает время ожидания или время на исполнение работы.
Ability to Innovate/Готовность к инновациям
Определяет способность организации поставлять новый функционал, который в большей степени удовлетворяет потребности пользователей.
Целью определения Готовности к инновациям является максимизация возможности реализовывать новые инновационные решения.
Необходимо постоянно отвечать на следующие вопросы для измерения этого показателя:
- Что мешает организации поставлять инновационные решения?
- Что мешает пользователям получать выгоду от этих инноваций?
Например, препятствием на пути к инновациям могут стать: большие временные затраты на исправление дефектов и устранение технического долга, необходимость поддерживать множество версий продукта, веток кода и запутанной монолитной архитектуры, тяжелый процесс разработки. Чем больше у нас подобного, тем больше тратится денег и времени на поддержку продукта. Следовательно, становится меньше ресурсов на реализацию инноваций. Все что мешает пользователям получать выгоду от инноваций также является серьезным препятствием.
Unrealized Value/Нереализованная ценность
Определяет потенциальную ценность, которую может принести продукт.
Целью определения данного показателя является максимизация нереализованной ценности.
Необходимо постоянно отвечать на следующие вопросы для измерения этого показателя:
- Можно ли уже сейчас создать дополнительную ценность для организации на текущем или другом рынке?
- Стоит ли реализация дополнительной ценности потенциальных рисков и усилий?
- Необходимы ли дополнительные инвестиции?
Если у вас нет представления о всей деятельности компании, то ответить на эти вопросы довольно сложно. Так как ресурсы могут быть ограничены, инвестиции в один продукт подразумевают снижение доступных ресурсов для другого.
Организация должна учитывать не только реализованную ценность, но и нереализованную. Например, если продукт на данный момент приносит мало ценности, но имеет огромный потенциал на рынке, это не значит, что он невыгоден. При должных инвестициях его потенциал может раскрыться и продукт принесет значительную прибыль. Напротив, если у продукта большая нереализованная ценность, но низкий потенциал на рынке, то инвестиции в него не окупятся.
*Перечень основных метрик для каждой сферы приведен в приложении.
Ведущие и запаздывающие индикаторы
Ведущие индикаторы быстро реагируют на изменения в основных показателях, а запаздывающие индикаторы могут обнаружить изменения только спустя какое-то время. Многие индикаторы не являются ни ведущими, ни запаздывающими, но они становятся таковыми в зависимости от частоты измерения. Например, когда доход измеряется каждый день, он является ведущим индикатором. Как только измерения начинают проводиться ежемесячно или реже, доход становится запаздывающим индикатором.
Меры удовлетворенности сотрудников измеряются ведущими и запаздывающими индикаторами. Например, ведущим индикатором в таком случае может быть всплывающее окно с вопросом: как твоё настроение после рабочего дня?
С помощью ведущих индикаторов можно определить вероятный результат запаздывающих индикаторов. Успешная сборка и интеграция являются прогнозом стабильного релиза.
Запаздывающие индикаторы такие как доход на одного сотрудника, ROI, рентабельность продукта и другие в конечном отражают общую метрику: в какой степени продукт создаёт ценность.
Индикаторы не всегда корректно отражают реальную ситуацию. Необходимо понимать корневые причины изменений. Для этого следует провести анализ, в ходе которого могут появиться новые инсайты, эксперименты.
Как улучшить использование EBM
«Если вы не знаете куда идёте, то любая дорога сможет привести вас туда.» — Льюис Кэрролл
Измеряя все четыре сферы, можно сразу обнаружить возможности для улучшения. Использование более систематического подхода позволяет организациям постоянно повышать поставляемую ценность. Существует цикл обучения, чтобы производить настоящие и продолжительные улучшения.
- Определите ценность
Первым шагом является определение ценности с помощью основных метрик. Процесс определения и выравнивания основных метрик может быть ценным для организации, т.к. он может создавать прозрачность вокруг того, что оптимизируется.
- Измерение основных метрик
Следующим шагом является установка начальных значений или базового показателя для интересующих метрик. Данный шаг обеспечивает первоначальное представление о жизнеспособности продукта и способности организации поставлять продукт. Это помогает выявить сильные и слабые стороны организации.
- Выберите ключевые сферы для улучшения
Компания выбирает сферы, где бы она хотела улучшать свои показатели.
Не пытайтесь влиять на большое количество сфер в рамках одного цикла. Выполнение небольших инкрементальных изменений лучше, чем отсрочка улучшения и измерение большого количества показателей. Одновременное изменение большого количества показателей может также вызвать проблемы при попытке установить причинно-следственную связь между результатами и деятельностью. Короткие циклы с небольшими изменениями являются наиболее эффективным способом поддержания общей гибкости организации.
- Проведите эксперименты для улучшения выбранных ключевых сфер
Выбрав ключевые сферы для улучшения, определите несколько практик, которые по вашему мнению улучшат связанные с ними метрики. Проведите эксперимент. Например, организация, которая занимается разработкой ПО, хочет улучшить качество своего Продукта. Она может сфокусироваться на уменьшении дефектов. Практика: внедрение метода разработки через тестирование для увеличения покрытия тестами.
- Оцените результаты
Как только будут получены результаты эксперимента, их необходимо сравнить со значениями метрик. Если результаты изменились в лучшую сторону — вносим изменения. Цикл повторяется до тех пор, пока ключевые сферы не начнут приносить желаемые результаты.
Заключение
«Если не можете что-либо измерить, то не можете этим управлять.» — Питер Друкер
Ключевые сферы EBM отражают целостную картину эффективности продукта. Текущая ценность имеет важное значение, поскольку продукт, который не несет ценности для пользователей, не проживет долго. Пользовательский опыт является лишь частью картины. Увеличение и поддержание количества пользователей невозможно без счастливых, вовлечённых сотрудников и без довольных инвесторов.
Быстрое повышение ценности продукта требует частой поставки нового функционала, что означает сокращение времени реализации продукта. Это значит больше чем просто работать быстрее. Обнаружение и устранение препятствий для более быстрой поставки необходимо для более короткого цикла.
Сокращение времени реализации это ещё не конец истории. Короткие циклы выпуска, которые обеспечивают поставку небольших улучшений, не позволяют быстро повысить ценность поставляемого продукта. Способность организации к инновациям также определяется ее возможностями поставлять существенные инновации в каждом релизе. Измерение этой способности даёт организации понимание какие препятствия нужно устранять.
Повышение эффективности также циклический, итеративный процесс. Измерение текущих условий, постановка целей эффективности, составление небольших экспериментов по улучшению, и затем оценка результатов повторяется непрерывно.
Приложение
Примеры основных метрик для каждой сферы.
Current Value/Текущая ценность
| Метрика | Описание |
| Revenue per Employee | Данный показатель считается как соотношение выручки к количеству сотрудников. Полученное значение индекса интерпретируется в зависимости от отрасли, в которой он измеряется. Для каждой отрасли существует свое стандартное значение. |
| Product Cost Ratio | Соотношение совокупности затрат на продукт (включая операционные расходы) к выручке. |
| Employee Satisfaction | Измерение вовлеченности сотрудников. Например, сбор обратной связи. |
| Customer Satisfaction | Измерение удовлетворенности пользователей. Например, NPS. |
| Usage Index | Выявление часто используемого и менее используемого функционала. Например, соотношение используемого функционала ко всему функционалу или время, затрачиваемое на использование функционала. |
Time-to-Market/Время реализации
| Метрика | Описание |
| Build and integration frequency | Количество билдов-сборок (внедренных и протестированных) за определенный период. |
| Release Frequency | Количество релизов за определенное время, например, непрерывно, ежедневно, ежеденедельно и т.д. Это помогает определить время, необходимое для поставки ценности клиенту. |
| Release Stabilization Period | Время, затрачиваемое на исправление проблем, с момента «да, все готово для релиза» до момента «релиз». |
| Mean Time to Repair | Среднее время с момента обнаружения ошибки до ее исправления. Это отражает насколько работа с дефектами эффективна. |
| Cycle time | Время с момента начала работы над функционалом до момента релиза. |
| Lead Time | Время от идеи до реализации. Если идеи пользователя быстро реализуются, то удовлетворенность увеличивается. |
| Time-to-Learn | Время от момента получения идеи до возможности измерить результаты реализации идеи. |
Ability to Innovate/Готовность к инновациям
| Метрика | Описание |
| Usage Index | Измерение функционала, который действительно используется пользователем. Фичи, которые используются редко, все равно нуждается в поддержке — на него уходят силы, это блокирует возможность использовать ресурсы на инновации. |
| Innovation Rate | Соотношение процента усилий и затрат, потраченных на новые возможности продукта, к общей сумме усилий или затрат. Это дает представление о способности организации поставлять новый фунционал. |
| Defect trends | Измерение изменений в дефектах с момента последнего измерения. Дефект — это, то что напрямую влияет на качество функционала и снижает ценность продукта для пользователя или организации. |
| On-Product Index | Процент общей базы пользователей, использующих текущую версию продукта. Низкие значения — могут быть связаны с проблемами установки или низкой информированности. |
| Installed Version Index | Количество версий продукта, которые поддерживаются. Чем больше значение — тем больше компания тратит на поддержку этих версий, и ресурсы не могут быть направлены на инновации. |
| Technical Debt | Технический долг — количество некачественных решений, которые в дальнейшем влияют на скорость работы, обработку запросов и т.д. |
| Production Incident Trends | Частота случаев, когда команда прерывает запланированную работу, чтобы решить проблему или поправить возникнувший дефект «СРОЧНО». Это помогает определить стабильность продукта. |
| Active code branches, time spent merging code between branches | Количество времени, затраченного на поддержку кода для разных версий продукта, слияние изменений и интеграцию продукта. |
| Time spent context switching | Частота прерываний члена команды, которые снижают его продуктивность, работая над новой возможностью. Количество встреч в день, количество раз когда необходима кому-то помощь вне команды. |
Unrealized Value/Нереализованная ценность
| Метрика | Описание |
| Market Share | Относительная доля рынка, контролируемая продуктом. |
| Customer or user satisfaction gap | Разница между ожиданиями пользователя и фактическим результатом. |
Статья переведена под ред. Делягиной Анастасии.
Список используемой литературы: