19 августа в центре «Моя карьера» прошел митап представителей грантодающих фондов «О ценности оценки». Встречу организовали Департамент добрых дел Москвы и команда конкурса грантов «Москва — добрый город» в партнерстве с Агентством социальной информации.
Всегда полезно сверять часы, сравнивать подходы и обсуждать последние тренды в области оценки проектов, финансируемых грантодателями, считает модератор дискуссии Елена Тополева-Солдунова, директор АСИ и председатель Комиссии Общественной палаты РФ по развитию некоммерческого сектора.
Именно этому и был посвящен митап «О ценности оценки». В нем приняли участие эксперты из благотворительного фонда «Вклад в будущее», Фонда президентских грантов, Президентского фонда культурных инициатив, Фонда «Искусство, наука и спорт», «Культура благотворительности», «Абсолют-Помощь», Фонда Потанина, Фонда Тимченко, Фонда «Наше будущее» и других крупных фондов.
«У всех разные гранты, подходы, методики и инструменты. Но есть и много чего общего. Все это стоит обсудить», — заявила Тополева.
В течение трех часов эксперты обсуждали вопросы, связанные с оценкой. Как заложить оценку в грантовый проект, как сосчитать то, что сосчитать очень трудно (например, импакт культурных проектов), как начать оценивать качественно, а не количественно и вычислить «отложенный эффект»?
Все мысли, предложения, теории и практические советы грантодающих фондов Агентство социальной информации оформило в небольшую памятку.
Со вступительной речью выступила Ольга Илюхина — начальник Управления содействия занятости населения Департамента труда и социальной защиты населения города Москвы.
«Мировая практика показывает, что финансовые средства НКО чаще выделяют частные структуры, бизнес. Но у нас в России некоммерческие организации получают очень качественную государственную поддержку: у нас есть конкурс “Москва — добрый город” и гранты мэра Москвы. Некоммерческие организации напрямую влияют на развитие Москвы и являются поставщиками социальных услуг благодаря средствам, выделяемым городом. Но для нас, как и для вас, грантооператоров, очень важен вопрос оценки.
Мы постоянно спрашиваем себя: “А достаточно ли эффективный проект мы поддержали?”. Иногда и сами некоммерческие организации не могут рассчитать социальный эффект своих проектов и спрашивают, какая информация о нем нам нужна. Поэтому основной вопрос на сегодня: “Как высчитывать социальный эффект”?», — заявила Илюхина.
Сильные и слабые стороны НКО
На основе результатов исследований Агентства социальной информации в рамках конкурса «Москва — добрый город»
НКО хорошо умеют оценивать индивидуальные результаты на микроуровне. Но когда дело доходит до макроуровня, начинаются проблемы, рассказала Ольга Дроздова, руководитель социальных проектов и программ Агентства социальной информации.
Фото предоставлено центром «Моя карьера»
А вот на макроуровне дела обстоят сложнее. НКО признаются, что для проведения качественной оценки у них нет:
— ресурсов (в т. ч. человеческих),
— методик,
— данных.
Все усложняется, если реализация проекта не подразумевает моментальный социальный эффект. Обычно он наоборот «отложенный», то есть оценить результат можно только через несколько лет. В таком случае НКО не может предоставить полноценную оценку своего проекта грантооператору.
Как упростить процедуру оценки для НКО?
- Разработать адекватные показатели эффективности (KPI),
- создать единые подходы при экспертной оценке проектов, единообразную интерпретацию понятий и критериев оценки проектов,
- включать расходы на аналитику и оценку деятельности в сам проект.
Примеры методик
1) Методика «Вклад в будущее»
Представила Инна Ширшова, руководитель направления «Инклюзивная среда» БФ Сбербанка «Вклад в будущее»
При разработке методики специалисты опирались на то, что она должна быть рассчитана на длительные и дорогие проекты. В течение проекта фонд ждет от НКО текущих промежуточных результатов: например, получения каких-либо навыков у контрольной группы детей.
При этом важнее всего для грантодателя — качество сервиса, который предоставляет НКО своим благополучателям. «Некоторые проекты приходится “менторить” и на стадии дизайна, и на стадии реализации. В таком случае мы все понимаем, что происходит. И НКО не гадает, что им нужно написать в проекте, и мы следим за реальными изменениями», — говорит Инна.
Ширшова поделилась лайфхаком, который может быть полезен и другим грантооператорам: если проект очень длинный по времени, стоит финансировать его поэтапно, а не давать сразу всю сумму. Это увеличивает транзакционные издержки для НКО, но по крайней мере максимизирует социальный эффект.
Организации, с которыми работает «Вклад в будущее»:
- мотивированные,
- достигшие определенного уровня организационного развития,
- без нисходящего тренда.
Самим грантодателям важна насмотренность, считает Ширшова. Обязательно нужно следить за тем, что происходит в «соседних» конкурсах.
«Оценка — это инструмент развития. И нашего, и НКО», — подытожила Инна.
2) Методика Фонда Тимченко
Представила Элина Илларионова, руководитель аналитической службы Фонда Тимченко.
По словам Илларионовой, в последние месяцы Фонд Тимченко плотно занимался системой индексов детского благополучия. Делится она на субъективный, статистический и общий индексы.
Оценке поддают разные аспекты жизни ребенка: физическое здоровье, материальное благополучие, образование, социальные отношения, безопасность и самореализация.
В центре индекса детского благополучия стоят цифры. Так, например, специалисты вычисляют, насколько интересно респондентам проекта фонда «Новые искатели» присутствовать на уроках, по сравнению с респондентами из других групп.
Подсчитать цифры и общие изменения удается благодаря двум анкетам, одна из которых выдается на старте проекта, а вторая — в конце. Таким образом удается посмотреть на динамику.
3) Методика «Абсолют-Помощь»
Представила Эльвира Гарифуллина, программный директор Благотворительного фонда «Абсолют-помощь».
Ключевые подходы методики:
— Фокус и разнообразие
Магистральное направление: уязвимое детство, при этом конкурсы разнообразны, а гранты выдаются как государственным, так и негосударственным организациям.
— Доказательный подход
Опора на исследования и науку. В фонде не используют формулировку «качественные и количественные» результаты, вместо них существуют «процессные показатели» и «социальные результаты», которые показывают реальные результаты подопечных НКО —например, развитие навыков у детей.
— Устойчивые результаты
Фокус на социальные результаты, поддержка уставной деятельности и поддержка практик на разных уровнях.
— Партнерская среда
Обучение и обмен опытом победителей конкурсов, предоставление обратной связи, проведение тематических групп.
«НКО “ломаются” на оценке. Наш фонд работает над тем, чтобы организации поняли, что оценка прежде всего нужна им, а не донорам. В конечном итоге оценка, основанная на доказательном подходе, повышает доверие и позволяет фандрайзить больше», — говорит Эльвира.
Фото предоставлено центром «Моя карьера»
4) Методика Фонда Потанина
Представила Ирина Лапидус, директор программ Фонда Потанина
Поддержка Фонда Потанина обычно долгосрочная. И чем дольше длится сотрудничество, тем более требователен Фонд Потанина в отношении оценки изменений.
«Мы всегда говорим НКО: если вы не знаете, ради чего вы начинаете проект, тогда, наверное, и не стоит его начинать. Всегда важно оговаривать и прописывать, какой социальный эффект вы ждете от своей деятельности», — говорит Ирина.
В фонде принято оценивать проект на разных этапах реализации. Так, НКО используют рефлексивный инструмент под названием «Дневник проекта», который помогает в мониторинге ситуации.
НКО должны помогать друг другу наращивать профессионализацию. Для этого в качестве эксперимента для центров знаний Фонд Потанина вводит институт менторства: НКО с более проявленной экспертизой «менторят НКО», у которых это «зона роста».
5) Методика Фонда президентских грантов
Представила Юлия Марина, замруководителя департамента экспертизы и мониторинга Фонда президентских грантов.
Самое важное в работе грантодающих организаций и НКО — привить последним культуру оценки. «Если НКО умеют оценивать свой эффект, они могут наравне общаться с бизнесом и становятся более уверенными, убедительными и устойчивыми», — считает Юлия.
В этом отношении для фонда важны качественные социальные результаты, а не эффекты. По словам Юлии, сначала сектор нужно научить мерить более простые вещи, чем и является конкретный результат.
Оценка существует на каждом этапе поддержанного фондом проекта. «Мы сопровождаем НКО постоянно: проводим вебинары и лекции, подсказываем, что такое реальный результат», — объяснила Марина.
Фонд постоянно усиливает осведомленность НКО в том, как можно измерять качественные социальные результаты, у каждого проекта есть свой куратор, оказывающий наставническую поддержку.
Благодаря чему можно провести оценку?
— Глубинное интервью,
— Опрос,
— Качественное исследование,
— Метрика,
— «Дневник проекта».
Разным проектам — разные методики?
Мнения экспертов разделились. Элина Илларионова заявила, что подчитать кумулятивный эффект разных проектов с помощью одной методики невозможно, поскольку у разных групп населения — например, у детей и пожилых людей — будут разные потребности.
Фонд Потанина придерживается похожей политики — разные результаты и подходы оцениваются разными методиками.
А вот БФ «Вклад в будущее» максимально типизирует свои методики, чтобы они могли распространяться на все реализуемые проекты.
Как понять, что вызванные изменения произошли именно благодаря НКО, а не из-за сторонних факторов?
Ситуация: НКО реализует различные инфраструктурные проекты в небольшой деревне. В это же время правительство ближайшего крупного города построило прямую дорогу в деревню.
Вопрос: чье именно влияние повысило качество жизни местных жителей?
По словам Илларионовой, высчитать подобную корреляцию сложно и дорого. Фонд Тимченко триангулирует данные и добавляет в опросные анкеты проверочные вопросы: «Как вам кажется, это именно наш проект повлиял на ваши навыки/качество жизни/общее благополучие/психологическое состояние и т.д?».
Как определить, кому именно давать грант?
Ситуация: Департамент труда и социальной защиты населения города Москвы «разыгрывает» помещение между несколькими идентичными НКО, которые планируют обучать людей с инвалидностью определенным навыкам и после помогать им с трудоустройством.
Вопрос: кому давать помещение? Как на этом этапе определит, кто из НКО справится с поставленной задачей эффективнее?
«Мне, как представителю государства, все равно, каких практик НКО придерживаются в процессе реализации проекта. Для меня главное — результат, чтобы люди, которые придут в это помещение учиться, были интегрированы в открытый рынок труда или в мастерские. Но я же не могу предугадать этот результат. Есть ли точная формула: кому даем грант, а кому — нет?», — спросила у экспертов Александра Александрова, первый заместитель руководителя Департамента труда и социальной защиты населения города Москвы.
Фото предоставлено центром «Моя карьера»
Эксперты сошлись во мнении, что таблетки от этой проблемы не существует, и «Кто больше достоин гранта» — это вечный вопрос. Есть смысл опираться только на субъективное мнение экспертов, изучающих заявку проекта, считает Юлия Марина.
Игорь Соболев, советник гендиректора Фонда президентских грантов, первый заместитель генерального директора Президентского фонда культурных инициатив, добавил, что если департаменту важен именно результат, можно попробовать поставить условие: за столько-то денег и при таких-то возможностях проект должен достичь определенного KPI. Однако в таком случае, признается Игорь, речь идет скорее о модели социального заказа, чем о модели поддержки инициатив.
Новый профессиональный стандарт
«Бенефициары у проектов всегда очень разные. Поэтому в таком деле без социологии не обойтись. Соответственно, нужно мониторить обратную связь от благополучателей и социальных бенефициаров. Чтобы упростить этот процесс, фонд ”Наше будущее” разработал профессиональный стандарт и обозначил новую профессию, которая будет связана с оценкой, мониторингом и контролем за социальными эффектами в деятельности организации», — рассказала Юлия Жигулина, исполнительный директор Фонда «Наше будущее».
Ответственный секретарь Совета по профессиональным квалификациям в сфере управления и права Елена Переверзева, добавила что для оценки нужны не только деньги, но и люди, которые понимают, как измерить социальные эффекты.
Для этого «Наше будущее» описал профессиональные квалификации, которые позволят сформировать реестры экспертов и обучить людей, как проводить оценку проектов.
Сейчас профстандарт находится на экспертизе в Минтруда. После он должен быть принят как нормативно-правовой акт. На этом этапе «Наше будущее» зарегистрирует методику, систему оценки таких специалистов и систему оценки образовательных программ.
Тренды в области оценки
Трендом сезона постепенно становится субъективность, считает Наталья Кошелева, исполнительный директор Ассоциации специалистов по оценке программ и политик.
«Я замечаю признание того, что человек обладает субъектностью. И его субъектная оценка имеет право на существование. Особенно сейчас популярна тема субъективного благополучия», — говорит Наталья.
Рубрика «предложения»
В конце дискуссии Эльвира Гарифуллина выступила с предложением. По ее словам, у грантодающих организаций много общих грантополучателей — тех, кто получает грантовые средства сразу у нескольких грантооператоров.
«Почему бы нам тогда всем вместе не собраться и не посмотреть, как один и тот же грантополучатель оценивает свой проект для разных грантодателей?», — озвучила Гарифуллина.
Департамент труда и социальной защиты населения города Москвы планирует и дальше поддерживать деловые отношения с некоммерческим сектором и взаимодействовать с новыми донорами.
Напомним, что прием заявок на грантовый конкурс «Москва — добрый город» начнется 28 августа. В нем жюри будут уделяться особое внимание социальным результатам. Победители конкурса будут названы 25 ноября.
