Как и зачем НКО оценивать социальный эффект, рассуждает Ольга Евдокимова, директор организации «Эволюция и филантропия».
Что такое социальный эффект?
Есть много трактовок термина «социальный эффект». Но у них есть общее:
социальный эффект — это те благоприятные изменения, которые в конечном счете ожидаются от реализации программы.
Он может показывать не только изменения в жизни благополучателей, но и в целом в обществе.
Например, конечным результатом могут быть:
- снижение зависимости граждан от социальной помощи;
- повышение реальных доходов населения и сокращение бедности;
- снижение уровня заболеваемости отдельными болезнями;
- снижение уровня насилия в школах;
- улучшение результатов тестирования учащихся из малообеспеченных семей;
- снижение уровня преступности.
Фото: Markus Spiske / Unsplash
В социальных эффектах не отражается подход, который использовался в программе. Например, благополучие семьи или ребенка в семье – социальный эффект, однако достигать его можно при реализации самых разных программ.
Важно разделять понятия социального эффекта и социального результата. Достижение социального эффекта можно представить в виде цепочки промежуточных социальных результатов (краткосрочных, среднесрочных), действий, которые нужны для их достижения, ресурсов.
Социальный эффект — конечный результат нескольких предшествующих ему социальных результатов.
«Например, чтобы у человека улучшалось материальное положение, он должен найти работу, нужны курсы по трудоустройству, работодатели, готовые его принять, и так далее. На достижение социального эффекта влияет много факторов внешней среды, и именно поэтому сложно его оценивать», – объясняет Ольга Евдокимова.
Каждая организация на основе своей миссии и целей формулирует для себя социальный эффект. Во многом он зависит от масштаба организаций. Например, небольшие НКО могут ограничиться изменениями на уровне своих сообществ.
Важно вовлечь в обсуждение социального эффекта заинтересованные стороны — доноров, подопечных, волонтеров, сотрудников. Нужно договориться об общем понимании социального эффекта или сформировать его из нескольких взглядов.
Как понять, достигает ли НКО социального эффекта?
После того, как НКО определила для себя социальный эффект, нужно понять, как программы организации помогают его достигать. Здесь будут полезны инструменты планирования и социального проектирования – логические модели программ, теория изменений, карты результатов.
Они помогают выстроить цепочки социальных результатов и определить границы своего социального воздействия. За какие социальные изменения НКО отвечает и отчитывается? На кого, на что программа влияет и в какой степени?
Нельзя оценивать социальный эффект без понимания границ воздействия НКО. Зона ответственности организации не безгранична. Нужно определить, что оценивать, а что – нет. Ответы на эти вопросы дают организации основу для понимания, какие данные необходимо собирать. Подробнее можно прочитать по ссылке.
Подобный подход к планированию социального эффекта помогает организациям увидеть необходимость расширения своих программ.
Например, приюты для бездомных могут начать оказывать юридическую и/или психологическую поддержку подопечным (кроме предоставления крова и еды); таким образом их влияние начнет усиливаться и изменится уровень оцениваемого воздействия.
Зачем оценивать социальный эффект?
Это первый вопрос, который НКО должна себе задать. Как и кем будут использованы результаты оценки? Какое новое знание будет получено?
Чаще всего организации оценивают социальный эффект либо по требованию грантодателя, либо из внутренних побуждений. Последнее встречается крайне редко, если речь идет именно об оценке социального эффекта, а не социальных результатов.
В первом случае сами грантодатели в идеале формулируют оценочные вопросы и выделяют средства на проведение подобной оценки. Часто для этого привлекаются независимые профессиональные организации или специалисты.
В России, как правило, грантодатели не очень опытны в оценке социального эффекта и их требования бывают не вполне корректны. Например, когда программа очень короткая, небольшая по масштабу и с малым бюджетом. Иногда доноры требуют применения специальных методик оценивания (например, SROI или LBG). Стандартизированные методики имеют свои преимущества, но и ограничения, они могут не дать ответы на ключевые вопросы заинтересованных лиц и, наоборот, могут приводить к сбору излишней информации, ненужной НКО.
Что делать в таком случае? Разбираться в оценке и объяснять свою позицию донорам.
Во втором случае оценка социального эффекта нужна как для внутреннего планирования, так и для внешнего взаимодействия: например, для работы со стейкхолдерами. Но организации редко замахиваются на оценку социального эффекта. Это дорого и требует профессионального подхода. НКО, как правило, не имеют достаточных финансовых или человеческих ресурсов для ее проведения.
Существует немало факторов, когда оценка социального эффекта не целесообразна. Например, когда программа некачественно реализуется; когда у нее нет теории изменений; когда программа закончилась и не будет ее продолжения; когда объем программы слишком мал, чтобы говорить о значимых эффектах.
Фото: Israel Andrade / Unsplash
Более целесообразным может быть использование уже проведенных исследований на соответствующую тему или/и проводить оценку не социального эффекта, а социальных результатов. То есть изменения, которые запланированы программой и за которые организация отчитывается и может измерить.
Как оценивать социальный эффект?
Ольга Евдокимова предлагает не столько фокусироваться на оценке социального эффекта, сколько предложить общий алгоритм для оценки социальных результатов.
Организация начинает оценку социального эффекта, как и любых других аспектов программы, с формулировки оценочных вопросов. Как это сделать, можно посмотреть по этой ссылке или здесь.
На этапе формулировки вопросов можно также привлекать ключевых стейкхолдеров, благополучателей, доноров, партнеров.
Ключевой вопрос при оценке социального эффекта и социальных результатов: насколько эффекты связаны с программой? Можно ли «приписать» социальный эффект исключительно одной программе? По сути нужно задать вопрос: что было бы, если бы программы не было? Рекомендации по этому поводу можно прочитать по ссылке и здесь.
После этого подбирается методология оценки. Оценщики и сотрудники программы/проекта определяют:
• сколько раз будут собираться данные;
• в каком промежутке времени будут собираться данные;
• как будут выбираться респонденты для сбора данных;
• каким образом лучше всего собирать эти данные.
Фото: Joanna Kosinska / Unsplash
Для сбора данных можно использовать следующие методы: анкетирование, интервью, наблюдение, изучение документации. Выбор метода зависит от требований: например, насколько детализированная информация нужна и в какой срок ее нужно получить.
Этот этап работы требует профессиональных знаний, здесь лучше привлекать специалистов. Однако знать в целом перечень возможных методологий важно руководителю НКО или программным сотрудникам, отвечающим за оценку. С перечнем можно ознакомиться по ссылке или здесь.
Ø Перечень вебинаров – пошаговое руководство (теория и практические кейсы) по созданию системы измерения и оценки социальных результатов.
Ø Виртуальный ресурсный центр по оценке.
Ø Библиотека материалов АСОПП (Ассоциации специалистов по оценке программ и политик).
«Можно прибегнуть к помощи pro bono волонтеров или обратиться в вузы, если НКО планирует объемное исследование. Есть организации, которые занимаются похожими программами, и можно посоветоваться с ними, например, для организаций сферы детства есть профессиональные сетевые сообщества», – советует Евдокимова.
