15–16 октября состоялась X конференция Ассоциации специалистов по оценке программ и проектов в социальной сфере «Развитие оценки в социальной сфере России: достижения и точки роста». Ассоциация объединяет людей, заинтересованных в развитии и продвижении оценки как профессии в России. Материал подготовлен по следам сессии «Нарративные методы в оценке».
Сегодня в третьем секторе бурно обсуждается использование качественных методов оценки. И все же, по словам Антонины Поповой, методиста фонда «Волонтеры в помощь детям-сиротам», еще немало представителей научного сообщества считают, что данные, полученные при помощи качественных методов, недостаточно надежны и доказательны.
Рассказываем о двух исследованиях, которые проводились в ходе проекта «Больше историй», способствующего тому, чтобы НКО сферы детства активнее вовлекали благополучателей в свою деятельность, проводили оценку с их участием и научились на системной основе слушать и слышать их голос.
«Все получится!»
Исследование «Изменения в жизни молодых людей с инвалидностью и сиротским опытом в первые месяцы работы на открытом рынке труда: результаты сторителлинга»
«Все получится!» — это проект, в котором создают условия для социализации и профессиональной самореализации молодых людей с низкими стартовыми возможностями: людей с инвалидностью, сиротским опытом, у которых нет значительного опыта на открытом рынке труда и которым необходима поддержка с тем, чтобы выйти на работу.
Всего в исследовании приняли участие 22 человека — кандидаты проекта «Все получится!» в возрасте от 14 до 23 лет, проработавшие на открытом рынке труда первые несколько месяцев, и их значимые взрослые. Сторителлинг как прием использовался для описания жизненного опыта, фактов и событий в связке со смыслами, которые им придают благополучатели.
«В первую очередь нас интересовало вот что: представим, что кандидат вышел на открытый рынок труда, начал работать, проработал пару месяцев. Какие изменения у него произошли? Какие результаты стоят за этим прогрессом? Формат сторителлинга здесь помогает в том, что благополучатели и их значимые взрослые сами могли акцентировать внимание на тех результатах, которые для них важны», — рассказал Александр Маньшин, специалист по мониторингу и оценке «Все получится!».
История Георгия
Георгий обратился в центр «Работа-i» в начале 2022 года, когда у него не было опыта работы и четкого понимания, зачем ему нужно трудоустраиваться. Уже в октябре 2023 года он вышел на работу на «Почту России».
Для исследования Георгий и его мама рассказывали, чем он занимается на работе, что получается, а что не очень, как реагируют коллеги и что для Георгия в целом значит работа.
«Ему сразу понравилось работать. Он чувствовал, что он нужен, важен, зарабатывает деньги. Потому что если сидеть дома, можно с ума сойти. Должна быть какая-то деятельность, жизнь, коммуникации с разными людьми. У Гоши с коммуникацией были большие проблемы, а сейчас он может куда-то сам поехать, пойти, что-то сам сделать. Это очень большой рост», — добавила мама Георгия.
История Дмитрия
Специалисты проекта «Все получится!» предложили Дмитрию попробовать себя на открытом рынке труда. Тогда он начал работать в секонд-хенде «Меняйся».
В своем рассказе Дмитрий признался, что первые месяцы получились очень насыщенными. Консультант помогала Дмитрию адаптироваться на рабочем месте, ходила с ним на работу. Они не сразу нашли именно тот функционал, который Дмитрию будет наиболее комфортен и удобен, поэтому меняли его в процессе, чтобы найти то, что можно делать хорошо и без усталости.
«Дмитрий много рассказывал, как ему нравится общаться с людьми, с коллегами, с посетителями магазина. Его мама тоже рассказывала о том, как ей важно, что сын ходит на работу в торговый центр. А для нас это было ценно, потому что мы смогли опубликовать эту вдохновляющую историю ко Дню людей с синдромом Дауна», — рассказал Маньшин.
Другие истории кандидатов проекта опубликованы на сайте проекта «Работа-i».
Результаты исследования
Анализ историй выделил несколько категорий изменений, происходящих у молодых людей в первые месяцы работы на открытом рынке. Среди них:
– Дисциплина
Участники исследования научились работать со своими эмоциями, правильно распределять бюджет, стали более ответственными и пунктуальными.
– Общепрофессиональные навыки
Молодые люди получили навыки, которые в дальнейшем помогут репрезентовать себя на открытом рынке труда.
– Коммуникативные навыки
Одними из самых важных навыков, которые проект подарил своим кандидатам, стали открытость и социализация. Они также обрели навыки деловой коммуникации.
– Субъектность
Участники исследования отмечали, что обрели правовую грамотность, экономическую свободу, социальный статус, а также почувствовали свою нужность.
Анализ данных был проведен аналитической группой ООО «Образовательный центр ”Стеллит”». Результаты анализа были частично отредактированы исследовательской командой «Все получится!».
Все это удалось узнать благодаря сторителлингу. Метод позволил выделить изменения, которые происходят у молодых людей с низкими стартовыми возможностями в первые месяцы работы на открытом рынке труда. По словам специалистов проекта, среди ключевых преимуществ сторителлинга — предоставление рассказчикам большой степени свободы, возможность обратиться к их опыту и понять, как они лично к нему относятся.
«Главное отличие сторителлинга от глубинного интервью в том, что в интервью мы сами “копаем” и задаем направление, а в сторителлинге все зависит от того, как сам рассказчик поведет эту историю. К тому же сторителлинг всегда включает в себя какую-то хронологию», — добавил Александр.
Подробнее с исследованием можно ознакомиться здесь.
«Волонтеры в помощь детям-сиротам»
Исследование «Опыт встраивания качественных методов в систему мониторинга и оценки проектов по работе с замещающими семьями»
Наталья Шкурова, координатор программы «Семейное устройство» фонда «Волонтеры в помощь детям-сиротам», рассказала, что один из проектов фонда — «Сопровождение замещающих семей» — сосредоточен на помощи тем семьям, которые принимают детей с особенностями развития и чаще всего с множественными нарушениями развития.
«Поскольку проект существует не первый год, мы регулярно уделяем время и разработке, и доработке нашей системы мониторинга и оценки. На данный момент мы используем всем знакомый принятый метод регистрации данных. У нас проходят экспертные оценки, а также консилиумы. Но в рамках проекта “Сопровождение замещающих семей” мы пошли чуть дальше, так как у нас постоянно вертелся вопрос, что именно меняется в этих семьях», — рассказала Шкурова.
Команда экспертов провела в формате сторителлинга 20 интервью — с 10 приемными родителями и 10 приемными детьми. Такой формат предполагает, что люди не отвечают на список заранее подготовленных вопросов, а свободно рассказывают о том, что им кажется важным.
Психологи проекта придумали притчу, которую рассказывали всем участникам исследования перед тем, как они расскажут свою историю.
Притча звучала так:
«Женщина пришла к мудрецу и посетовала на то, что у нее ничего не получается: дети не слушаются и плохо учатся, на работе дел невпроворот, за домом следить она не успевает, руки просто опускаются… Мудрец выслушал женщину и протянул ей небольшой мешочек: ”Каждый раз, когда у тебя получится хоть что-то, когда заметишь даже самую небольшую победу, кидай в землю маленькое зернышко”. Женщина удивилась, но послушала мудреца. Каждый день она доставала из мешочка маленькие зернышки и кидала их в землю. А через некоторое время обнаружила, что за ее окном цветет удивительный сад».
Притча была нужна для того, чтобы беседа не превратилась в интервью. Специалисты не задавали направляющих вопросов благополучателям, только изначально задали «нарративный импульс».
Еще один нарратив, которым пользовались исследователи, — метафора. Например, семье предлагали представить свою семью как корабль, который попал в кораблекрушение.
В случае с детьми поступали более хитро. Им показывали интерактивный мультик, который позволял им просто выбрать направление, в котором они пойдут по линии своей жизни. Они могли пойти либо в прошлое, либо в будущее, либо в настоящее. При этом детям вообще не говорили о том, что они участвуют в исследовании и фонд собирает какие-либо истории.
«Когда все истории были собраны, мы обратились к методу outcome mapping, или создания карт поведенческих изменений. Согласно этой методологии, все изменения, которые происходят у человека, каким-то образом проявляются в поведении. Мы собрали специалистов, которые длительное время работают с замещающими семьями, и попросили их выделить факторы устойчивости этих семей. Они замечают по поведению родителей, детей и других членов семьи, что семья действительно устойчива. Собрав всю эту информацию и обратив внимание на факторы, которые мы и так собираем при помощи наших качественных данных, мы выделили несколько таких поведенческих маркеров, которые стали в итоге нашей основой для анализа качественных данных», — объяснила Наталья.
В конце результаты исследования верифицировали — выводы показали родителям и подросткам для того, чтобы они поделились своим мнением: согласны ли они или нет, похоже это на правду или нет. Это также позволило получить дополнительные данные.
Специалисты пишут, что в результате проделанной работы команда собрала сотню страниц удивительных историй: о поддержке, о выгорании и поиске ресурса, о роли семьи в жизни ребенка. Все эти рассказы помогли получить ответ на вопрос о том, как помощь фонда влияет на повышение устойчивости семьи.
Выяснилось, что семья чувствует себя устойчивой, когда родители понимают потребности своих приемных детей, когда им удается адаптироваться к социуму, когда между членами семьи есть доверие, когда получается самим справляться со сложностями, когда у членов семьи стабильное эмоциональное состояние и уверенный позитивный взгляд в будущее.
В исследовании говорится, что команда проекта считает, что использовать метод сторителлинга в обозримом будущем полезно и в других программах и проектах фонда, а к участникам нынешнего проекта планируют вернуться за историями не ранее чем через два-три года.
Это и другие исследования, в основе которых использовали сторителлинг, можно найти здесь.
