От замысла до постэффектов
Можно ли измерить эффект от творческих проектов? Специалисты по оценке программ и проектов уверены, что да. Любой творческий проект, ориентированный на публику, имеет четыре этапа:
- замысел и создание проекта;
- публичная реализация проекта/продуктов проекта (экспозиция, программа событий, линейка сувениров и так далее);
- непосредственная реакция зрителей на продукт;
- эффекты и постэффекты в некотором временном интервале.
На каждом этапе есть маркеры эффективности, которые можно измерить социологически, экономически или экспертно. Таким образом, можно узнать, меняет ли творческий проект жизнь людей к лучшему, какова его общественная и социокультурная значимость, достигает ли проект своих целей и создает ли новые смыслы и ценности.
В 2024 году завершилась оценка семи творческих проектов — участников Межрегионального форума «Яркие краски креативных индустрий», победителя грантового конкурса Президентского фонда культурных инициатив (ПФКИ) 2023 года. На протяжении нескольких месяцев с творческими командами работали эксперты-консультанты в области оценки проектов и программ.
Участники форума собирали и обсуждали передовой международный и российский опыт оценки социального воздействия творческих проектов, чтобы разработать рекомендации и подходы, с одной стороны, учитывающие специфику творческой сферы и компетенции ее участников, с другой — принимающие во внимание ожидания финансирующих институтов.
В этом материале мы разберем, какие открытия для себя сделала команда организаторов Чеховского книжного фестиваля в Таганроге, как проходила оценка фестиваля и как литературное событие влияет на образ города.
Чеховский книжный фестиваль проходит в Таганроге с 2007 года. За последние пять лет фестиваль посетило около 15 тысяч человек, что делает его заметным культурным событием не только Ростовской области, но и всего Южного федерального округа.
Ежегодно Чеховский книжный фестиваль собирает жителей и гостей города на более чем 35 площадках. В программе — встречи с известными писателями, презентации книг, мастер-классы, концерты, спектакли, выставки, перформансы, игры, концерты, ярмарки. Гостями фестиваля в разные годы становились писатель Андрей Геласимов, детский поэт Андрей Усачев, ректор Литературного института имени А.М. Горького Алексей Варламов, композитор Григорий Гладков, актер Максим Аверин, редактор и издатель Елена Шубина и другие.
Быть среди первых
Оценка творческих проектов — новая тема для специалистов, занимающихся оценкой проектов и программ. В международном сообществе уже накоплен разнообразный опыт в этой области, в то время как в нашей стране это направление только начало развиваться. Эксперты-практики видят активный интерес к этой теме как со стороны финансирующих институтов, так и участников творческой сферы.
По словам координатора Чеховского книжного фестиваля (2007–2023), доцента Института креативных индустрий Донского государственного технического университета Людмилы Скрынниковой, у команды организаторов литературного события было желание проанализировать многолетнюю деятельность.
«Чеховский книжный фестиваль — это пространство межкультурного диалога, межличностных отношений, иллюстрация деятельного участия жителей в культурных процессах города. Благодаря таким событиям происходят осмысление и актуализация культурного наследия малой родины. Фестиваль дает импульс, новое движение всей культурной жизни города. Мы хотели посмотреть, каких эффектов достигли за время его проведения, и получить новый опыт», — говорит Скрынникова.
В команду исполнителей оценки вошли представители АНО «Эволюция и филантропия», фонда «Будущее время», социологи. В фокус оценки исследователи взяли пять сезонов фестиваля 2018–2023 годов.
«Для меня как социокультурного проектировщика этот кейс невероятно интересен. Фестиваль проводится с 2007 года, это редкий пример долго существующего регулярного крупного литературного события за пределами двух столиц. Сочетание энтузиазма команды организаторов и интереса со стороны властей очень важно для проведения таких больших долгосрочных проектов. Поскольку фестиваль включает множество форматов, он работает и на профессиональные сообщества, и на любителей книг, и на горожан и туристов. Когда мы говорим об объекте оценки, важно учитывать контекст», — поясняет Наталья Сергиевская, генеральный директор фонда «Будущее время».
«Мы хотели посмотреть на то, как применяется международный опыт оценки творческих проектов, как используются стандартные подходы, применяемые в социальной сфере, в оценке креативных инициатив», — рассказывает Ольга Евдокимова, исполнительный директор АНО «Эволюция и филантропия».
Проблемы и возможности
Были сформулированы следующие основные проблемы, с которыми работает фестиваль:
- невысокая туристическая привлекательность бренда города по сравнению с соседними;
- запрос на насыщенность городской жизни качественными событиями;
- недостаточная оценка жителями города историко-культурных ресурсов Таганрога.
«Во многих исторических городах гордость жителей строится, скорее, только на сегодняшних достижениях. Не учитываются все возможные плюсы и положительные стороны города как исторического места. То есть, к сожалению, нет ощущения причастности к большой истории своего культурного пространства», — отмечает Наталья Сергиевская.
Команда исполнителей оценки предположила, что для жителей и гостей города фестиваль дает возможность интересно и полезно провести досуг. Для профессионального сообщества он служит площадкой для обмена опытом, развития компетенций, дает возможность встретиться с коллегами из других регионов. Для организаторов фестиваля и заинтересованных сторон — это миссия повысить интерес жителей и гостей города к чтению и литературе, с одной стороны, а с другой — прикладная задача развивать и масштабировать фестиваль. Для властей региона фестиваль отвечает на запрос о повышении привлекательности города для жителей и гостей. Кроме того, он является дополнительным средством для развития территории и сферы культуры.
Когда разрабатывались подходы к оценке проекта, были учтены также мнения, интересы и ожидания результатов ключевых стейкхолдеров: команды и лидера проекта, управления культуры, властей города и региона, а также Президентского фонда культурных инициатив.
Методология оценки
- Насколько фестиваль повлиял на обогащение культурной жизни жителей города?
- Насколько он влияет на развитие туристического бренда города?
- И насколько повлиял на развитие компетенций творческого профессионального сообщества?
Чтобы получить ответы на эти три оценочных вопроса, команда исполнителей провела онлайн-опрос среди подписчиков групп VK и ТГ-канала фестиваля, а также полуструктурированные интервью с представителями туристических организаций Таганрога, агентств, кафе, ресторанов.
Кроме того, консультанты по оценке анализировали документы: программы фестиваля, списки участников и отзывы посетителей фестиваля, сайт-визитку города, туристические маршруты по Таганрогу, заявку и отчет ПФКИ. Всего в оценке в качестве респондентов приняли участие более 300 человек.
«Оценка — гибкий и живой процесс. Чтобы ее результаты лучше репрезентировали мнение целевых аудиторий, мы усовершенствовали методику, уточнили задачи оценки, дополнили подходы к анализу данных, включили способы усиления доказательной базы, то есть поиска аргументов, что все, что делается в рамках проекта, действительно приводит к желаемым изменениям», — поясняет эксперт по оценке проектов и программ, социолог Алена Богомолова.
Таким образом, в оценке проекта «Чеховский книжный фестиваль» лежат как количественные, так и качественные методы, что в значительной мере повышает коэффициент полезности и достоверности результатов оценки, отмечает команда исполнителей.
Ключевые результаты оценки
Ответы на ключевые оценочные вопросы команда исполнителей получила позитивные.
Выяснилось, что фестиваль способствует обогащению культурной жизни жителей города. Так, среди подписчиков групп фестиваля в соцсетях показатели высокие. И это подтверждает лояльность аудитории и пользу для сообщества: 97% опрошенных считают, что фестиваль позволяет провести свой досуг одновременно и культурно, и интеллектуально, а 98% респондентов уверены, что мероприятие является одним из способов пробуждения в жителях и гостях города любви и интереса к чтению и литературе.
Также подтвердилось, что фестиваль оказывает ожидаемое влияние на развитие компетенций творческого профессионального сообщества. С каждым годом растет число институций, вовлеченных в событие (с 32 в 2018 году до 51 в 2023 году). 97% респондентов высоко оценили профессиональную программу фестиваля с точки зрения ее полезности. Возможность узнать что-то новое, повысить уровень компетенций — самое ценное для представителей профессионального сообщества.
Еще один результат исследования — Чеховский книжный фестиваль оказывает значимое положительное влияние на формирование туристического бренда Таганрога. Этот вывод был сделан на основании интервью с представителями туристического бизнеса города. Жители и гости города видят Таганрог как культурно-исторический центр Юга России, а культурная фигура бренда города — писатель Антон Павлович Чехов.
Другая часть туристического бренда Таганрога — это приморский город с красивыми пейзажами, старинными каменными зданиями. Литературная история Таганрога включена в туристические маршруты, они охватывают достопримечательности, имеющие связь с литературной историей и местами проведения площадок фестиваля.
Основываясь на комментариях членов команды проекта и стейкхолдеров, специалисты по оценке дали ряд рекомендаций, как сделать фестиваль более эффективным и устойчивым культурным событием.
«Оценка показывает, что поддержка фестиваля со стороны властей на региональном и федеральном уровнях была бы целесообразна. Проекту важно расширять партнерские связи, поскольку они сузились в связи с событиями 2020–2022 года. К сожалению, очень сложно на такого типа фестивали привлекать большие книжные издательства. Это важная точка развития и роста для фестиваля», — говорит Наталья Сергиевская.
Как профессиональному сообществу развивать оценку творческих проектов
Специалисты уверены: важно с самого начала учитывать накопленный опыт, нарабатывать собственный и выстраивать равноправный диалог между всеми сторонами. При этом в оценке творческих проектов важно учитывать два уровня: эмпирический — что мы можем наблюдать — и реальный — невидимые механизмы проявления результатов.
«На мой взгляд, в творческих проектах, как и в социальных, важно именно то, что не на поверхности. Если мы ставим вопросы, каким образом можно усилить воздействие проекта на что-то, тогда нам нужно искать инструменты, объяснять подходы, что работает и что влияет на изменения. Тогда оценка будет нам давать больше информации об усилении воздействия. Чем выше будет уровень доказательной базы, больше источников, разнообразного инструментария, тем надежнее будут результаты оценки. Такое исследование требует привлечения очень разных специалистов, должны подключаться социологи, обязательно представители команды и других заинтересованных сторон, эксперты в области социокультурного проектирования и специалисты-практики, реализующие проекты», — отмечает Ольга Евдокимова.
По мнению Игоря Соболева, первого заместителя генерального директора Президентского фонда культурных инициатив, кейсы оценки творческих проектов представляют чрезвычайный интерес как для специалистов по оценке, так и для творческих команд, которые могут на практике увидеть и задуматься о применении предложенного инструментария к своему проекту.
«Президентский фонд культурных инициатив финансирует не просто проекты творческого самовыражения, а те проекты, которые призваны нести публике ценности и смыслы, входящие в тематическую рамку наших грантовых конкурсов. И есть критерии оценки подаваемых заявок. Оценивание результативности проекта, его творческой концепции, мероприятий, ценностно-смысловых составляющих, адресованных публике, целевым группам, — все это необходимо для широкого развития оценки творческих проектов в целом. Это требует применения и социологического инструментария. Движение в данном направлении идет, и оно очень важно», — говорит Игорь Соболев.
