Кто проводит фокус группу. Повторный вызов респондента

I. Достаточно подробно сущность и методика проведения фокус-групп описаны С. И. Григоревым и Ю. Е. Растовым. Фокус-группы рассматривают как качественный метод сбора информации в гомогенных (по значимым для исследования признакам) группах, имеющих фокус обсуждения, с участием ведущего, основанный на принципах групповой динамики.

Метод фокус-группы в последние годы получил широкое распространение как один из наиболее оперативных и эффективных способов сбора и анализа социальной информации. Этот метод применяется в сочетании с количественными методами.

Этот метод предполагает формирование нескольких дискуссионных групп (по 10-12 чел.) и проведение в них обсуждения исследуемой проблемы с целью ее более глубокого понимания и поиска оптимальных путей решения. Фокус внимания участников групповых дискуссий при этом сосредоточивается на каком-то одном важном аспекте проблемы, а внимание исследователей фокусируется на выяснении мнений участников по поставленному вопросу, на значении различных точек зрения представителей разных социальных категорий, а также на поиске возможных путей достижения консенсуса.

Преимущество фокус-группового метода заключается в следующем:

Взаимодействие респондентов в фокус-группе стимулирует более глубокие ответы и дает возможность появиться новым идеям в ходе групповой дискуссии;

Фокус-групповой метод дает экономию не только временных, финансовых, но и трудовых затрат исследователей;

Метод позволяет за короткий срок определить причины возникновения обсуждаемой проблемы.

Основным недостатком метода является то, что на его основе можно изучать не все, а лишь те проблемы социальной жизни, по которым мнения участников фокус-группы достаточно компетентны и противоречивы.

Исследователям перед началом фокус-группы необходимо решить следующие вопросы:

Определиться с количеством фокус-групп;

Установить число участников;

Сформировать оптимальный состав участников;

Определить продолжительность их работы;

Выбрать место проведения фокус-группы;

Разместить участников в помещении;

Разработать сценарий фокус-групповой дискуссии.

При определении необходимого количества групп решающее значение имеет учет следующих обстоятельств:

Их должно быть не менее двух, чтобы соблюсти минимум условий сопоставимости мнений их участников;

Количество фокус-групп должно быть достаточным для того, чтобы выявить мнения представителей тех групп населения, которые гипотетически по-разному относятся к изучаемой проблеме;

Увеличение количества групп, желательно продолжать пока в обсуждениях появляются новые мнения, т. е. до тех пор, пока дискуссии не станут повторяться, «идти по кругу».


Состав участников групп устанавливается с учетом их следующих характеристик:

Социальная принадлежность (статус) респондентов. Обычно в одну группу включают представителей, близких друг другу по социальному статусу;

Жизненный опыт участников. В одной фокус-группе собираются, как правило, близкие по жизненному опыту люди;

Степень компетентности. Респонденты с разной степенью компетентности не должны присутствовать в одной группе;

Потребительские возможности. В одной группе должны быть люди примерно одного уровня финансово-экономических возможностей;

Возраст и семейный статус. В одну группу не следует включать людей разных возрастов;

Культурные различия. Желательно не включать в одну группу представителей разных культур;

Пол. Большинство исследователей выступает за смешанные по половому признаку фокус-группы;

Точка зрения на обсуждаемую проблему. В одну группу обязательно следует приглашать людей с различными мнениями по вопросам, выносимым на дискуссию.

Способы отбора участников: случайный отбор по имеющимся спискам, по информации, предоставляемой людьми о своих знакомых, по результатам экспресс-интервью и т. п.

Продолжительность заседания фокус-группы. Как правило, фокус-группа длится не более чем 1,5-2 часа. Иногда целесообразно проводить короткие заседания групп (30-40 мин). В исключительных случаях, когда метод фокус-групп играет роль основного способа интеграции новых идей, продолжительность группового обсуждения достигает 6-8 часов.

Количество участников . Как уже отмечалось, обычно в одном заседании фокус-группы участвуют 10-12 человек, однако распространенная практика проведения заседаний групп в составе 5-6 человек. Целесообразность сокращения численности фокус-групп объясняется некоторыми проблемами, возникающими в больших группах. Эти проблемы сводятся к следующему:

В большой группе участники имеют меньше времени для выступлений, дискуссии длятся дольше, порой, не приводя к должному результату;

Ведущий дискуссию (модератор) в большой группе вынужден действовать директивно, жестко ограничивая во времени ее участников;

В большой группе многие чувствуют себя менее комфортно, чем в малой, их возможности отстоять свою точку зрения снижаются.

Главным фактором, определяющим размер группы, является цель ее проведения, характер обсуждающейся проблемы. Если цель фокус-группы состоит в получении возможно большего количества новых идей, то предпочтительнее крупная группа. Если же мы хотим выявить максимально глубокие и развернутые мнения каждого респондента, то желательно формировать малочисленные группы.

Выбор места проведения и его оснащение . Для проведения фокус-групп необходимо следующее, как минимум, стандартное оборудование: ауди- и видеотехника, зеркало, дающее возможность наблюдателям видеть происходящее и реакции на него всех участников, оборудованная мебелью комната.

Помещение, в котором проходит заседание фокус-группы, должно:

Обеспечивать участникам дискуссии возможность говорить без помех и чувствовать себя достаточно комфортно;

Давать возможность хорошо слышать всем то, что говорит каждый;

Быть приемлемым для каждого участника и нейтральным к проблематике и составу фокус-группы;

Позволять наблюдателям и модератору видеть всех участников дискуссии.

Размещение участников желательно проводить по типу «круглого стола», чтобы способствовать групповому общению, максимальной вовлеченности всех в дискуссию. Следует учесть следующие рекомендации:

Избегать ситуаций предписания особого статуса кому-либо из участников размещением их либо на особо удобных, либо, наоборот, неудобных местах;

Модератору нужно иметь хороший зрительный контакт со всеми участниками фокус-группы;

Участники должны хорошо видеть друг друга.

II . Фокус-групповая дискуссия обычно выстраивается по определенному сценарию.

Во-первых, он предполагает краткую, но содержательную вступительную речь модератора, в которой объясняется причина данного собрания, тема дискуссии, ее основная цель и задачи, контекст ее желательного обсуждения, т. е. тот аспект проблемы, на котором следует фокусировать внимание всем участникам дискуссии. Кроме того, ведущий обязан во вступительном слове:

Установить правила проведения заседания (выслушивать каждого выступающего до конца, не перебивать его речь, задавать ему вопросы только после завершения выступления, говорить все, что хочется, не боясь ошибиться, не допускать оскорбительных замечаний в адрес друг друга и т. п.);

Представить членам фокус-группы своих помощников, попросить участников дискуссии не обращать на них внимание;

Мотивировать участников на активное высказывание и отстаивание своего мнения, подчеркнуть необходимость решения обсуждаемой проблемы для самих участников фокус-группы, создать доверительную атмосферу в группе;

Завершать свою вступительную речь четкой формулировкой первого выносимого на коллективное обсуждение вопроса (перечень этих вопросов, конечно, продумывается в процессе подготовки к фокус-групповой дискуссии и включает в себя, как правило, от 3 до 15 формулировок). Крайне желательно, чтобы вопросы формулировались в таком виде, чтобы задевали «за живое» всех участников дискуссии, стимулировали их активность.

Затем начинается сама дискуссия – выявление мнений по поставленному вопросу. После установления всего спектра этих мнений модератор подводит предварительный итог, благодарит всех выступивших, особенно, высказавших оригинальные идеи, и ставит на обсуждение второй вопрос. Его содержание определяется, как правило, «домашней заготовкой», если обсуждение первого вопроса прошло так, как заранее предполагалось.

Бывает, что обсуждение первого вопроса еще не приводит к острой дискуссии. Поэтому второй вопрос следует формулировать с целью обострения столкновения мнений, не нарушающего доверительной обстановки. Его обсуждение тоже завершается подведением итогов, благодарностью всем выступившим и выдвижением следующего вопроса. По такой схеме фокус-группа работает до выявления основных разногласий группы, всех «за» и «против» каждого из основных мнений.

Последующую дискуссию следует повернуть на путь преодоления разногласий , стимулирования выработки консенсуса, формулирования конструктивных рекомендаций. Этому служат как «домашние заготовки» и экспромты модератора, так и применение им специальных методик конструктивизации конфликтных взаимодействий людей.

Характеризуемая часть фокус-групповой дискуссии – сложная в организационном отношении, но наиболее информативная и ценная в научно-исследовательском плане. Здесь модератор должен перевести свою деятельность в режим медиатора конфликтологических переговоров , что требует от него специальных знаний и практических умений. Часто на этом этапе ведущему приходится вводить дополнительные правила дальнейшего дискутирования, аналогичные правилам конфликтологических переговоров. На этот этап фокус-группового обсуждения выпадает наиболее интенсивная работа помощников ведущего (наблюдателей, операторов, стенографистов).

После выяснения главных путей преодоления разногласий и их четкой публичной фиксации ведущим, происходит их «утверждение» участниками фокус-группы. Иногда это делается путем голосования, но чаще обходятся без него. В последнем случае, однако, обязательно следует зафиксировать меру принятия всеми (или большинством) наиболее популярного варианта решения обсуждаемой проблемы. На этом заседание фокус-группы завершается, но начинается итоговый этап работы по характеризуемому методу.

На завершающем этапе: а) обрабатываются стенограмма (видеомагнитофонная запись) заседания и протоколы наблюдений, составленные ассистентами ведущего; б) формулируются основные выводы о причинах и характере разногласий по исследуемой проблеме, способах их преодоления, о системе мер решения данной проблемы; в) полученные материалы и заключения сопоставляются с итогами аналогичной дискуссии в других фокус-группах, на основе чего определяются общие результаты проводимого исследования.

Кадр из сериала «Силиконовая долина», сцена с испорченной фокус-группой.

Когда речь заходит о Customer development, или маркетинговых и UX-исследованиях, часто упоминаются фокус-группы. Еще чаще их критикуют, или высмеивают. И обычно справедливо. Я почти не встречала ситуаций, когда метод фокус-групп верно подбирался под задачи. По частоте неверного выбора фокус-группы догоняют разве что проблемные интервью и опросы. Поэтому правильнее будет критиковать не метод, а его несоответствие задачам исследования.

Недавно я стала участником исследования новых on-line сервисов. Мероприятие заявлялось, как фокус-группа, но все требования к фокус-группам были нарушены. Уже этот факт мог бы стать поводом для статьи, но выяснилось, что как раз за счет этих нарушений метод оказался довольно чувствительным для проверки гипотез о восприятии продуктов пользователями.

В статье я расскажу,

– как было организовано исследование,
– что я чувствовала в роли участника,
– что следует улучшить в таком методе,
– для каких исследований метод будет полезен.
Статья будет интересна:
– создателям продуктов,
менеджерам продуктов,
– маркетологам,
– custdev и ux-исследователям.

Как все начиналось

На страничке моего знакомого Андрея Карпенко в Фейсбуке появилось

Такое приглашение

«Друзья, нужна ваша помощь!
Приглашаю встретиться 6.12 в 19:00 (на час)

На финишной прямой проект для тех, кто фанатеет от активного отдыха; кому не сидится дома или по ресторанам. В общем, для всех, чья душа рвется к ярким эмоциям, экстриму и безудержному веселью!

Если вам 27+;
Холосты или семейные;
С детьми, которым тоже хочется веселиться;
Если вам важно, как проходят выходные;
Если вы в поиске свежих эмоций и ярких развлечений;
Если вы не гонитесь за скидками, а ищете именно то, что придется по вкусу;
Если вам надоела афиша кино, театров и выставок.

Приглашаю вас принять участие в фокус-группе 6 декабря:
Мы покажем новый проект, о мире развлечений.
А вас попросим оценить его по ряду критериев.
Чем детальнее, объективнее, и смелее будут оценки и идеи, тем круче и полезнее будет проект на выходе!

С нас приятная атмосфера, чай, кофе, вкусняшки.
А еще… розыгрыш на одно взрывное развлечение в Минске!

Вы очень нужны нам, жду ваших заявок в комментарии или сообщения.
Можете поставить "+"

У нас есть 15-20 мест.

P.S. Бонусом: Вы увидите модель по которой сможете оценить и свой проект/услугу.

ВАЖНО!!! Update
Друзья, спасибо огромное за отклик! На сегодня больше не сможем вместить!
Группа набрана Шикарного вечера!

Перепосты приветствуются и личное Спасибо!»


Гостям не платили за участие, но желающих оказалось много, и организаторы дополнительно арендовали большой зал.

Как все проходило

Мы собрались в зале с экраном и рядами стульев. Пришло около 50 человек, многие были знакомы друг с другом. В приветственном слове модератор рассказал, что мы будем оценивать 5 сервисов для путешественников и спросил, с какими из них мы уже знакомы.
На экране появился список сервисов:
1. tripadvisor.ru
2. vivaster.com
3. malpatravel.com
4. [новый сервис]
5. onetwotrip.com



Так проходило исследование: ряды стульев, модератор и большой экран.

Участники стали выкрикивать сервисы, которые они знали. После модератор озвучил правила: нам по очереди покажут каждый сервис и раздадут анкеты, в которых нужно будет по 5-балльной шкале оценить впечатления от сервиса, а потом высказать свое мнение. Нас попросили не просто ставить отметку, а пояснить мнение вслух, или в анкете.


Такие анкеты раздавались после демонстрации каждого сервиса.

Дальше все пошло довольно быстро: на экране загружалась страничка сайта, помощник модератора прокручивал ее вниз и нажимал на любую ссылку. По просьбе участников иногда возвращался, или вводил запрос в строке поиска. Еще несколько человек раздавали анкеты и собирали заполненные. Самые активные участники громко высказывали мнения, модератор задавал вопросы и спрашивал мнения остальных. Происходящее снимала открытая видео-камера.

Иногда, чтобы побудить молчаливых участников высказать мнение, модератор спрашивал: «Кто поставил «1», кто поставил «2», кто поставил «3» … расскажите, почему». Это хорошо срабатывало, и люди охотнее высказывались.

Атмосфера создалась хорошая, люди вовлекались, ближе к концу высказались почти все. После окончания участники долго не расходились, были возбуждены, подходили познакомиться друг с другом. Предприниматели и собственники ИТ-продуктов говорили модератору, что им было очень полезно в таком поучаствовать, гости спрашивали, можно ли что-то похожее сделать для оценки их продуктов.

Что было сделано хорошо

1. Вариант сочетания количественных и качественных методов довольно удобный и легко воспринимался участниками.
2. Анкета была простой и короткой, с пояснениями к вопросам.
3. Модератор хорошо выполнял свою задачу. Он не выдавал личный интерес и интерес своих заказчиков, не давал отклоняться от темы, поддерживал каждое высказывание и деликатно вовлекал высказаться молчаливых участников.
4. Организаторы были приветливы и создавали безопасную дружелюбную атмосферу.
5. Мероприятие было бесплатным. Это не убивает рабочую среду и хорошо увлекает участников. Собственникам продукта не стоит бояться, что на такие исследования никто не согласится прийти бесплатно. Это не так.
6. По знакомству с модератором пришло много людей, они были активны и готовы помочь. Так не тратилось время на разогрев и рекрутинг участников, но влияло на результаты, об этом я напишу ниже.

Мои сложности в роли участника

1. Помощник ведущего быстро загружал и пролистывал сайты. Я многие сервисы видела впервые, и для меня такая скорость просмотра не была типичной. Когда участники просили открутить назад, это снова делалось быстро. Только когда начиналось обсуждение, можно было внимательнее прочитать какие-то заголовки. Не было возможности прокликать ссылки, рассмотреть надписи. Но организаторы делали это, если их просили. Из-за такой скорости мне приходилось ставить оценки по первому впечатлению, часто только потом я узнавала, что не полностью поняла концепцию сайта.

2. Анкеты для оценок раздавали по очереди и после оценивания сразу забирали. Когда появлялись другие сервисы, мне хотелось изменить оценки предыдущим, но я уже не могла вернуть свою анкету. Каждый новый сервис оценивался под впечатлением от предыдущих. Первые мне уже не казались такими оригинальными и удобными, но поменять оценки я не могла, а следующие оценивала строже.

3. На некоторые вопросы анкеты мне было неясно, как отвечать. Например, вопрос про доверие: «Насколько сервис формирует доверительное отношение: доверие информации, платежной системе, качеству услуг». В моем представлении доверие является дихотомией, а не непрерывной переменной. То есть, я либо доверяю сервису свои деньги, либо нет. Доверять «на четверочку» – это не совсем понятно как, и какое мое потребительское поведение это вызовет. Но это мои впечатления, анкета не мешала мне поставить «1», или «5».

4. Активные участники почти сразу начинали высказываться. И делали это еще до того, как я понимала, о чем сервис, и ставила отметку. Они высказывались чаще всего критично, ссылались на свой опыт, рассказывали о других сервисах. У этих активных участников было намного больше опыта в использовании сервисов для путешественников, чем у меня. Под их уверенными высказываниями я несколько раз меняла мнение и вместо «5» ставила «3», или «2».

5. Некоторые функции сервисов, или ошибки в текстах на сайтах я не замечала, пока их не называли другие участники. После их слов мое мнение менялось, и я уже не могла воспринимать сервис так, как раньше. Не уверена, что я сама обратила бы внимание на те же функции, или ошибки и отказалась бы от сервиса. Теперь я этого не узнаю.

6. На одном сайте я заметила, что в названии обещается поиск мероприятий и попросила просмотреть, действительно ли информация сгруппирована по мероприятиям. Потом я попросила ввести в поиске мероприятие, например, «карнавал», или «праздник города». Но оказалось, что на сайте были только туры по городам, и заголовок вводил в заблуждение. В этот момент, мне кажется, я повлияла на оценки остальных участников, так как раньше они не замечали этого несоответствия и хвалили сайт за уникальную подачу.

7. У меня была возможность высказаться, и я несколько раз поднимала руку. Но не всегда мои высказывания слышали остальные участники, диалога не получалось. И поэтому я часто молчала, даже когда не была согласна. Из-за того, что людей было много, создавалось впечатление, что зал согласен с 2-3 самыми громкими критиками.

8. Как создатель ИТ-продукта, я в общем была лояльно настроена к тому, что нам показывали, так как понимала, какая работа за всем этим стоит. Мне иногда казалось, что самые активные критики не имеют такого опыта и придираются то к шрифту, то к фону, не пытаясь понять, какие цели решает дизайн. И от этой неоднородности опыта и подготовки аудитории тоже часто выбирала молчать, чем пытаться вступать в дискуссии.

9. В какой-то момент по высказывания громких участников я поняла, что они неверно поняли вопрос об уникальности: «Насколько этот сервис уникален в своей концепции и предложении клиенту». Они критиковали вторичность дизайна сайтов, но не говорили об уникальности предложения для клиента, которое содержал сайт. Тогда я стала откручивать в памяти остальные их критические высказывания, повлиявшие на мои оценки, и поняла, что, возможно, они и раньше не вникали в суть сервисов, а делали высказывания только о внешнем виде лендингов (а мне тогда казалось, что они больше меня понимают в этих услугах). Это все меня окончательно демотивировало, и я уже больше никого не слушала и не пыталась с ними спорить.

Что можно улучшить, чтобы получить больше релевантной информации

Так как это мероприятие не соответствовало почти ни одному требованию к проведению фокус-групп, я отвлекусь от сравнения и буду обсуждать его, как отдельный метод сбора информации от пользователей. Но основные требования к фокус-группам будут справедливы и здесь, так что я их тоже упомяну.

Участники

1. Лучше, если участники события не знакомы друг с другом и модератором. Это защищает от переноса ролей, меньше влияет на высказывания, социальную желательность, поддержку других и страх показаться неопытным и глупым.

2. Чтобы понять, как сервис воспринимают люди, от которых ожидается покупка, на исследование нужно приглашать именно таких людей. Если речь о новых продуктах, то участвовать должны люди из группы потенциальных «ранних последователей». Это значит, что до проведения исследования нужно не только четко определить целевую аудиторию, но и сузить ее до ранних последователей (то есть людей, которые значительно раньше, чем раннее большинство, будут готовы присмотреться к продукту и начать его использовать). Фильтры, использованные в пригласительном посте, создали слишком широкую аудиторию с разным опытом использования on-line сервисов для путешествий.

3. Участников все-таки должно быть меньше. Чтобы услышать всех и получить дискуссию, нужно либо сокращать количество человек (примерно до 10±) и количество вопросов, либо существенно увеличивать время.

4. Чтобы добиться более глубоких высказываний и понять, как люди воспринимают продукт, нужно подбирать участников с похожим опытом и подготовкой. Так у них будет больше желания донести свою мысль и не будет ощущения, что тут «не с кем говорить» и «некому доказывать». (В практике групповых интервью и фокус-групп иногда намеренно добиваются возрастной и гендерной однородности, а иногда, наоборот, сводят участников с разным опытом, чтобы получить больше информации в дискуссии – это зависит от задач и опытности модератора).

Механика исследования

5. Если нужно понять, как люди воспримут сервис в естественных условиях, стоит дать им возможность смотреть на сайты самим с привычной скоростью: на телефонах, планшетах, или компьютерах. Это организовать несложно и можно совместить с исследованиями навигации.

6. Если нужно узнать о реакции пользователей на продукт, нужно дать им возможность принять решение и поставить оценку до того, как начнут высказываться активные участники. Для этого нужно вводить минуты полной тишины для заполнения анкеты, а потом начинать дискуссию.

7. Стоит провоцировать активную дискуссию по теме между участниками. Это нужно для того, чтобы лучше рассмотреть, какие мысли возникают в голове пользователей, и как они принимают решения. В единичных высказываниях на ответ «Почему?» обычно даются краткие и стройные рационализации. А в дискуссии мысль разворачивается, участники чувствуют себя более безопасно, отвлекаются на задачу отстоять свое мнение и уменьшают контроль за стройностью и социальной желательностью высказываний. В этот момент можно получить полезное содержание.

8. Дискуссия и контролируемые споры участников помогают также спровоцировать более тщательное погружение в сервис и узнать, по каким еще точкам пользователи принимают решение. Такая информация обычно не проявляется в первых ответах.

9. Дискуссию и совместное принятие решения стоит также провоцировать, когда нужно оценить, как люди организуют совместную работу при использовании продукта, или при принятии решения о покупке.

10. Чтобы уменьшить влияние порядка обсуждаемых сервисов на то, как они воспринимаются, стоит сохранять анкеты у участников, пока они не смогут увидеть все сервисы и полноценно сравнить их между собой. Так как сравнения все равно не избежать и спонтанная реакция может быть только на первый сервис, стоит их хотя бы уравновесить в правах. Или можно проводить несколько разных мероприятий для разных участников, на которых первыми будут демонстрироваться разные сервисы.

Обработка анкет

11. Можно изменить процедуру сбора анкет так, чтобы разделить оценки, проставленные по первому впечатлению, до влияния высказываний громких участников, и после такого влияния. То, как анкеты собирались сейчас, не дает понять, были ли эти оценки спонтанными и насколько на них повлияло чужое мнение.

12. Можно также добавить вопрос: «Поменялось ли ваше мнение после дискуссии?» и «Какие аргументы повлияли на ваше мнение» – так можно будет исследовать, какие аргументы комментаторов оказываются самыми существенными при принятии решения и какие из них способны перебороть первое впечатление пользователя.

13. Стоит присваивать участникам какой-то ID, если нужно сохранить их анонимность. Так анкеты не будут попадать в каку-то неразобранную кучу средних значений и можно будет отслеживать тенденции в оценках людей с разным опытом.

14. Стоит включить минимальную паспортичку: вопросы соц-дем блока (пол, возраст, профессию, опыт и др.) – так при обработке анкет получится определить сегменты пользователей, для которых одни функции продукта важнее других. А значит, разработчики получат не усредненные значения, а различия в восприятии сервисов пользователями из разных сегментов. Но все это имеет смысл, если анкет будет собрано достаточно много, и исследование приобретет количественный компонент.

Интерпретация результатов

15. Стоит четко отделять досужие высказывания пользователей о дизайне (цветах, шрифтах, иллюстрациях) от их готовности к действиям. Похвала и высокие оценки по всем пунктам анкеты не гарантируют, что участник будет готов пользоваться сервисом, или рекомендовать его знакомым. И наоборот. Это важно объяснить собственникам продуктов, которые будут видеть обсуждение. Они часто готовы сразу воспринимать критику как команду что-то менять, хотя это не всегда связано с поведением их целевых пользователей и вообще не всегда требуется делать.

Для каких задач подходит этот метод

1. В варианте с быстрой прокруткой сайтов и громкими высказываниями активных участников группы метод дает хороший слепок первой реакции пользователя. Обычно пользователи недостаточно лояльны, чтобы давать продукту второй шанс и внимательно разбираться в его уникальном предложении. Если они не видят ценность сервиса в первой быстрой прокрутке, они могут быстро уйти и не вернуться. С помощью этого момента можно понять, какие мысли пролетают в голове у пользователя прямо перед тем, как он закроет страничку сайта.

2. Громкие активные комментаторы сервиса добавляют «утяжеление», так как помогают определить, успевает ли пользователь быстро схватить суть сервиса, или увлечься его дизайном, несмотря на сильные помехи и влияние чужого мнения.

3. Поддерживая высказывания первых активных критиков, можно также отследить, какой критике со стороны пользователи доверяют охотнее, а какую считают просто личным опытом, не имеющим к ним отношения.

Заключение

1. Мероприятие, которое я посетила, оказалось импровизированным групповым обсуждением on-line сервисов с использованием анкет и элементов юзабилити-тестирования.

2. Если метод не изменять, он может дать представление о том, как пользователи воспринимают сервис с первого взгляда, и как они схватывают его ценностное предложение.

3. Если не изменять процедуру сбора анкет и не добавлять соц-дем. вопросы, получатся очень усредненные данные с большим разбросом значений, отражающие частично спонтанные, частично измененные мнения. Делать выводы на основе таких данных не стоит.

4. Если доработать подбор участников и процедуру дискуссии и сбора анкет, может получиться информативный вариант для исследования продукта, сочетание качественных и количественных методов.

5. Для собственников продукта могут быть полезны любые варианты этого метода. Важно только отделять высказывания участников мероприятия от их реального потребительского поведения и четко определить, относятся ли они к группе ранних последователей продукта.

Метод "фокус-группы" - глубинное фокусированное интервью в форме серий групповых дискуссий, в ходе которых участников "фокусируют" на вопросах, интересующих исследователя с целью получения от них субъективной информации. Основной особенностью метода является то, что в групповом обсуждении участники включены в общение с себе подобными, вследствие чего психологические барьеры (обычно разделяющие интервьюера и интервьюируемого в опросных методах) снимаются намного эффективнее, а эмоциональные реакции (влияющие на поведение любого человека в повседневной жизни) проявляются намного ярче.

Методика проведения фокус-группы

Метод фокус-группы относится к качественным методам сбора информации и базируется на использовании эффекта групповой динамики.

Применение данного метода предполагает групповую дискуссию под руководством специалиста (модератора). Основным достоинством данного метода является возможность оперативного получения так называемой глубинной информации в небольшой группе респондентов. Суть метода заключается в том, что внимание участников фокусируется на исследуемой проблеме (теме), с целью определить отношение к поставленной проблеме, выяснить мотивацию тех или иных действий.

Кроме этого, данный метод позволяет заказчику наблюдать за ходом проведения исследования и делать соответствующие выводы. Стоимость фокус-группы относительно низка (например, по сравнению с глубинными интервью). Фокус-группа может применяться в сочетании с другими методами (как количественными, так и качественными) и как самостоятельный метод сбора информации.

Отличительные особенности фокус-группы

В отличие от количественных методов исследования (например, социологический опрос), который дает ответ на вопросы `Кто..?" и `Сколько..?", фокус-группа дает ответы на вопросы `Как именно..?" и `Почему..?"

Второй особенностью является способ формирования выборки и методы сбора информации. В социологическом (количественном) исследовании базовым методом является опрос (личный, телефонный), при котором респондентов, представляющих определенную категорию потребителей, опрашивают по единой схеме (анкете). В фокус-группе (качественном исследовании) применяются методы глубинного группового интервью, позволяющие "вытащить" из респондента информацию, не лежащую на поверхности, показывающую широкий спектр отношения к проблеме.

Фокус-группа является субъективным методом исследования (в отличие от социологического исследования, которое является объективным методом сбора и обработки информации). Смысл этого метода в том, что в групповом обсуждении респондент включен в общение с себе подобными. Поэтому психологические барьеры, разделяющие интервьюера и интервьюируемого в социологическом опросе, снимаются намного эффективнее, и эмоциональные реакции намного ярче. Участников фокус-группы "фокусируют" на вопросах, интересующих исследователя, с целью получить скрытую информацию. Количественные и качественные исследования часто проводят совместно и их результаты дополняют друг друга.

Подготовка методологического раздела программы исследования

Этот раздел включает: актуальность проблемы, цель и задачи исследования, объект и предмет исследования, гипотезы исследования.

Определение цели является одной из важнейших составляющих программы исследования.

Чаще всего фокус-группы используются для реализации следующих целей:

1) генерирование идей;

2) проверка гипотез для количественных исследований;

3) подготовка инструментария для количественных исследований;

4) интерпретация результатов количественных исследований;

5) изучение особенностей поведения отдельных групп людей.

Количество участников

Фокус-группы как правило работают в помещениях, оборудованных видеокамерой. Количество участников группы - от 8 до 12 человек. Этот диапазон оптимален, выверен десятилетиями и отражает баланс двух факторов: при меньшей группе падает интенсивность обсуждения, при большей не все участники получают возможность высказаться. Ведет групповое интервью модератор - профессиональный исследователь, который должен обладать определенными навыками работы с людьми, уметь расположить их к себе, быть нейтральным, одинаково относиться к любому мнению, высказанному участниками, даже если оно не совпадает с его собственным. В качестве критериев отбора участников используются пол, возраст, уровень доходов и т.д. Часто проводятся 2-3 фокус-группы по одному сценарию с различным составом участников.

Во многом на количество участников влияет цель проведения фокус-группы. Например, чем меньше группа, тем возможнее получение так называемой глубинной информации, а чем больше группа, тем выше вероятность генерирования большего количества идей.

Подбор участников

Способы отбора участников:

· 1) случайный отбор по имеющимся в базах данных спискам;

· 2) "снежный ком"- отбор людей, соответствующих заданным критериям по информации, предоставляемой людьми о своих знакомых;

· 3) стихийный отбор с использованием экспресс-интервью и анкетирования для выбора наиболее подходящих респондентов.

Не следует вместе опрашивать мужчин и женщин, если тема исследования затрагивает интимные вопросы или в тех случаях, когда либо мужчины, либо женщины могут оказать влияние на мнение группы в вопросах, затрагивающих области, в которых мужчины традиционно считают себя знатоками, или например, в вопросах, связанных с воспитанием детей, где лидирую женщины. Знакомых исследователя или знакомых между собой людей также не следует приглашать в одну группу, так как можно предвидеть степень влияния исследователя или влияния их друг на друга. Таким же образом может повлиять образовательный или социально-экономический статус и уровень информированности - эксперты часто либо добиваются безусловного согласия, либо заставляют спорить, даже если вы с ними согласны.

Сценарий фокус-группы

Сценарий фокус-группы - это набор вопросов, предлагаемых для обсуждения. Содержание плана определяется степенью формализации фокус-группы.

Структурированная фокус-группа предполагает работу модератора по заранее подготовленному путеводителю. Полуструктуированная фокус-группа проходит по так называемому гибкому или эскизному путеводителю, который существенно корректируется в зависимости от реакций участников. В редких случаях путеводитель отсутствует вообще. Это, как правило, применяется в пилотных (пробных) исследованиях.

Вопросы путеводителя разбиваются на тематические блоки, между которыми необходимо сделать связки-"мостики". При разработке путеводителя используются общие требования, предъявляемые к формулировке и порядку расположения вопросов (от общего к частному, однозначность понимания, понятность, нейтральность, простота построения и т.д.).

Целесообразно использование различных качественных методик: ролевая игра, незаконченное предложение, ассоциация, метафора, сомнение в очевидном, описание противоположного собственному типа поведения, косвенные (скрытые) вопросы и т.д.

Сценарий фокус-группы пишется заранее, вопросы располагаются в логической последовательности и таким образом, чтобы людям было понятно, почему вы их об этом спрашиваете именно сейчас. В первую очередь формулируется цель исследования, исходя из тех сведений, которые вам нужно получить. Сценарий состоит из вступления, фоновых вопросов, основных вопросов, дополнительных вопросов и заключительной части.

1. Вступление (15 минут в полуторачасовой дискуссии). Объясните цель встречи, важность мнения участников для вас. Скажите, что фокус-группа - не для оценки знаний каждого, а для исследования проблемы. Объясните, что мнения участников могут расходиться, но в этом и состоит ценность их опроса. Представьте наблюдателей, объясните причины их присутствия: наблюдатели нужны для подробного фиксирования всего хода работы. Объясните использование технических средств (магнитофон, видеокамера). Представьте участников и команду исследователей. Примените один-два приема для разряда обстановки.

2. Фоновые вопросы (10 минут). Вопросы, относящиеся к теме фокус-группы, но более общего характера. Цель - дать участникам возможность сориентироваться и привыкнуть друг к другу и к модератору. Модератор проявляет равное внимание ко всем участникам, стремясь к сбалансированному высказыванию самых различных мнений. Лучше всего обращаться к участникам по именам.

3. Основные вопросы (50 минут). Ответы на них позволяют добиться цели проведения качественного исследования. Вопросы должны быть открытые, причем следует избегать наводящих вопросов типа: `Вам ведь это понравилось, не так ли?". Вопросы задаются в логической последовательности, каждый последующий проясняет и раскрывает ответы на предыдущий. В этой части можно, например, спросить: `Что Вам понравилось (или не понравилось) в чем-либо?", `Насколько Вы удовлетворены чем-либо?", `Что бы Вы хотели изменить?", `Как вы относитесь к чему-либо?". Вопросы должны быть тщательно продуманы и объективны. Поддерживайте контакт взглядом и следите за языком тела участников. Предупреждайте доминирование одних участников над другими.

4. Дополнительные вопросы, относящиеся к делу, но менее важные (10 минут). Обычно спрашивается о том, как участники получают информацию об обсуждаемом предмете или теме, какие каналы наиболее часто используются. Иногда задаются уточняющие вопросы.

5. Окончание фокус-группы (5 минут). Перед окончанием делается краткий перерыв, во время которого модератор сверяется со сценарием и обсуждает ход беседы с наблюдателем. Затем задаются завершающие вопросы, выражается благодарность группе за участие и вручается вознаграждение, если оно предусмотрено. На этом фокус-группа заканчивается.

Проведение фокус-группы

Требования к месту и времени проведения дискуссии

Продолжительность фокус-группы определяется в зависимости от цели исследования и колеблется между 1,5-3,5 часами. Для проведения исследования наиболее подходит вечер рабочего дня или выходные дни.

Помещение должно быть просторное, светлое, с круглым столом или низкими столиками. Обстановка должна быть нейтральной (отсутствие ярких цветовых "пятен", звукоизоляция, отсутствие дополнительных стимулов в помещении и т.д.).

Техническое оснащение

Необходимо иметь звукозаписывающую аппаратуру (магнитофон, видеокамера). В некоторых случаях для демонстрации стимульного материала требуется видеомагнитофон, телевизор. Желательно наличие демонстрационной доски, на которой можно размещать схемы, плакаты, образцы и т.д. Кроме этого, могут потребоваться: бумага, карандаши, ножницы, ручки, фломастеры, маркеры, клей и т.д.

Анализ данных фокус-группы

Прежде всего, делается расшифровка аудио - и видеозаписей и составляется стенографический отчет, в котором представлена отредактированная запись фокус-группы, описание невербальных реакций участников группы, данные наблюдений модератора и его ассистентов. Целесообразно выявить причины и характер различий во мнениях, оценках.

Полученные результаты сравниваются с результатами аналогичных исследований, подвергаются экспертным оценкам.

Мировая практика показала, что метод "фокус-группа" эффективно используется в сфере маркетинга при изучении поведения потребителей определенных товаров, услуг и идей, реакций на рекламу, в политической сфере при разработке и оценке результатов различных социальных и политических программ, при изучении имиджа политических деятелей, в сфере социологии здоровья и медицины, при изучении деликатных тем, в сфере социологии коммуникации при изучении коммуникативного поведения целевой аудитории (чтение печатных изданий, просмотр передач телевидения, прослушивание радиостанций и т.д.) и в других сферах.

Существуют различные определения метода "фокус-группа". Дмитриева Е.В. дала такое определение:

"Метод фокус-группа - это качественный метод сбора социологической информации в гомогенных (по значимым для исследования признакам) группах, имеющих фокус, с участием ведущего и основанных на принципах групповой динамики". В качестве "фокуса" могут выступать фильм, рекламный ролик или его раскадровка, продукт, имидж компании, выбранная тема групповой дискуссии, проблема или явление социальной жизни.

Фокус-группа - это определенная группа респондентов, которая состоит из 8-10 человек, собирающихся вместе для обсуждения определенной темы, в которой каждый из них является заинтересованным в той или иной степени. Обсуждение можно продолжать до двух часов, однако нередко возникает такая ситуация, когда работать приходится на порядок дольше. Стоит отметить, что если заранее известно, что придется работать в течение более длительного времени, то в таком случае фокус-группа называется продленной. Дискуссии при таком собрании относятся к технологиям качественного анализа, так как информация, которая получается в результате работы таких специалистов, не может называться репрезентативной для определенной группы людей.

Зачем она нужна?

Фокус-группа - это необходимая часть современного маркетинга, которая активно используется в самых разных сферах бизнеса. Создается данная группа для того, чтобы ее участники в процессе грамотно направленной дискуссии могли выразить собственное мнение по теме обсуждения, стараясь раскрыть ее с индивидуальной точки зрения. В процессе изучения таких групп раскрывается достаточно широкий круг мнений, к примеру, это может касаться уровня удовлетворенности и постоянства покупателей, восприятия уровня обслуживания, определения лидеров в той или иной сфере, а также еще целого ряда других вопросов.

Также фокус-группа - это неплохой инструмент для понимания скрытых побуждений и мотивов касательно уровня обслуживания. У потребителей всегда есть самая разная информация, которую он получил на основе собственного жизненного опыта, касательно высокого и низкого уровня обслуживания, и в отличие от преимущественного большинства других тем потребитель радостно обсуждает эту информацию с другими людьми. Таким образом, фокус-группа - это довольно популярный вариант проникновения в самые разные аспекты качества обслуживания населения, а также уровня удовлетворенности и постоянства со стороны потребителей.

Фокус-группа из конкурентов - реально ли?

В то время как использование фокус-группы часто встречается в процессе изучения различных проблем, связанных с мнением покупателей, для того, чтобы исследовать проблемы самой структуры бизнеса, использовать ее гораздо сложнее, особенно если группа будет комплектоваться из представителей компаний, которые функционируют в определенной области. В преимущественном большинстве случаев проведение фокус-группы редко интересует представителей компаний по причине опасения того, что конкуренты могут получить, и впоследствии тем или иным образом использовать закрытую информацию, принадлежащую данной компании. Однако группы все равно идеально функционируют, если их набор осуществляется из неконкурентоспособных компаний, и в то же время сами участники могут понять, что у их бизнеса есть гораздо больше точек соприкосновения, чем они могли подумать.

От чего зависит успешность работы такой группы?

На то, насколько успешным будет проведение фокус-группы, влияет достаточно большое количество факторов, а именно:

  • Грамотный набор участников.
  • Правильный выбор координатора или, как его еще называют в профессиональных кругах, модератора проекта.
  • Комфортность обстановки.
  • Актуальность обсуждаемой темы.

В каком количестве должны быть представлены респонденты?

Как и при проведении количественных исследований, различные виды фокус-групп предусматривают в первую очередь грамотный выбор ее состава. Нужно будет набрать изначально представительскую выборку из той аудитории, которая представляет собой основную цель исследования. Так как в преимущественном большинстве случаев в группу обычно набираются люди, которые работают или же проживают на постоянной основе на географически ограниченной территории, есть смысл собирать такие группы в разных районах, особенно если присутствуют какие-то региональные особенности в восприятии потребителя.

Какие могут быть проблемы?

Помимо этого, достаточно важным будет также рассчитать динамику группы. К примеру, насколько эффективной будет группа, в составе которой присутствуют как мужчины, так и женщины? Представьте ситуацию, при которой мужчина будет больше интересоваться тем, чтобы произвести впечатление на противоположный пол вместо того, чтобы серьезно обсуждать определенную проблему компании. Конечно, нередко такой формат вносит оживление в группу, но на самом деле другие участники могут быть недовольны этим, да и в принципе это очень часто просто мешает нормальному обсуждению вопроса.

Также могут возникать трудности в том случае, если виды фокус-групп набираются из участников со смешанным возрастом, так как в конечном итоге может образоваться конфликт поколений. К примеру, это часто происходит при обсуждении таких вопросов, как стоит ли брать деньги в кредит.

Культура людей - один из самых важных моментов

В обязательном порядке следует также учитывать различия между культурами. В определенных странах достаточно сложно вынудить респондента искренне высказать какие-либо критические замечания касательно качества предоставляемых товаров или же услуг определенной компании по той причине, что там публичная критика представляет собой один из основных признаков невоспитанности. Именно по этой причине фокус-группа - это в психологии отдельная тема, которой уделяется пристальное внимание. Помимо всего прочего, представители различных культур могут считать абсолютно неправильной ситуацию, когда координатором в группе респондентов-женщин устанавливается мужчина.

Модератор

Какой должен использоваться метод фокус группы? Это вопрос экспертов, ведь главным их предназначением является предельно возможное облегчение работы собравшихся людей. В преимущественном большинстве случаев работа таких групп осуществляется в формате дискуссии, которая строится вокруг темы, которая согласуется предварительно. Модератор группы должен обладать специализированными навыками, позволяющими направлять дискуссию таким образом, чтобы у каждого участника была возможность выразить собственное мнение, и при этом исключить доминирование какого-либо мнения над мнением других людей, которые присутствуют в данной группе.

Модератор должен тщательно следить за тем, чтобы каждая отдельная тема обсуждалась на протяжении определенного периода времени. Помимо всего прочего, координатор должен предельно внимательно слушать, что и как говорит каждый участник собравшейся группы, одновременно пытаясь понять его состояние. Модератор фокус-группы - это профессиональный специалист, который досконально разбирается в проведении таких мероприятий. Возможно, модератору нужно будет использовать определенные стимулы или же какие-либо другие специализированные средства для того, чтобы разрабатывать отдельные темы. Другими словами, вся эта работа должна проделываться квалифицированным специалистом, так как метод фокус-группы - это чрезвычайно важное и ответственное мероприятие, которым должны управлять не новички, а уверенные в себе профессионалы.

Помещение

Зачастую создаются такие условия, чтобы маркетинговые исследования фокус-группы осуществлялись в специально оборудованном помещении. На сегодняшний день зачастую группа собирается в помещении, которое изначально специализируется на записи звука и съемки. Зачастую в таких офисах присутствуют специальные комнаты, которые могут быть полностью переоборудованными в соответствии с теми целями, которые преследуются данной группой.

В частности, к примеру, в некоторых компаниях часто создается обстановка уютной гостиной с диваном, стульями, телевизором, кофейным столиком и другими традиционными элементами интерьера. Также можно будет трансформировать комнату в что-то схожее с залом заседаний в том случае, если осуществляется исследование в области предпринимательской деятельности. В любом случае первостепенная задача, которую ставит перед собой модератор, которым руководится фокус-группа - это вид помещения, который должен быть не напрягающим для участников, а также не создающий для них какой-то дискомфорт. При этом не стоит забывать о том, что согласие на участие в фокус-группе представляет собой довольно неординарное событие в жизни многих людей, поэтому многие ощущают различного рода опасения по этому поводу.

Что это дает?

Если первичный анализ фокус-группы проводится правильно, и все грамотно организовано, то в таком случае компания заранее сообщает всем участникам различные подробности, которые относятся к предстоящему мероприятию. Помимо всего прочего, обеспечивается питание, а некоторые и вовсе предпочитают развести участников по домам после того, как группа закончит свою работу. Зачастую участникам предоставляется определенная плата в качестве компенсации за то, что они потратили собственное время.

Что обсуждать?

Еще одним немаловажным элементом является то, что именно будут обсуждать участники фокус-группы, а точнее говоря - тематический указатель данного мероприятия. Сюда входит конкретный перечень обсуждаемых тем, и впоследствии его будут использовать для того, чтобы дискуссия направлялась в определенное русло.

Для того чтобы поддержать интерес со стороны участников к тому предмету, для изучения которого осуществляется исследование фокус-группы, нужно изначально подготовить для обсуждения те проблемы, которые являются важными для всех потребителей. Изначально дискуссия начинается с того, что происходит знакомство с каждым отдельным участником, после чего обсуждается непосредственно предмет разговора, и в этом обсуждении участвуют абсолютно все. Это является чрезвычайно важным, так как модератор должен как можно раньше вовлечь в предмет дискуссии каждого участника.

Все-таки сам формат проведения такого мероприятия представляет собой своеобразную встречу друзей, но это чужие люди, которых собрали в незнакомом для них месте, где они делают то, чего никогда раньше, возможно, даже не делали - они ведут продуктивную дискуссию касательно того предмета, о котором они могли раньше даже не задумываться.

Как ведет себя ведущий?

Ведущий обсуждение в фокус-группе - это ответственная специализация, и человек, которым осуществляется эта работа, должен изначально разрушить комплексы каждого из участников. И после того как ему это удастся, он должен в соответствии с тематическим указателем вести беседу по специальной схеме: начиная от поверхностного ознакомления с темой и заканчивая глубочайшим проникновением во все ее аспекты.

Результат нужен сейчас

Немедленное представление результатов после окончания работы группы - это то, чего зачастую боится любой модератор. После того как было проведено несколько часов напряженной работы, в группе координатора просят моментально предоставить результаты по основным проблемам проводимой дискуссии. Данное требование просто не дает возможности модератору обдумать полученную им информацию, к примеру, для того, чтобы понять, насколько результаты отличаются от тех, которые получили другие группы в процессе исследования данной темы. При этом клиент уже успел сделать самостоятельные выводы, и теперь настаивает на том, чтобы модератор выложил свои, и он смог сопоставить их.

Нередко случается так, что ситуация осложняется из-за личностных свойств тех людей, которые занимаются проведением исследования. Все-таки фокус-группа в социологии - это далеко не то же самое, что и в маркетинге, поэтому специалисты, каждый из которых разбирается в своей отдельной сфере, могут конфликтовать между собой.

Правильно ли это?

На самом деле далеко не всегда можно сделать выводы, основываясь на результатах работы какой-то конкретной фокус-группы, особенно если это касается каких-то новых услуг или же товаров. В преимущественном большинстве случаев приходится собрать одновременно несколько групп для того, чтобы окончательно понять, почему потребители ведут себя так или иначе, потому что фокус-группа в маркетинге - это универсальный инструмент, который должен охватывать всех.

Помимо этого, нередко случается так, что приходится менять содержимое или же основную цель проводимого исследования, если изначально полученные результаты не могут быть нормально интерпретированы или же порождают только еще большее количество вопросов, которые, вероятно, нужно будет добавить в опросный лист.

Фокус-групповое исследование является самым распространенным качественным методом сбора информации. Термин «фокус-группа» является сокращением от понятия «фокусированное интервью», предложенного Р. Мертоном, М. Фиске и П. Кендалл в 1946 г. В дальнейшем представители различных социологических школ по-разному трактовали особенности этого метода. Однако устойчивыми остаются некоторые подходы и принципы, которым следуют те, кто его использует. По мнению Т. Гринбаума - автора популярного на Западе учебника по фокус-группам - исследования этого типа включают четыре общих элемента:

  1. Вовлечение нескольких респондентов, собранных в одном месте.
  2. Взаимодействие участников. Если во многих других типах исследований считается, что любая дискуссия между участниками искажает чистоту ответов, то на заседаниях фокус-групп субъекты поощряются к взаимодействию друг с другом.
  3. Весь ход обсуждения осуществляется профессионалом-модератором. Он направляет течение групповой дискуссии в соответствии с целями, поставленными на предварительной стадии.
  4. При проведении фокус-групп используется сценарий. Если в количественном исследовании при сборе информации применяется законченный, формализованный, структурированный инструментарий, то путеводитель обычно имеет форму относительно незавершенного руководства. Его основное назначение - фокусирование проблемы, настраивание на определенную тему. Одновременно он должен давать возможность спонтанным высказываниям участников, обеспечивать групповую динамику.

Еще одной особенностью является то, что по своему назначению этот тип исследований отличается от других групповых методов, например, от дельфийского метода, «мозгового штурма ». Последние формируются из экспертов и ориентированы на выработку рекомендаций и согласованных решений. Фокус-группы предназначены для другого: выявление спектра мнений по изучаемой проблеме, поиск объяснения поведения людей в тех или иных сферах.

Эффективность фокус-групп определяется тем, что большинство людей ощущает себя комфортно, если вовлечены в дискуссию как часть группы. При правильном осуществлении метода появляются лучшие возможности для получения углубленной информации, чем при индивидуальных интервью. Одновременно групповая динамика позволяет определить значимость такого явления, как групповое влияние.

Успешность фокус-группового исследования зависит от множества организационных и методических факторов. Выделим наиболее важные из них.

Подготовка фокус-групп . Эта стадия во многом совпадает с тем, что делают социологи при использовании количественных методов. Подготавливается программа, включающая формулировку и обоснование проблемы, определение целей и задач, объекта и предмета исследования. В других аспектах есть существенные различия. Например, гипотезы выдвигаются лишь «вчерне», а затем, в ходе исследования, уточняются. Это делается для того, чтобы заранее сформулированные гипотезы не предопределяли процесс познания проблемы. Например, решение людей о покупке сопряжено как с личными потребностями, так и с ситуационными переменными. Чаще всего, особенно когда идет речь о новых продуктах, мы скорее сталкиваемся с континуумом, чем с четко выраженной дихотомией, - поэтому традиционные гипотезы не «срабатывают». По мере сбора информации, овладения проблемой исследовательские предположения приобретают законченный характер. Это дает возможность четко определить, что стоит положить в основу сегментирования рынка.

Огромное значение имеет определение числа, размеров и состава фокус-групп. Как известно, этот метод не предполагает применения выборки, так как его назначением выступает описание и понимание явления, а не экстраполяция выводов на большие социальные общности. Фокус-группы формируются на основе индикаторов социально-демографического положения участников и показателей, характеризующих их потребительское, электоральное или другие виды поведения. Эти требования являются особенно важными, поскольку ошибки при определении групп неблагоприятным образом скажутся на результатах исследования. Может случиться так, что хорошая концепция новой продукции или новой рекламной идеи будет необоснованно отвергнута из-за того, что участники не представляют контингент, который заинтересован или имеет необходимые знания по существу обсуждаемого предмета. Опыт показывает, что не следует жалеть времени для внимательного обдумывания состава участников, необходимо обсудить, какие социальные страты должны стать потребителями продукции, и в первую очередь вести работу с ними.

Таким образом, основное правило при выборе респондентов состоит в том, чтобы определить социальные типы, являющиеся перспективными для целевого рынка товаров или услуг. Например, если кампания разрабатывает концепцию нового продукта - кофе со сниженным содержанием кофеина, то в состав респондентов этого исследования обязательно должны включаться потребители кофе, а также, если позволяют обстоятельства, то и лица, заинтересованные в новом продукте. Примеры такого рода можно продолжить. Скажем, если задачей исследования является определение жизнеспособности некоторых идей в предвыборной борьбе, то для обеспечения корректных результатов необходимо привлечение представителей как различных социальных групп, так и реальных и потенциальных сторонников кандидата или партии.

Важнейший принцип при формировании групп - обеспечение однородности, гомогенности состава групп. В случае несоблюдения этого правила динамика группы может быть существенно заторможена. Например, характер участия в дискуссиях мужчин и женщин существенно различается в смешанных группах и в группах, разделенных по половому признаку. Это связано с тем, что некоторые люди весьма чувствительны к реакции лиц противоположного пола и поэтому часто говорят не то, что чувствуют на самом деле. Бывает и так, что присутствие женщин побуждает некоторых мужчин говорить с большим апломбом (так называемый «павлиний эффект»), что иногда раздражает участников. Конечно же, большое значение имеет тема дискуссии. Поэтому вряд ли целесообразно включать мужчин и женщин в одно групповое интервью, посвященное потреблению пива, или, например, предметам туалета, моющим средствам. Одновременно опыт показывает, что разделение не имеет смысла, когда обсуждаются профессиональные проблемы. Женщины, в какой бы сфере ни трудились, высказываются без оглядки на своих коллег противоположного пола.

Требование дифференциации распространяется и на другие социально-демографические характеристики: возраст, образование, уровень благосостояния и пр. Например, лица с высшим образованием, как правило, четче излагают свою позицию и в силу этого могут доминировать в дискуссии, поэтому, когда речь идет об обсуждении особенностей рекламной кампании, то желательно развести респондентов в зависимости от уровня образования.

Одновременно критерии выбора участников обсуждения не должны быть слишком конкретными, поскольку могут возникнуть слишком высокие издержки из-за чрезмерно завышенных требований к рекрутированию. В то же время еще раз отметим, что решающее значение принадлежит предмету дискуссии, именно он выступает основным дифференцирующим фактором.

При комплектовании групп достаточно часто возникает необходимость исключения из состава некоторых лиц. Совершенно очевидно, что исследователь должен стремиться к тому, чтобы свести к минимуму влияние факторов, негативно воздействующих на атмосферу обсуждения. Поэтому необходимо отсеивать тех, чье участие может неблагоприятным образом сказаться на характере дискуссии. К их числу относятся следующие категории:

Лица, недавно участвовавшие в фокус-группах. Основное требование при включении в группу заключается в том, чтобы респонденты до этого не принимали участия в подобных исследованиях, по меньшей мере, в течение полугода. Это делается для того, чтобы отсечь «профессиональных» респондентов, т. е. тех, которые из-за желания подзаработать или ради развлечения готовы принимать участие в группах по нескольку раз в месяц. Проблема заключается в том, что эти респонденты уже самим фактом частого присутствия в группах могут ознакомиться с техникой ведения заседаний и предпринимать попытки манипулировать его ходом. Кроме того, от них можно ожидать также «желательных», по их мнению, ответов.

Лица, связанные с рекламой и маркетинговыми исследованиями. Нежелательность их участия связана с тем, что они могут оказаться пристрастными в своих выводах, кроме того, нельзя исключить, что в некоторых случаях они могут нарушить конфиденциальность, сообщат идеи исследования конкурентам.

Лица, связанные с исследуемой отраслью. Если исследуется какой-то продукт или услуга, то люди, занятые в соответствующей отрасли, и их близкие родственники должны исключаться из участия. Ведь их мнение может быть необъективным в силу того, что они знают специфику производства данных товаров и услуг, имеют доступ к специальной информации, поэтому их потребительское поведение будет нетипичным.

Лица, хорошо знакомые друг с другом или с модератором. Требование не приглашать друзей на групповое интервью основано на том опасении, что отношения между ними могут изменить процесс взаимодействия в группе. Когда люди уже выработали некоторую схему взаимоотношений, то существует вероятность того, что они будут играть те же роли и в групповой дискуссии, что, несомненно, исказит динамику обсуждения. Это же в полной мере распространяется на ситуацию, когда модератор и кто-нибудь из респондентов хорошо знакомы.

Не существует общепринятых критериев определения размера идеальной фокус-группы. Тем не менее большинство специалистов в этой области считает, что оптимальная численность группы составляет 8-10 человек. Именно это число, с одной стороны, обеспечивает разнообразие взглядов и выгоды взаимодействия, а с другой стороны, не мешает полноценному участию в обсуждении каждого члена группы. Если будет больше 10 человек, то модератору очень трудно контролировать ход обсуждения, направлять дискуссию в нужном направлении, стимулировать эффективное групповое взаимодействие. В результате, исследование, задуманное как фокус-группа, превращается в заседание, проходящее в форме вопросов и ответов между модератором и участниками. Участие менее 8 человек также малопродуктивно. Во-первых, практически в каждой группе находится, по крайней мере, один участник, пытающийся говорить слишком много, но не по существу, и другой участник, который является слишком застенчивым или испуганным. Следовательно, если проблемы обсуждаются при составе менее 8 человек, то реальное число участников будет невелико (возможно, 4-5 респондентов). Во-вторых, участники небольших групп склонны, по-видимому, неосознанно выступать в качестве экспертов, а не как средние, типичные потребители, которые сообщают о своих личных ощущениях. Поэтому чрезвычайно важно добиться от каждого участника понимания того, что он участвует в исследовании в роли потребителя продукта и наиболее важным является его собственное мнение.

Существуют, однако, некоторые обстоятельства, при которых мини-группы бывают целесообразны. Например, если имеется небольшое количество подходящих респондентов, которых необходимо свести вместе для взаимодействия, или если повестка заседания ограничена и нет возможности включить необходимое количество участников. В этих случаях может рекрутироваться и менее 5-6 респондентов по причине того, что групповое интервью может быть проведено при более низких затратах и с большим эффектом, чем серия индивидуальных.

Один из наиболее важных вопросов, возникающих при планировании качественного исследования - в каких географических точках проводить группы. Это важный фактор как для определения количества групп, так и для подсчета затрат на проект. Цель проведения фокус-групп в нескольких местах состоит в гарантии того, что полученные данные не являются отражением специфики конкретного локального сообщества. По тем же причинам, по которым мы должны репрезентировать в исследовании различные социально-демографические слои, региональная дисперсия - это надежный контроль или подстраховка, которая способствует повышению разнообразия групп. При этом надо помнить, что в качественном исследовании систематическое сопоставление данных по географическому фактору обычно не производится, так как даже если оно осуществляется в нескольких точках, все равно не может представлять всю страну или экономический район. Даже если региональные особенности действительно себя проявляют, их все же надо воспринимать с осторожностью, как вероятность, но не как доказанный факт. Подобное предостережение относится к любым переменным, включая пол и доход.

Только там, где надежные статистические или социологические показатели дают веские основания предполагать, что географический пункт является значимым фактором различий, уместно сделать попытку сравнений. Так, например, вполне очевидно, что ход и особенности заседаний фокус-групп, посвященных проблемам экологии, ядерной безопасности и российско-украинским взаимоотношениям, будут совершенно различны в двух городах Ростовской области - Таганроге и Волгодонске, поскольку актуальность этих вопросов для их жителей существенно различна. Итак, представляется целесообразным рассматривать географическую репрезентацию как дополнительный способ для достижения разнообразия, а не как инструмент для систематического сравнения.

Важной проблемой выступает определение числа групп. Конечно же, учитываются финансовые ограничения, но нет объективных стандартов, по которым можно было бы измерить адекватность качественных методов. Поэтому исследователь в значительной мере полагается на опыт, авторитетные мнения и интуицию при выработке решения относительно количества групп. Этот фактор зависит от числа переменных, которые мы хотели бы проанализировать. Если планируется сравнить роль возраста, пола и дохода, необходимо значительное количество групп. Однако, как показывает опыт, в этом случае отдача каждого последующего заседания уменьшается. Специалисты полагают, что большинство проблем может быть рассмотрено на 6-8 группах. Не рекомендуется проводить более десяти заседаний по одной проблематике, потому что дополнительные группы редко вносят что-то новое. Кроме того, затраты и время, требуемые для подобных исследований, имеют тенденцию понижать некоторые из преимуществ качественного исследования, не делая при этом результат статистически более достоверным.

Ключевым элементом в подготовке фокус-групп является составление плана, сценария заседания. В социологической практике используются также и другие его наименования: путеводитель, гайд (guide - руководство, пособие), вопросник. Последний термин не представляется удачным, так как снижает значимость этого документа. Его предназначение двояко. С одной стороны, он выступает формальным средством отношений с заказчиком, фиксирующим понимание предмета, подлежащего обсуждению в данной группе, и приоритетов, в соответствии с которыми это должно быть сделано. С другой - сценарий вбирает в себя все содержательные и организационные аспекты.

Большинство модераторов проводит заседание группы в течение 1,5-2 часов, и, соответственно, сценарий занимает 3-4 страницы. В идеале он должен содержать в себе 7 основных составляющих:

  1. Изложение целей данного заседания.
  2. Определение состава группы.
  3. Сценарий должен быть обеспечен текстом краткого вступительного слова. Обычно включает объявление темы дискуссии, регламент проведения, инструкции участникам и т.п.
  4. Начальная стадия. Знакомство с каждым респондентом и указания на общие контуры проблемы.
  5. Обсуждение основного предмета. Должны быть определены темы, связанные с обследуемым продуктом или концепцией, которые должен охватить модератор. Например, если на заседании определяется отношение к какому-то сорту пива, то эта часть сценария должна начинаться с обсуждения потребления участниками пива вообще: как часто, где, в каких обстоятельствах, какие сорта обычно предпочитают и пр.
  6. Конкретное обсуждение. В данной части сценария должен содержаться перечень конкретных вопросов и аспектов, о которых заказчик желает получить детализированную информацию. Переход от общих вопросов к частным.
  7. Финальная часть. Может включать обзор высказанных позиций, дополнительный зондаж мнений по каким-то темам. Выражение благодарности за работу.

В дополнение к перечисленным элементам плана необходимо включить еще два:

  1. Распределение времени дискуссии. Должны содержаться заметки относительно времени, отводимого для каждой части заседания.
  2. Использование стимулов. В данном контексте под ними понимаются средства для активизации обсуждения и демонстрации точек зрения. Это могут быть рекламные ролики, рекламируемые товары, образцы продукции и ее упаковки, изложение концепции, слоганы и т.д. Иногда участникам предлагается из фотографий составить коллажи, которые соответствуют образу товара, проигрываются варианты его названий.

В зависимости от мастерства модератора и особенностей дискуссии допускается корректировка сценария, внесение в него изменений по ходу дискуссии. Главное - обеспечить групповую динамику, создать атмосферу, в которой каждый участник может свободно и спонтанно высказаться.

И, наконец, немаловажная часть подготовки к заседанию фокус-групп - техническое оснащение. Для этого требуется подходящее помещение, желательно со столом круглой или овальной формы. Идеальной является комната с односторонним зеркальным экраном, за которым могут находиться наблюдатели. Другим вариантом является организация дистанционного видеонаблюдения, т.е. телетрансляция в соседнее помещение. Во всех случаях производится видео- и аудиозапись дискуссии. Кроме того, необходимы канцелярские принадлежности для выполнения возможных в ходе заседания тестов и заданий, прохладительные напитки и легкая закуска для участников, видеотехника для демонстрации роликов.

При проведении фокус-групп прежде всего решаются организационные проблемы:

Контроль за явкой заранее приглашенных респондентов;

Заполнение ими анкеты-фильтра, отсев нежелательных участников. Поэтому традиционно рекрутируется людей больше, чем это необходимо для заседания;

Подготовка табличек с именами участников;

Размещение респондентов в комнате для дискуссий.

Далее вступает в свои права модератор - ключевая фигура в фокус-групповом заседании. Буквальный перевод этого слова: регулирующий, умеряющий. Были попытки найти адекватное русское понятие, например, «председатель», «ведущий», но они не закрепились, поскольку не отражают специфику деятельности. Ведь в фокус-группе модератор не должен выступать в роли «начальника», руководителя дискуссии, а быть тем, кто способствует ее ходу. Обычно опытный модератор балансирует между активным участием и пассивным наблюдением.

Выделим некоторые характеристики модератора. Он должен обладать высокой коммуникативностью, быстро достигать взаимопонимания с респондентами, уметь их слушать, четко ориентироваться в ходе обсуждения, быть восприимчивым, иметь хорошую память. Он обязан хорошо ориентироваться в дискутируемой теме, но не выглядеть всезнающим - иначе участники будут воспринимать его как эксперта. Его осведомленность не должна серьезно выходить за границы знаний, которыми обладают респонденты. В связи с этим еще раз подчеркнем, что смысл фокус-группового исследования состоит в том, чтобы заказчик мог посмотреть на свой продукт или концепцию глазами типичного потребителя.

Считается, что умелый модератор должен в процессе обсуждения держать в своем сознании следующие вопросы:

Что я еще должен спросить, чтобы понять, почему он (она) так думает?

Слышал ли я все, чтобы проанализировать проблему и оценить ее объективно исходя из целей исследования?

Что делают участники повседневно? Что я должен узнать об их потребительских предпочтениях, установках, поведении?

Как добраться до реальных чувств респондентов, скрывающихся за интеллектуальностью и рациональностью?

Модератору необходимо найти тот стиль, который более всего ему соответствует. Это может быть серьезная манера поведения или, наоборот, веселая и раскованная. Существует, однако, целый ряд недопустимых стилей ведения, которые могут скомпрометировать работу модератора и снизить качество исследования. К их числу относят следующие типы модераторов: авторитарный, запугивающий, плохо слушающий, «комедиант», растерянный, попустительствующий и др. Групповой процесс предполагает некоторую иерархическую организацию. Если все члены группы вносят свой вклад в дискуссию, то она устанавливается в течение первых 15-20 минут. Последствием является дифференциация респондентов на роли, которые они играют и соответственно воспринимаются окружающими. Если этого не происходит, то каждый член группы будет говорить преимущественно с модератором и отвечать только на его вопросы. Исчезает важнейший фактор функционирования фокус-групп - коллективная социодинамика, групповое взаимодействие.

Обычно выделяют наиболее распространенные позиции респондентов:

- «Союзник модератора» - это тот, кто старается защитить модератора от словесных нападок и выступает в качестве умеряющей ролевой модели для других членов группы.

- Сдержанные участники. Обычно составляют большинство среди участников. В силу своей воспитанности или индивидуальных качеств стараются не выдвигаться на первый план.

- Застенчивые. Отличаются неуверенностью, стремятся не участвовать в дискуссии, поскольку боятся высказать «неправильное» мнение.

2. Деструктивные роли.

- «Альтернативный лидер» стремится занять центральную роль, конкурирует с модератором.

- «Антагонист» выражает критическую точку зрения по любому обсуждаемому вопросу. Различают «рационального антагониста» (демонстрирует негативное отношение в сдержанной и аргументированной манере) и «запугивающего антагониста» (делает вызов ведущему тем, что задает ему трудные вопросы, выходящие за рамки необходимых знаний либо оспаривающие саму целесообразность и законность исследования).

- «Вещатель» противостоит модератору, облекая свои мысли в абстракции и туманные обобщения, чаще всего неудачные. Обычно иллюстрирует свою точку зрения тем, что ссылается на свой опыт или на прежние времена, т.е. его аргументы практически не имеют отношения к обсуждаемым вопросам.

- «Доминатор» очень настойчив, склонен произносить длинные речи и быть первым. Его цель состоит в преподнесении себя, а не во взаимодействии с другими. Если его не сдерживать, то он израсходует на свои речи непропорционально большое количество времени.

- «Уточнитель» отличается тем, что не способен обобщать простые обстоятельства, относящиеся к повседневной жизни, требует постоянного уточнения вопросов и заданий.

- «Нашептыватель» постоянно отвлекает других участников разговорами. Хотя за подобным поведением не обязательно кроется враждебность, тем не менее оно может быть весьма вредным для группы.

Подчеркнем, что часть участников может играть более одной роли одновременно, многое зависит от обстоятельств дискуссии, созданных модератором.

Для формирования необходимой атмосферы и стимулирования социодинамики существует множество методических приемов, направленных на нейтрализацию «антагонистов» и «доминаторов», активизацию пассивных участников, на фокусирование обсуждения и т.д. Все это требует дополнительного детального рассмотрения.

Оформление результатов заседаний фокус-групп .

Несмотря на то, что наблюдатели, представляющие заказчика, обычно присутствуют на дискуссиях и часто бывают готовы под их впечатлением принимать управленческие решения, тем не менее тщательный анализ остается решающим в качественном исследовании.

Основная схема анализа: первичные данные - формирование утверждений - объяснение. На первой стадии расшифровываются аудиозаписи, подготавливается стенограмма, анализируется видеозапись (причем большое значение имеет изучение невербальных реакций респондентов). Далее агрегируется собранный материал и выбираются наиболее значимые категории, характеризующие ход обсуждения во всех проведенных дискуссиях по проблеме. И, наконец, интерпретируются и обобщаются полученные результаты, делаются выводы и рекомендации.

В практике фокус-групповых исследований существует три основных вида отчета:

1) Устный отчет. Он предназначен для диалога с заказчиком на завершающем этапе исследования выступает средством разъяснения результатов. При презентации этого вида отчетов для удобства восприятия используются слайды с наиболее важными выводами, диаграммами. Целесообразно использовать фрагменты видеозаписей с показательными эпизодами обсуждения.

2) Краткий отчет в письменной форме. Резюмирует наиболее принципиальные результаты.

3) Полный детализированный отчет. Включает следующие части:

  1. Введение.
  2. Цели и задачи исследования.
  3. Краткое описание способов получения информации. Критерии отбора респондентов, места проведения и количество групп.
  4. Описание изучаемых общностей, мнений и установок. Приводятся иллюстрирующие цитаты из стенограммы.
  5. Результаты и основные выводы.
  6. Рекомендации и предложения о последующих шагах.
  7. Приложение. Содержит сценарий, анкету-фильтр, стимулирующий материал.

Примеры

1. Характерный образец эффективного использования результатов фокус-групп.

Руководители университета в Миннесоте (США) были обеспокоены тем, что заметно сократилось число выпускников сельских школ из этого штата, желающих у них обучаться и предпочитающих учебные заведения в других местах. Ряд фокус-групп с потенциальными студентами показал, что неправильной оказалась рекламная кампания, осуществляемая университетом. В соответствии со сложившимися стандартами в брошюpax, проспектах и других материалах рассказывалось об огромных учебных корпусах, миллионах книг в библиотеке, о тысячах студентов, о большом числе факультетов и кафедр. В результате выходцы из сельских районов воспринимали университет большим и безликим, они считали, что затеряются в массе студентов и поэтому ориентировались на небольшие университеты и колледжи других штатов. На основании результатов фокус-групповых исследований были созданы новые специальные брошюры, в которых подчеркивалась дружеская атмосфера в кампусах, внимание и готовность к сотрудничеству преподавателей и представителей администрации, возможность создания землячеств и объединений со студентами из сельских общин. В итоге поток выпускников сельских школ вновь возрос.

2. А.Гольдман и С. Макдональд в своем учебнике по методике фокус-групп приводят пример, показывающий разницу в специфике количественных и качественных методов.

А. Количественное исследование. Результаты опроса.

Вопрос: Что Вы предпочитаете - яблочный пирог или шоколадный кекс (% к числу опрошенных)? Яблочный пирог - 26 %. Шоколадный кекс - 22%. И то, и другое - 43 %. Затрудняюсь ответить - 9 %.

Б. Качественное исследование. Обсуждение на фокус-группе.

Вопрос: Что Вы предпочитаете - яблочный пирог или шоколадный кекс?

Ответ: Я не знаю. Я люблю и то, и другое.

Вопрос: Хорошо, если Вам надо взять что-то одно, что это будет? Подумайте.

Ответ: Конечно, пироги различаются. Если у меня будет возможность взять яблочный пирог моей мамы, то я предпочту его любому шоколадному кексу. Если необходимо взять какой-то яблочный пирог, то я точно не знаю.

Вопрос: От чего еще может зависеть Ваш выбор?

Ответ: Например, это зависит от того, что я ем на обед. Если у меня полный обед, я думаю, что возьму яблочный пирог. Яблочный пирог - это большой деликатес в моей семье. Но если на обед я ел что-то легкое, типа рыбы, то лучше взять кекс. Если холодно, я не откажусь от шоколадного кекса.

Приложение. Основные понятия

Качественные методы - методы, которые предполагают получение глубинных ответов. Они нацелены не столько на фиксацию количественных параметров изучаемых явлений, сколько на познание их качества. Часто эти методы определяют как «мягкие», в отличие от «жестких», количественных.

Кейс-стади (case study) - качественный метод, направленный на изучение отдельной общности, уникального объекта в совокупности его взаимосвязей. Дословный перевод: «исследование случая». Термин, возможно, пришел из судебной практики, где кейс - судебное разбирательство. Объектом чаще всего бывает замкнутая общность, труднодоступная для анализа другими методами.

Модератор (буквальный перевод: умеряющий, регулирующий) - специалист, осуществляющий ведение фокус-группы. Регулирует ход обсуждения, способствует групповому взаимодействию.

Нарративное интервью (narrative - рассказ, повествование) - представляет собой свободное повествование о жизни респондента без вмешательства со стороны интервьюера.

Нестандартизированное (неформализованное) интервью - вид интервью, не отвечающего требованию сопоставимости вопросов и ответов, респондент не является учетной статистической единицей. В противоположность стандартизированному (формализованному), этот вид интервью не предполагает наличия жестко сформулированных вопросов, их порядок и т.д.

Путеводитель (синонимы: сценарий, гайд, план обсуждения) - исследовательский документ, в котором описаны все существенные элементы предстоящей фокус-группы.

Фокус-группа - качественный метод сбора социологической информации в однородных группах, имеющий фокус обсуждения, с участием ведущего, основанный на принципах групповой динамики.

Фокусированное интервью - вид интервью, сконцентрированного на определенной проблеме. Предметом изучения являются субъективные переживания, восприятия респондента. Чаще всего бывает нестандар-тизированным или полустандартизированным.

Литература

  1. Белановский С.А. Метод фокус-групп. М., 1996.
  2. Белановский С.А. Методика и техника фокусированного интервью: Учебно-методическое пособие. М., 1993.
  3. Григорьев С.И., Ростов Ю.Е. Начала современной социологии: Учебное пособие. М., 1999.
  4. Дмитриева E.И. Метод фокус-групп: проблемы подготовки, проведения, анализа //Социс. 1999. № 8. С. 133-138.
  5. Дмитриева Е.В. Фокус-группы в маркетинге и социологии. М., 1998.
  6. Основы прикладной социологии /Под ред. М.Н. Горшкова и Ф.Э. Шереги. М., 1996.
  7. Ядов В.А. Стратегия социологического исследования. Описание, объяснение, понимание социальной реальности. М., 2000.

Ю.С. Колесников. Прикладная социология. - Р.н.Д, 2001



Поделиться