Эксперимент в исследовании социально-экономических процессов

валидности, можно уверенно утверждать о причинной связи между признаками.

Правда, соблюсти все три условия еще никому не удавалось.

Но эксперимент — довольно локальное событие. Он ограничен временем,

местом, материалом и иными внешними обстоятельствами. А можно ли

распространить полученные во внутренне валидном эксперименте выводы на

иные, в том числе неэкспериментальные ситуации? Здесь возникает проблема

генерализации — четвертой экспериментальной задачи, завершающей цикл

сравнения, манипулирования и контроля. Предположим, студенты тестируются в

лаборатории по поводу их эмоционального отношения к политическим терминам.

Сохранится ли их отношение к этим терминам вне аудитории? А если вместо

студентов экспериментировать с рабочими? Реакция на политические термины в

устной беседе — одно, а в печатном тексте — другое. Нескончаемая смена

контекстов открывает проблему внешней солидности — возможности обобщения,

генерализации полученного заключения.

Ошибки внешней валидности связаны с двумя причинами. Первая — это

нарушение репрезентативности отбора единиц исследования. Предположим, что с

помощью методического эксперимента установлено, что на открытые вопросы

даются более многообразные ответы, чем на вопросы закрытого типа. Оценка

внутренней валидности заключается в гарантиях, что степень многообразия

ответов была вызвана именно типом вопроса, а не каким-либо иным фактором.

Внешняя валидность предполагает, что такая же зависимость будет наблюдаться

не только в процессе эксперимента, но и в любых ситуациях опроса.

Если, например, в экспериментальную группу были набраны добровольцы

(т. е. люди, обнаруживающие активную положительную установку на беседу с

интервьюером), то полученные данные вряд ли репрезентативны для массового

опроса, где часто встречаются респонденты, не расположенные к многообразным

ответам. Риск ошибки, обусловленный нарушением внешней валидности,

значительно возрастает. В идеальном случае экспериментальная и контрольная

группы должны формироваться методом случайного отбора, чтобы они могли

репрезентировать генеральную совокупность. Однако дело это слишком

трудоемкое и дорогостоящее.

Внешняя валидность отсутствует и в тех случаях, когда план

эксперимента основан на искусственных допущениях. В знаменитом эксперименте

Музафера Шерифа по формированию групповых норм испытуемые должны были

оценить расстояние до точечного источника света, находясь в полной темноте.

Поскольку трудно предположить, что в реальной жизни люди часто обсуждают

автокинетический эффект, внешняя валидность эксперимента Шерифа остается

под вопросом.

В целом внешняя валидность тем больше, чем шире область

распространения полученных выводов. Закон Ньютона—Кеплера, связывающий силу

притяжения тел с их массами и расстояниями между ними, обладает практически

универсальной внешней валидностью. Подтверждение внешней валидности

достигается путем многочисленного воспроизведения эксперимента в новых

условиях.

Проблемы внутренней валидности логически разрешимы посредством

статистического контроля и оценивания. А внешняя валидность не имеет

убедительного логического обоснования.

Типичные нарушения внутренней валидности вывода

На результаты эксперимента оказывают влияние любые события,

происходящие во время проведения исследования, особенно если оно занимает

продолжительное время. Сама зависимая переменная меняется под влиянием

посторонних обстоятельств, и какое из них обусловило изменения, — остается

неясным. Причины изменений обозначаются как изменения исторического фона.

Под «историей» имеется в виду история эксперимента.

Предположим, проверяется гипотеза о воздействии пропаганды на

поведение избирателей. В соответствии со схемой эксперимента осуществляется

замер электоральных предпочтений до пропагандистской атаки и после нее.

Затем сопоставляются значения этой переменной в двух группах:

экспериментальной, подвергавшейся пропагандистскому воздействию, и

контрольной, где на избирателей не оказывалось влияния. Предположим, далее,

что установлены существенные различия между экспериментальной и контрольной

группами. Однако можем ли мы быть уверены, что различия обусловлены именно

пропагандой. За короткий промежуток времени на мнения избирателей могли

повлиять различные события: повышение цен, сенсационные разоблачения

политических лидеров, рост инфляции. Все эти факторы могут служить основой

альтернативных гипотез. Чем больше временной промежуток между протестом и

посттестом, тем больше вероятность «исторических» искажений результатов

эксперимента.

Модификацией «исторических» изменений являются естественные изменения

в самом объекте экспериментирования — «матурация». С течением времени

меняется не только внешняя среда, но и внутренние качества испытуемых.

Предположим, что экспериментальной проверке подвергается метод преподавания

и предварительные измерения отделены от итоговых измерений временем,

занимающим почти весь учебный год. Разумеется, за этот период произойдут

существенные сдвиги в уровне усвоения материала студентами — здесь нельзя

сбрасывать со счетов то обстоятельство, что испытуемые стали взрослее и,

вероятно, умнее. Результат может быть вызван и новым методом преподавания,

и взрослением экспериментального контингента. Даже если эксперимент длится

два-три часа, на его результаты может повлиять усталость и раздражение

испытуемых.

Несоответствие составов групп. На внутреннюю валидность вывода

оказывают искажающее влияние изменения в составе экспериментальной и

контрольной групп. Особенно часто это случается тогда, когда для

эксперимента выбираются примерно равные по возрасту классы, студенческие

группы. Однако проконтролировать все различия довольно трудно. Например,

более высокий уровень сплоченности в одной группе может привести к

существенным искажениям результатов. Надежное средство выравнивания

составов контрольной и экспериментальной групп — рандомизация.

Отсев испытуемых. Если эксперимент длится долго, вероятность избежать

отсева испытуемых по разным причинам довольно высока. Поэтому при

осуществлении итоговых измерений невозможно с уверенностью сказать,

насколько повлияло выбытие испытуемых на результат. Чаще всего из

экспериментов выбывают испытуемые из контрольных групп.

Нестабильность инструментального комплекса. Изменения могут

затрагивать не только внешние обстоятельства (фон) и испытуемых, но и

измерительный инструментарий исследования. Проблема заключается в том, что

в отличие от естественных наук в социологии и психологии измерительные

инструменты (в том числе интервьюер) меняются. А смена измерительного

комплекса влечет за собой смещение данных. Здесь нельзя менять ни wording,

ни калибровку, ни стиль интервьюирования. При экспериментах, связанных с

контролем успеваемости студентов, такого рода погрешности практически

неизбежны. Необходимо не только сохранить критерии оценки знаний — часто

интуитивные, но даже тот психологический настрой, который был присущ

экзаменатору в момент первой проверки. Смена экзаменатора в данном случае

эквивалентна смене инструмента и препятствует всяким сопоставлениям.

Экспериментальный инструментарий предполагает однократное применение к

одному испытуемому. В противном случае возникнет эффект тестирования. Если

экспериментатор обратится с тем же тест-вопросником вторично, результаты

замера будут иными, поскольку испытуемый уже знаком с инструментом и будет

осознанно или неосознанно корректировать свои реакции, например стараться

вспомнить, что говорил прошлый раз, и воспроизводить свои ответы.

Собственно говоря, знакомый испытуемому тест-вопросник — уже другой

инструмент, чем тот, который применялся на стадии протеста, и сравнение

данных содержит существенную погрешность.

И, наконец, самые существенные искажения связаны с влиянием на

результат эксперимента наряду с независимой переменной самой

экспериментальной ситуации — часто такое влияние называют реактивным

эффектом.

Лучше всего проиллюстрировать возникновение реактивного эффекта на

примере проверки нового метода лечения. Зная о том, что на них испытывается

новый метод лечения, пациенты обнаруживают заметные улучшения по крайней

мере в клинической симптоматике заболевания. Лучше себя чувствуют даже те,

кто входит в контрольную группу, т. е. не находится под воздействием

экспериментальной переменной.

Влияние инструмента на реакции респондентов может быть самым

неожиданным. В литературе хорошо описан «эффект интервьюера», когда ответы

в значительной мере обусловлены невольным воздействием личности

интервьюера. Реже упоминается, что вопросы, задаваемые в ходе одного

интервью, обнаруживают более высокую корреляцию, чем те же вопросы,

включенные в разные анкеты. Если вопросы интервью следуют друг за другом,

наблюдается «гала-эффект»: корреляция между ними выше, чем между такими же,

но «отдаленными» вопросами. Корреляция между данными, полученными в один

день, выше, чем корреляция между данными, полученными в разные дни.

Следует различать действие экспериментальной переменной и

экспериментальной ситуации. В последнем случае мы имеем дело с реактивным

эффектом. В медицине от него пытаются избавиться с помощью р1асеЬо —

контрольным больным дают «видимость» экспериментальной переменной,

например, таблетки такого же цвета и вкуса, какие дают экспериментальным

больным. Таким образом, р1асеbо является одним из способов выравнивания

эффекта экспериментальной ситуации. В социологии применить р1асеbо

практически невозможно.

Имеются и другие факторы, снижающие внутреннюю валидность:

взаимодействие фактора отбора с «матурацией», деморализация испытуемых,

связанная с кажущимися неудачами; имитация воздействия и т. п.

Нарушения внутренней валидности, обусловленные изменениями

«исторических» обстоятельств эксперимента, компенсируются сравнением

контрольной и экспериментальной групп — изменения в данном случае

затрагивают и тех, и других испытуемых. Аналогичным образом изменения в

измерительном инструментарии затрагивают обе группы. Реактивный эффект

также оказывает одинаковое воздействие на всех испытуемых. Особенно

серьезную опасность представляют посторонние переменные, связанные с

недостаточным выравниванием групп.

Внешняя валидность, как уже говорилось, это возможность распространить

установленные зависимости за рамки экспериментального материала. При

высокой внутренней валидности, т. е. при уверенности, что изменения в

переменной х вызывают определенные изменения в переменной у, внешняя

валидность может оказаться совершенно неудовлетворительной.

Предполагается, что в отличие от лабораторного эксперимент «на натуре»

ближе к жизни. Часто эксперименты, проводимые на улице, на производстве, в

общественных учреждениях, по месту жительства и т. п. называют в отличие от

лабораторных «естественными». Здесь этические проблемы, связанные с

навязыванием ничего не подозревающим людям экспериментальной «легенды»,

стоят особенно остро.

В литературе имеются десятки примеров замаскированных полевых

экспериментов, позволяющих сравнить ситуации с разными значениями

независимой переменной. Изучалась реакция публики на «пешеходов» высокого и

низкого социального статуса, переходящих проезжую часть на красный сигнал

светофора. Разумеется, пешеходами были экспериментаторы, одетые так, как

одеваются люди высокого и низкого социального положения. Рассылались письма

с просьбой о приеме на работу, при этом в одной группе указывались сведения

уголовного характера, в другой — нет. Зависимой переменной в данном случае

являлись реакции работодателей. Женщина рядом с автомобилем, у которого

села покрышка... В одних случаях она демонстрирует просьбу о помощи, в

других — нет. «Нищие», внешний вид которых отчетливо идентифицируется с

представителями определенных этнических групп, сидят на тротуаре...

«Джентльмен» спрашивает прохожих, не уронил ли кто только что найденную

долларовую бумажку... Помощники экспериментатора собираются на улице в

группы разной величины, а затем устанавливается число прохожих,

привлеченных группой. Несколько «хулиганов» на улице пристают к дамам...

Письма делового, любовного и «нейтрального» содержания, «по ошибке»

попавшие в чужие руки... Перечень подобных естественных экспериментов

бесконечен. Однако свидетельствуют ли они о связи переменных — неясно.

Остается сомнение: являются ли естественные эксперименты более

естественными и валидными, чем эксперименты в лабораториях. Очевидный

«минус» естественных экспериментов — нарушение моральных норм, связанное с

целенаправленным обманом испытуемых, не дававших согласия на участие в

«социодраме». Отчасти исследователей извиняет то обстоятельство, что

моделируемые ситуации входят в число повседневных и не связаны с ущербом,

кроме незначительной потери времени. Но, бывает, мера превышается.

Известны, например, опыты С. Мильгрема с кажущимся применением электрошока

к испытуемым, создание ситуаций, связанных с угрозой верной гибели, и т. п.

IV. Типы квазиэкспериментальных и экспериментальных планов

Многие социологические эксперименты строятся по упрощенному плану

«исследования случая»: выбирается удобная группа испытуемых, к ним

применяется воздействие экспериментального фактора x и замеряется результат

О.В данном случае не производится ни контроля, ни сравнения, и невозможно

утверждать ничего определенного о связи экспериментальной переменной с

эффектом. Вывод в данном случае основан на имплицитном предположении,

какими могли бы быть данные, если бы не было экспериментальной переменной

х. Нередко в качестве экспериментов такого рода рассматриваются крупные

политические события (разгон парламента, политические выборы, революции и

т. п.). Когда Лайфорд Эдварде связывал причину революции с моральной атакой

публицистов на привилегии власть предержащих, он имел в виду некие

глобальные исторические эксперименты, результатом которых явился

политический переворот2.

Связь между «причиной» и «следствием» в лучшем случае обсуждается в

риторических терминах, но никоим образом не контролируется, поэтому речь в

данном случае идет не об эксперименте, а о квазиэксперименте. Ситуация,

сложившаяся после «экспериментального» события, может быть объяснена

множеством факторов, не связанных с экспериментальной переменной. Поэтому в

социологии конкурируют разные в равной степени убедительные версии, но о

внутренней валидности вывода судить невозможно. Внешняя валидность

рассматриваемого плана также сомнительна. «Часто результаты таких

исследований представляют собой унылое нагромождение конкретных деталей,

скрупулезных наблюдений, измерений и т. п., причем точности в таких случаях

добиваются не там, где надо», — пишет Дж. Кэмпбелл3. Никакое сравнение

отдельно взятых факторов не может получить обоснованную теоретическую

интерпретацию.

Несмотря на очевидную слабость такого рода, квазиэксперименты играют

важную роль в социальных и поведенческих науках, особенно в тех областях,

где взаимообусловленные признаки не обязательно являются независимой и

зависимой переменными в строгом смысле. В социологии чаще изучается связь

не между стимулом и реакцией, а между «качествами», одно из которых

считается причиной, а другое — следствием. Когда исследуется связь

социального статуса и политических установок, первое «качество» с полным

основанием считается независимым. Однако в данном случае сложно судить о

временной последовательности воздействия. Первое условие эксперимента здесь

соблюсти невозможно. Второе условие эксперимента также нарушено, поскольку

в социологии переменные чаще всего не специфицированы и образуют синдромы.

Например, классовая принадлежность означает и владение собственностью, и

образование, и культурные приоритеты, и престиж. Такого рода синдромы, как

правило, не поддаются разложению на единичные признаки и, следовательно,

экспериментальной манипуляции. И, наконец, в естественных условиях

невозможно выравнять экспериментальную и контрольную группы. Поэтому

требования сравнения, манипулирования и контроля оказываются невыполнимыми

для большей части социологических задач. Отсутствие экспериментального

контроля может быть с успехом компенсировано философским теоретическим

дискурсом. Например, пресловутый английский индивидуализм объяснялся Э.

Канетти разрозненностью индивидов, окруженных морем и воображающих себя

капитанами4.

При сравнении статистических групп основная трудность состоит в

установлении тех, кто подвергся воздействию экспериментальной переменной.

Собственно говоря, необходимо четко отделить контрольную группу от

экспериментальной после того, как экспериментальная переменная уже

«сработала» без участия со стороны экспериментатора. Этой схеме Ф. Чэпин

дал наименование ех роst fасtо. Он изучал влияние школьного обучения на

жизненный успех и карьеру за период в десять лет5. Данные о карьере

собирались методом интервью, а ситуация в школе устанавливалась из архивных

источников. Чэпин обнаружил, что окончившие школу имели более высокие

показатели жизненного успеха, чем те, кто не смог завершить обучение. Было

также установлено, что естественная «контрольная» группа отличалась от

«экспериментальной»: социальный статус родителей респондентов, окончивших

школу, был выше, чем у «контрольных» респондентов. Спрашивается, не

является ли успешное окончание школы, продвижение в статусе на протяжении

последующих десяти лет следствиями «третьего» фактора, например

родительской семьи и окружения? Чэпин выравнивал группы учеников по

социальному статусу родителей и другим «стартовым» признакам, которые могли

повлиять на жизненный успех и карьеру. Массив разделялся только по признаку

окончания / не окончания школы. Выравнивание, осуществленное Чэпином, не

считается вполне корректным: для тех, кто окончил школу, может быть много

иных объяснений жизненного успеха, чем социальный статус родителей.

Квазиэкспериментальные исследования и статистическая обработка данных

позволяют достаточно надежно проверять гипотезы о взаимосвязях. Например,

для проверки гипотезы о влиянии стабильности родительской семьи на

стабильность семьи второго поколения весь массив наблюдений делится на две

группы: респондентов, у которых родительская семья распалась, и тех, у

которых она не распалась (промежуточными формами в данном случае можно

пренебречь). Если в первой группе число разводов оказывается существенно

выше, чем во второй, гипотеза не отвергается. Разумеется, утверждать о

причинной связи этих признаков оснований мало, хотя такая связь не

исключается. Более строгий контроль взаимодействия переменных

обеспечивается методами многомерного анализа, которые позволяют выявить

Страницы: 1, 2, 3, 4