предыдущая
следующая
|
|
предыдущая |
|
следующая |
|
оглавление |
М.: Издательство “Весь Мир”, 1997. – 544 с.
Красным шрифтом в квадратных скобках обозначается конец текста
на соответствующей странице печатного оригинала указанного издания
4. РАБОТА ПО ПЛАНУ: КАК СОСТАВИТЬ ПРОГРАММУ ИССЛЕДОВАНИЯ
Ни один опытный альпинист даже и помыслить не может о том, чтобы совершить восхождение на Эверест, не проделав большой предварительной работы по планированию, которая должна гарантировать соответствующую экипировку, выбор наилучшего маршрута и наличие информации о том, что делать в случае каких-то непредвиденных обстоятельств. Точно так же социологи не спешат браться за крупный исследовательский проект без тщательного планирования тех шагов, которые они должны будут предпринять. Этот “план наступления” называется программой исследования. “Программа исследования – схема, лежащая в основе процесса сбора, анализа и интерпретации данных. Это логическая модель доказательства, позволяющая делать валидные каузальные выводы”1. Если нет адекватной и подходящей для данного случая программы исследования, лучшие измерения окажутся бесполезными, поскольку нельзя будет определить их значение. Разработка надежных программ исследования, как и другие обсуждавшиеся нами проблемы исследовательского мастерства, – важный фактор успешного развития социальных наук.
Прежде чем предпринять любое серьезное исследование, следует составить его программу, которая не только в точности описывает, что и как вы собираетесь делать, но и объясняет, почему вы совершаете каждый данный шаг и почему вы совершаете его именно так, а не иначе.
Вплоть до настоящего момента мы обсуждали политологическое исследование так, как если бы оно было полностью предназначено для проверки гипотез с помощью процесса, изображенного на рис.3.6. И хотя проверка гипотез обычно считается наиболее важной во всех социальных науках, исследование, вообще говоря, может иметь множество целей, и его программа, [c.118] максимально подходящая для любого данного проекта, будет зависеть от его цели2. Некоторые исследовательские проекты являются поисковыми. Они предназначены для того, чтобы поближе познакомить нас с явлениями, которые мы собираемся исследовать, дать возможность более точно сформулировать проблемы и, быть может, построить гипотезы. Такие исследования могут играть важную роль, когда изучаются новые явления или явления, которые ранее не изучались. Некоторые проекты включают в свой состав описательные исследования. Последние предназначены для того, чтобы дать точное представление о некоторых явлениях, позволяющее нам лучше сформулировать проблемы и гипотезы. Например, прежде чем мы начнем строить теорию возможных причин некоторого явления, нам могут понадобиться сведения о частоте, географическом распределении и последовательности событий в составе данного явления или о том, с какими иными явлениями, как правило, ассоциируется данное явление. И наконец, исследование может быть предназначено для проверки каузальных гипотез. Если результаты исследования можно использовать для подтверждения того, что одно явление вызывает другое, можно попытаться дать объяснение этому другому явлению. Поэтому исследование, проверяющее гипотезы, может быть названо объяснительным исследованием. Такое исследование подходит тогда, когда мы уже достаточно знаем о явлении, чтобы начать искать объяснение того, почему данное явление таково, каково оно есть.
Данная предварительная типология целей исследования удобна потому, что исследование каждого типа предполагает свою программу. Поисковое исследование требует скорее гибкости, чем точности, поскольку его цель – выявить возможные, а не проверить гипотетические объяснения. Программы поискового исследования должны давать лишь возможность наблюдать соответствующее явление. А вот описательное исследование требует точного измерения явлений. В описательных исследованиях (если мы надеемся получить точную картину интересующих нас событий) программа призвана обеспечивать беспристрастность и надежность наблюдений. Программы объяснительных исследований должны не только обеспечивать беспристрастное и надежное наблюдение, но и [c.119] давать возможность делать выводы относительно причинного воздействия переменных друг на друга. Программа исследования дает возможность делать каузальные выводы, если она позволяет исключить любые правдоподобные объяснения наблюдаемых фактов, являющиеся альтернативными по отношению к проверяемой каузальной гипотезе.
Вне зависимости от конкретной цели исследования программа исследования должна включать следующие основные элементы:
1) изложение цели исследования;
2) изложение гипотезы, подлежащей проверке (если таковая имеется);
3) спецификацию используемых переменных;
4) изложение способа операционализации и измерения каждой переменной;
5) детальное описание организации и проведения наблюдений;
6) обобщающее обсуждение будущего анализа собранных данных.
Главы 2 и 3 дают необходимые сведения относительно пунктов программы (1) – (4); гл. 12–16 освещают проблему анализа данных. Настоящая глава посвящена организации наблюдений. Именно этот аспект программы исследования дает основания для исключения альтернативных конкурирующих гипотез, и именно его имеет в виду большинство исследователей, когда идет речь о программе исследования.
УЧЕТ В ПРОГРАММЕ ИССЛЕДОВАНИЯ АЛЬТЕРНАТИВНЫХ КОНКУРИРУЮЩИХ ГИПОТЕЗ
На примере гипотетической программы исследования можно продемонстрировать воздействие способа структурирования или организации наших наблюдений на степень полезности результатов. Представьте себе, что департамент юстиции какого-то американского штата осуществил новую программу, направленную на сокращение детской преступности. В программу входит однодневное пребывание в тюрьме малолетних преступников и тех, кто потенциально может стать преступником; во время этого пребывания они получают некоторое представление об [c.120] ужасах тюремной жизни. Программа основана на предположении, что этот опыт отобьет у них охоту совершать преступления, которые могут повлечь за собой тюремное заключение. Предположим, после того как программа осуществлялась в течение нескольких месяцев, администрация штата хочет узнать, имела ли она желаемый эффект, и предлагает вам, опытному политологу, оценить ее результаты. Что вы предпримете для этого?
Поскольку программа, известная под названием “операции по устрашению”, предназначена для сокращения детской преступности, преступность и будет зависимой переменной. Можно операционализировать ее как быть арестованным за совершение уголовного преступления и далее просто проконтролировать регистрацию приводов в течение года после посещения тюрьмы тех молодых людей, которые прошли через “операцию по устрашению”. Если в течение года они подверглись аресту, вы считаете их правонарушителями. Если они не были арестованы, вы не считаете их правонарушителями3.
Ваша программа исследования в данном случае предполагает всего лишь наблюдение за всеми представляющими интерес объектами. Это наблюдение вы проводите, просматривая регистрацию приводов лиц, прошедших через “операцию по устрашению”. Положим, вы обнаружили, что 70% участвовавших в программе не подверглись аресту в течение следующего года. Можете ли вы на этом основании сделать вывод, что эффективность программы по предотвращению преступности – 70%?
Для того чтобы сколько-нибудь надежно сделать такой вывод, вам необходимо исключить другие объяснения того, почему 70% этих молодых людей не были арестованы. Ваша рабочая гипотеза заключается в том, что опыт, полученный входе “операции по устрашению”, предотвращает правонарушения. Рассмотрим некоторые возможные альтернативные конкурирующие гипотезы, способные объяснить полученные результаты.
1. Даже если бы “операция по устрашению” не проводилась, арестовано было бы не более 30% молодых людей.
2. У лиц, добровольно принявших участие в “операции по устрашению”, иная семейная обстановка, чем у тех, кто в ней не участвовал, и именно эта обстановка, а не организованная [c.121] штатом программа предотвратила совершение правонарушений.
3. Молодые люди совершали преступления, но не попадались.
4. Хотя “операция по устрашению” может дать временный эффект, постепенно он сойдет на нет, и молодежь снова будет совершать преступления (т.е. программа скорее отсрочивает, нежели предотвращает, совершение преступлений).
5. Молодые люди, участвовавшие в программе, арестовывались чаще, чем если бы они не принимали участия в “операции по устрашению”, поскольку участие в ней навешивало на них ярлык потенциальных преступников и делало их объектом более пристального внимания со стороны полиции (т. е. программа способствует увеличению количества арестов вне всякой связи с ее воздействием на поведение).
Альтернативная гипотеза (1), по существу, утверждает, что программа не оказывает никакого воздействия. Располагая только имеющимися наблюдениями, вы не можете показать, так это или нет. Вы никогда не узнаете, как поступили бы те, кто участвовал в программе, если бы они не приняли участия в “операции по устрашению”, однако вы можете включить в программу исследования просмотр регистрации приводов для группы молодых людей, не прошедших через указанную операцию, но во всех остальных отношениях максимально сходных с теми, кто через нее прошел. Затем вы можете сравнить степень преступности участвовавших и не участвовавших в программе и утверждать, что различия между этими показателями обусловлены влиянием программы, поскольку мы можем считать, что участники программы действовали бы так же, как их сверстники, не охваченные “операцией по устрашению”.
Наблюдение за контрольной группой (за теми, кто не участвует в программе) позволяет нам установить причинную связь между участием в программе и преступным поведением.
Альтернативная гипотеза (2) заключается в том, что представляющееся очевидным отношение между участием в программе и преступным поведением является мнимым. Гипотеза утверждает, что обстановка в семье является [c.122] причиной и участия в программе, и последующего отсутствия правонарушений. Такое рассуждение предполагает, что существует процесс отбора, при котором те, кто имеет в семье поддержку, помогающую не совершать преступления, и те, кто, скорее всего, примет участие в программе,– одни и те же люди, и что это создает очевидную связь между “операцией по устрашению” и отсутствием преступлений.
Одно лишь наблюдение не позволит вам исключить эту возможность, однако наличие контрольной группы, включающей молодых людей, условия жизни которых сходны с условиями жизни тех, кто был вовлечен в “операцию по устрашению” – как и в случае гипотезы (1), – позволяет определить, так ли это. Вы можете проверить, чтобы убедиться, действительно ли участвовавшие и не участвовавшие в программе, как правило, имеют различные семейные условия, а те, кто имеет одинаковые семейные условия, имеет, как правило, одинаковый показатель преступности вне зависимости от участия в операции.
Исключение гипотезы (2), как и работа с гипотезой (1), требует проведения второго наблюдения (проверки регистрации приводов некоторых молодых людей, не участвующих в программе). Однако, помимо этого, проработка гипотезы (2) потребует от вас проведения еще одного наблюдения, в ходе которого будут собраны данные о семейной обстановке объектов наблюдения. Возможно, вы получите некоторые объективные показатели этой переменной (например, наличие обоих родителей, уровень образования и род занятий родителей, доход семьи) из официальных документов, но, быть может, вам придется также провести интервью с членами семьи или самими молодыми людьми. Если вы операционализируете обстановку в семье с учетом отношений и личных взаимосвязей, такие интервью будут крайне необходимы. Вы, таким образом, не только увеличиваете объем данных, но и используете другой метод сбора материала – личное интервью.
Альтернативная гипотеза (3) еще в большей степени нуждается в таком дополнительном методе сбора данных. В соответствии с этой гипотезой выдвигается предположение, что “операция по устрашению” сделала своих участников более осторожными и, быть может, [c.123] даже более хитрыми преступниками, а не уменьшила количество совершаемых ими преступлений. Гипотеза ставит под сомнение адекватность операционализации зависимой переменной. Пока единственной мерой преступности является официальная регистрация арестов, вы не можете быть уверены в том, что ваши сомнения напрасны.
Один из способов проработки гипотезы (3) состоит в том, чтобы включать в операционализацию преступности сообщения о преступных действиях, полученные от самих несовершеннолетних, и проводить интервью до и после прохождения программы. Вам придется проводить интервью и с участвующими и с не участвующими в программе и для каждой группы включать информацию о семейной обстановке, для того чтобы обрести уверенность, что ваши результаты нельзя объяснить с помощью гипотез типа (1) и (2), сформулированных в терминах этого нового показателя преступности. Поступив таким образом, вы ввели не только новый момент наблюдения (предваряющее программу интервью), но и другой способ операционализации зависимой переменной.
Альтернативная гипотеза (4) вводит в исследование ось времени. Если вам нужно ее учитывать, придется проводить интервью и проверять регистрации преступлений как для участников программы, так и для контрольной группы не только через год после посещения тюрьмы, но и через два, а возможно, и через три года. Причина проведения последующих наблюдений за участниками программы должна быть очевидна, поскольку гипотеза (4) утверждает, что при определенных обстоятельствах участники программы становятся преступниками. Но необходимо также пронаблюдать и за контрольной группой, чтобы убедиться, что изменения показателей преступности участников программы в последующие годы не являются результатом воздействия других факторов, таких, как взросление, изменение семейных условий или ухудшение материального положения. Только в том случае, если в последующие годы показатели преступности у участников программы оказываются близкими к показателям преступности для неучастников на тот же момент времени (или даже более плохими), вы [c.124] можете сделать вывод, что программа оказалась неэффективной (или что она имела отрицательный эффект).
В отличие от остальных гипотез альтернативная гипотеза (5) утверждает, что “операция по устрашению” была более эффективной, чем позволяют считать ваши результаты. Она выдвигает предположение, что, используя в качестве меры преступности аресты, вы ввели дополнительную независимую переменную (избирательное отношение со стороны властей), воздействие которой перекрывает реальное воздействие операции на преступное поведение.
Один из способов учесть эту возможность – ввести другую операционализацию зависимой переменной. Если принимать во внимание не только арест, но и осуждение как в случае участвующих, так и в случае не участвующих в программе, вы будете располагать данными о том, являются ли дела, возбуждаемые против участников программы, менее обоснованными, чем дела тех, кто не проходил через нее; исходя их этого вы сможете сделать вывод, имеется ли со стороны полиции тенденция чаще арестовывать добровольных участников “операции по устрашению”. Разница между числом арестов и числом осуждений для участников и для неучастников будет показателем избирательности внимания со стороны полиции. Если участников программы арестовывают, не предавая в конечном итоге суду или не осуждая, существенно чаще, чем неучастников, у вас есть основания считать, что гипотеза (5) верна.
Этот краткий обзор нескольких возможных конкурирующих гипотез, способных поставить под сомнение ценность полученных результатов, позволяет разработать более детальную программу исследования, чем та, что предлагалась вначале. Если вы хотите получить возможность исключить те пять альтернативных интерпретаций результатов, полученных в ходе вашего исследования (а вы должны это сделать, чтобы ваше исследование имело какой-то смысл), вам придется перейти от одной-единственной операционализации зависимой переменной и от одного-единственного наблюдения к программе, включающей множество способов операционализации, множество методов сбора [c.125] данных и несколько наблюдений. Такая новая программа должна включать следующие основные этапы:
1. Сформировать выборку из числа несовершеннолетних, которые отобраны для участия в “операции по устрашению”, и выборку из числа несовершеннолетних, которые имеют тот же состав характеристик, релевантных с точки зрения преступности (например, пол, возраст, расовая принадлежность, род занятий, образование и доход родителей, жизненные условия и место жительства), но которые не должны участвовать в программе.
2. Взять интервью у испытуемых, предназначенных для включения в программу, до того, как они примут участие в операции, и одновременно взять интервью у контрольной группы, чтобы получить самоотчеты о преступной деятельности и информацию об обстановке в семье.
3. Взять интервью у членов семей всех испытуемых, чтобы получить информацию об обстановке в семье.
4. Через год после того, как испытуемые посетили тюрьму, взять интервью как у участников, так и у неучастников программы, чтобы получить самоответы о преступной деятельности и выяснить, не изменились ли их семейные условия.
5. Во время осуществления этапа (4) сравнить данные по арестам и осуждениям для участников и неучастников программы.
6. Через два года после участия испытуемых в “операции по устрашению” повторить этапы (4) и (5).
7. Через три года после операции повторить этапы (4) и (5).
Анализируя данные, вы захотите сравнить количество арестов, количество осуждений и различия между количеством арестов и количеством осуждений для участников программы и контрольной группы; при этом необходимо внимательно следить за тем, чтобы исключать из контрольной группы тех ее членов, которые, будучи вначале отобранными для исследования, приняли затем участие в “операции по устрашению”. Используя при анализе данных, полученных в ходе этих наблюдений, подходящие статистические процедуры, вы должны суметь получить в высшей степени надежные выводы о ценности операции как средства, противодействующего преступности малолетних. Благодаря вашему умению исключить основные [c.126] конкурирующие гипотезы департамент юстиции штата сумеет вполне довериться вашим выводам, чего никак не могло бы случиться, если бы эти выводы основывались на первой программе исследования.
Цель этого упражнения состоит не в том, чтобы констатировать преимущество сложных программ исследования над простыми. Иногда простая программа гораздо предпочтительнее. Важным фактором является адекватность программы, а не ее сложность. Если программа дает логическое основание для тех типов выводов, которые хочет получить исследователь, она является адекватной.
Обсуждение этого гипотетического исследования можно рассматривать как пример разработки адекватных программ. Составляя план для исследовательского проекта, вы следуете тому же ходу рассуждений, который мы наметили. Программа исследования – это процесс формулирования альтернативных конкурирующих гипотез и продумывания, какого рода наблюдения необходимы для проверки этих гипотез, так чтобы их нельзя было рассматривать в качестве объяснений возможных результатов.
Альтернативные конкурирующие гипотезы обнаруживаются так же, как и рабочие гипотезы. Они возникают в результате логического анализа теорий, касающихся событий, которые мы пытаемся объяснить. Действительную альтернативу составляет конкурирующая (соперничающая) гипотеза, предлагающая такие же взаимоотношения, как и наша основная гипотеза, но объясняющая их с точки зрения отличного причинно-следственного процесса. Важно не смешивать действительно альтернативную конкурирующую гипотезу с тем, что мы можем назвать “другие гипотезы”. Благодаря существованию множественности причинных связей в социальных явлениях очень часто мы сталкиваемся с тем, что любому явлению может быть найдено множество равно достоверных объяснений. Устанавливая другую причину изучаемых отношений, мы можем выдвинуть просто иную гипотезу, которая, возможно, ни в меньшей степени не будет конкурирующей с основной. Гипотеза является альтернативной конкурирующей гипотезой только [c.127] тогда, когда логически невозможно доказать, что и она, и основная гипотеза являются достоверными.
Выдвижение критической конкурирующей гипотезы – это преимущественно творческий процесс4. Не существует точных и строгих правил, гарантирующих установление всех конкурирующих гипотез, способных поставить под сомнение ценность вашего исследования. Процесс разработки программы для исследовательского проекта индивидуален для каждого исследования. Вы не можете просто выбрать подходящую программу из ограниченного набора альтернатив, как могли бы выбрать в обувном магазине пару туфель на полке с вашим размером. Существует, однако, несколько общих типов программ исследования, каждый из которых удобен для работы с определенной проблемой. Следующий раздел содержит обзор основных типов программ и введение в логику планирования исследования. Имея такую базу и разумное теоретическое и эмпирическое представление о соответствующем объекте, вы будете в состоянии разрабатывать собственные программы.
ЭКСПЕРИМЕНТАЛЬНЫЕ ПРОГРАММЫ ИССЛЕДОВАНИЯ
Цель хорошей программы – дать возможность с максимально возможной степенью уверенности определить результаты воздействия одной переменной на другую. Программы исследования позволяют сделать это, давая возможность в некоторой степени контролировать условия, в которых взаимодействуют переменные. Такой контроль – ключевое понятие для программы. Если после добавления в рацион животных новых кормов какие-то животные на ферме заболевают, фермер не может быть уверен, что причиной болезни являются именно новые корма, так как в то же самое время животные могли пострадать от многих других факторов (например, инсектицидов в питьевой воде). С другой стороны, если в медицинской исследовательской лаборатории обнаруживается, что после введения в рацион новых кормов заболевает необычно большой процент наблюдаемых животных, исследователь скорее может быть уверен, что причина [c.128] болезни – новые корма, поскольку в этой ситуации имеется возможность контролировать условия содержания исследуемых животных и гарантировать, что в процессе наблюдения они не подвергаются воздействию никаких других новых факторов. Обстановка, в которой работает исследователь, в отличие от условий фермы дает возможность частичного контроля.
Программы исследования можно классифицировать по степени контроля, который они обеспечивают. Основное различие, интересное для политолога, – это различие между экспериментальными и квазиэкспериментальными программами.
Эксперимент – классический способ научного доказательства. Он основан на предположении, что изменения в значении одной переменной вызывают изменения в значении другой переменной (например, изменения температуры вызывают изменения вязкости масла). Эксперимент позволяет нам проверить это предположение, подвергнув объекты, обнаруживающие зависимую переменную, воздействию независимой переменной в условиях, дающих нам определенную уверенность в том, что любое наблюдаемое изменение зависимой переменной является результатом изменений независимой переменной.
Для элементарной экспериментальной программы исследования требуется экспериментальная группа, состоящая из лиц, которые будут подвергнуты воздействию независимой переменной, или стимула, и контрольная группа лиц, которые сходны с экспериментальной группой во всех существенных аспектах, но не будут подвергаться воздействию стимула. Значение зависимой переменной в каждой группе измеряется до начала воздействия стимула в ходе так называемого предварительного тестирования (pretest) и затем еще раз после того, как экспериментальная группа подверглась воздействию стимула, в ходе контрольного тестирования (posttest). Вывод о влиянии стимула (независимой переменной) делается на основании сравнения оценок предварительного теста и контрольного теста для каждой группы. Чем больше различие в значениях между предварительным тестом и контрольным тестом в каждой группе, тем большее влияние приписывается независимой переменной. В [c.129] табл.4.1 изображена логическая структура экспериментальной программы исследования. Значение этой исследовательской программы состоит в том, что она позволяет достичь двух условий, облегчающих получение валидных каузальных выводов: сравнения и управления.
Таблица 4.1
Программа классического эксперимента
|
Группа |
Момент |
Момент |
Момент |
Формула результата |
|
Экспериментальная |
Предварительный тест |
Стимул |
Контрольный |
Результат (для экспериментальной переменной) = (контрольный тест э – предварительный тест э) – (контрольный тест к – предварительный тест к), |
|
Контрольная |
Предварительный тест |
– |
Контрольный |
Утверждение о том, что одно явление явилось причиной другого, основывается на понятии изменения. Прежде чем утверждать, что имело место причинное воздействие, мы должны быть в состоянии продемонстрировать, что произошло некоторое изменение, а понятие изменения предполагает сравнение. Мы должны иметь возможность сравнивать значения зависимой переменной до того, как исследуемые объекты были подвергнуты воздействию независимой или каузальной переменной со значениями зависимой переменной после такого воздействия; и кроме того, если это возможно, следует сравнить значения зависимой переменной после воздействия с некоторым показателем, задающим эти значения в отсутствие какого бы то ни было воздействия. Экспериментальная программа, с ее процедурой предварительного – контрольного – тестирования, с ее экспериментальной и контрольной группами, создает условия для сравнений обоих типов.
Чтобы обрести уверенность, что одна переменная оказывает причинное воздействие на другую, мы должны [c.130] располагать информацией, кто из обследуемых подвергался воздействию независимой переменной, а кто нет, так чтобы мы могли сделать необходимые сравнения. Классический эксперимент дает такую информацию, так как независимую переменную вводит сам исследователь. Ученый управляет обстановкой, окружающей обследуемых, так что причинное воздействие происходит не по воле случая. Кроме того, исследователь контролирует обстановку таким образом, чтобы гарантировать, что все другие возможные причины изменения зависимой переменной в течение времени воздействия независимой переменной на объекты исследования из эксперимента устранены.
Многие другие программы основаны на логической структуре классического эксперимента, однако в них имеются модификации, предназначенные специально для ученых. Их потребность в более тщательно разработанных программах в значительной степени объясняется тем, что (1) часто на объекты их исследования оказывает влияние сам процесс исследования (например, поведение людей может меняться, если они знают, что за ними наблюдают) и (2) объекты их исследования не статичны, а постоянно меняются (например, оценки людей могут варьироваться в зависимости от ситуации). Возможности учета этих фактов иллюстрируются на примере двух экспериментальных программ, разработанных Р.Л.Соломоном5.
Первая программа нацелена на один из аспектов проблемы реактивности – так называемый тест-эффект. Когда объекты эксперимента подвергаются предварительному тестированию, всегда существует возможность, что их оценка в контрольном тесте будет складываться как из реакции на стимул, так и из реакции на сам предварительный тест. Любое различие между оценками предварительного и контрольного тестов, возникающее исключительно в результате реакции на предварительный тест, известно под названием тест-эффекта. Если нам необходимо получить точную картину воздействия стимула на поведение, мы должны уметь удалять из оценок этот тест-эффект. Сделать это позволяет предложенная Р.Соломоном программа исследования с двумя контрольными группами, представленная в табл. 4.2. [c.131]
Таблица 4.2
Программа эксперимента с двумя контрольными группами, разработанная Р.Соломоном
|
Группа |
Момент |
Момент |
Момент |
Формула результата |
|
Экспериментальная |
Предварительный тест |
Стимул |
Контрольный |
Результат = [(контрольный тест э – предварительный тест э) – (контрольный тест к1 – предварительный тест к1)] – (контрольный тест э – контрольный тест к2) |
|
Контрольная 1 |
Предварительный тест |
– |
Контрольный |
|
|
Контрольная 2 |
– |
Стимул |
Контрольный |
Программа почти такая же, как в классическом эксперименте, различие состоит только в том, что добавлена третья группа. В третьей группе (контрольной группе 2) есть стимул и есть контрольный тест, но нет предварительного теста. В то время как различия между оценками предварительного и контрольного тестов в экспериментальной группе могут быть обязаны своим происхождением и предварительному тесту, и стимулу, те же самые различия в контрольной группе 1 могут возникать только под воздействием предварительного теста, а в контрольной группе 2 – только под воздействием стимула. Если мы вправе предположить, что первоначально значение зависимой переменной во всех группах фактически одно и то же и что группы прореагировали на стимул одним и тем же образом, то различие между оценками контрольного теста в экспериментальной группе и оценками контрольного теста в контрольной группе 2 и будет демонстрировать тест-эффект. Тогда воздействие самой независимой переменной (стимула) можно измерить, вычтя тест-эффект из общего результата эксперимента (последний подсчитывается по той же формуле, которая используется для оценки результатов программы классического эксперимента). Формула результата в табл. 4.2 представляет это рассуждение в алгебраическом виде.
Итак, программа с двумя контрольными группами позволяет нам оценить и, как мы надеемся, исключить тест-эффект как альтернативное объяснение наблюдаемых изменений в оценках испытуемых. Существуют, однако, другие возможные причины изменения оценок [c.132] зависимой переменной в группах в контрольном тесте по сравнению с предварительным. Одна из причин – воздействие внешних факторов, находящихся вне контроля экспериментатора. Другая причина – естественные изменения, происходящие с испытуемыми вне связи с экспериментом (такие, как старение, изменения в ходе длительных экспериментов или умственное утомление). Воздействие таких посторонних факторов можно оценить (и тем самым исключить в качестве конкурирующего объяснения результатов эксперимента), используя программу Р. Соломона с тремя контрольными группами (см. табл. 4.3).
Таблица 4.3
Программа эксперимента с тремя контрольными группами
|
Группа |
Момент |
Момент |
Момент |
Формула результата |
|
Экспериментальная |
Предварительный тест |
Стимул |
Контрольный |
Результат = [(контрольный тест э – предварительный тест э) – (контрольный тест к1 – предварительный тест к1)] – [(контрольный тест к2) + (контрольный тест э – контрольный тест к3)] |
|
Контрольная 1 |
Предварительный тест |
– |
Контрольный |
|
|
Контрольная 2 |
– |
Стимул |
Контрольный |
|
|
Контрольная 3 |
– |
– |
Контрольный |
В этой программе добавлена третья контрольная группа, не получающая ни предварительного теста, ни стимула. Любое различие между оценками предварительного и контрольного тестов в этой группе может возникать только за счет влияния посторонних факторов. Если мы способны вычесть это различие из результата эксперимента, значит, мы способны устранить результаты воздействия посторонних факторов и изменения, которые происходят в результате такого воздействия у испытуемых; и мы можем надеяться исключить альтернативную гипотезу, состоящую в том, что именно эти воздействия, а не независимая переменная были причиной изменения оценки в экспериментальной группе от момента 1 до момента 3. [c.133]
Трудность состоит в том, что контрольная группа 3 не подвергалась предварительному тесту. Как же определить, насколько изменились оценки этих испытуемых с момента 1 до момента 2? Если все наши группы в основном сходны между собой, мы можем считать, что их оценки в предварительном тесте должны были быть очень близки, и просто приписать контрольной группе 3 в предварительном тесте оценку, равную усредненным оценкам экспериментальной и первой контрольной групп. Тогда мы можем вычесть эту оценку из оценки контрольной группы 3 в контрольном тесте, чтобы получить меру изменения, возникающего вследствие воздействия посторонних факторов и естественных изменений, происходящих с испытуемыми. Устранив и это изменение, мы можем более отчетливо увидеть результаты воздействия независимой переменной на зависимую.
Каждая из только что описанных программ эксперимента предназначена для того, чтобы предоставить надежный логический базис для осуществления выводов относительно влияния одной переменной на другую. Чтобы преуспеть в этом, каждая программа опирается на предположение, что все группы, участвующие в исследовании, в основном одинаковы с точки зрения факторов, которые могли бы повлиять на результат эксперимента. Если мы почему-либо не можем считать, что группы в основном одинаковы, у нас нет логического основания для вывода о том, что наблюдаемые различия в оценках групп возникают вследствие разного обращения с группами в процессе эксперимента (например, в зависимости от того, подвергались ли они предварительному тестированию), и мы не можем привести убедительные доводы относительно причинного воздействия независимой переменной.
Как фактически добиться устранения различий между членами разных групп? Существует три подхода к формированию групп. Во-первых, это точный подбор соответствий. Определив, какие характеристики могли бы оказать воздействие на реакцию испытуемых в отношении независимой переменной, мы отбираем для эксперимента ряд испытуемых. Для каждого выбранного испытуемого в состав контрольной группы подбирается другой испытуемый, [c.134] имеющий то же самое сочетание релевантных характеристик. В результате возникает две группы, тождественные с точки зрения характеристик, которые могли бы повлиять на их реакцию в эксперименте. В идеале их оценки в предварительном тесте должны быть очень близки, и мы можем использовать степень близости, реально установленную в ходе предварительного теста, чтобы оценить свои усилия по достижению соответствия.
В связи с этой процедурой возникает ряд проблем. Во-первых, если нам необходимо контролировать большое число характеристик, может оказаться крайне трудно выбрать испытуемых, в точности соответствующих всем этим характеристикам (как это требуется при подборе соответствий). Например, мы могли бы найти людей, одинаковых с точки зрения пола, возраста и расовой принадлежности, но оказаться не в состоянии подобрать их так, чтобы они обладали всеми этими характеристиками и при этом имели одинаковую профессию, уровень образования и одинаково долго жили в данном сообществе. Кроме того, если мы хотим применить программу исследования, предусматривающую наличие более чем двух групп, может оказаться чрезвычайно трудно найти трех или четырех испытуемых с одинаковыми характеристиками. Если только мы не располагаем очень большим фондом потенциальных испытуемых или не имеем дело с самым простым экспериментом, подбор соответствий как способ распределения испытуемых по экспериментальным группам может оказаться невозможным.
Второй метод – метод контроля за частотным распределением. В этом случае мы не проводим сопоставление каждого испытуемого с каким-либо другим по всем характеристикам. Вместо этого испытуемые распределяются по группам таким образом, чтобы было гарантировано наличие в каждой группе одних и тех же средних характеристик и одинаковое распределение каждой характеристики. Может так случиться, что не найдется двух испытуемых с одинаковым набором характеристик пола, возраста, расовой принадлежности и профессии, однако каждая группа будет характеризоваться одним и тем же количеством мужчин и женщин, одинаковым средним возрастом и т. п. Более того, группы будут характеризоваться очень близким распределением этих характеристик среди их членов. [c.135]
Контроль за распределением частот практикуется чаще, чем точный подбор соответствий, однако у него есть два существенных недостатка. Во-первых, он позволяет одновременно контролировать только одну переменную. Пользуясь методом распределения частот, можно, например, получить две группы с одинаковым количеством испытуемых в возрасте старше 40 лет и одинаковым количеством чернокожих граждан, однако нет никакой гарантии, что все испытуемые старше 40 лет не окажутся неграми в одной группе и белыми в другой. Если именно так и случится, две группы в действительности не будут сходными. Во-вторых, данный метод не дает возможности контролировать факторы, которые воздействуют на реакции испытуемых, но не были выделены исследователем. Если наша теория неполна (а она почти всегда неполна), мы могли не установить контроль за частотным распределением некоторой важной переменной. Если окажется так, что контрольная и экспериментальная группа систематически различаются по этой неконтролируемой переменной, могут быть получены искаженные результаты.
Третий метод формирования групп более гибок по сравнению с точным подбором соответствий. Это метод рандомизации. Испытуемый, выбранный из списка всех подходящих испытуемых, включается в группу посредством некоторого случайного процесса, например с помощью таблицы случайных чисел. Настоящая рандомизация не может быть достигнута с помощью процедур, имеющих случайный характер (вроде того, чтобы отобрать первых 30 человек, выразивших желание участвовать в эксперименте, в экспериментальную группу, а следующих 30 – в контрольную).
Рандомизация имеет большое преимущество, создавая у нас чувство уверенности, что все наши группы сходны между собой во всех отношениях, а не только с точки зрения переменных, которые мы считаем релевантными для эксперимента, поскольку при отборе большого числа испытуемых случайное распределение по группам гарантирует нейтрализацию различий между испытуемыми. Таким образом, рандомизация позволяет исключить любую альтернативную конкурирующую гипотезу, утверждающую, что наблюдаемые результаты объясняются какими-то систематическими различиями между группами, она [c.136] является ключом к успешным лабораторным экспериментам. Детально процедуры случайного выбора объектов обсуждаются в гл.5.
ПОЛЕВЫЕ ЭКСПЕРИМЕНТЫ И НЕЭКСПЕРИМЕНТАЛЬНЫЕ ПРОГРАММЫ
Политологи по характеру своей деятельности редко работают в лабораториях. Они скорее наблюдают события в естественной обстановке, где меньше возможности контролировать факторы, которые могли бы повлиять на результаты исследования. В тех случаях, когда исследователи могут управлять независимой переменной и контролировать реакцию испытуемых, но не в состоянии контролировать другие аспекты ситуации, они могут проводить полевые эксперименты. В этих исследованиях используется экспериментальная программа, в которой испытуемые систематически распределяются на экспериментальную и контрольную группы. Примерами полевых экспериментов являются различные эксперименты по “отрицательному подоходному налогу”, проводимые в США6. Эти исследования использовались для измерения воздействия автоматических благотворительных выплат в форме отрицательного подоходного налога на образ жизни и усердие в работе, характеризующие испытуемых. Исследователи могли контролировать, кто из испытуемых получил выплаты в виде отрицательного подоходного налога, но они не могли проконтролировать другие релевантные аспекты ситуаций, в которых находились испытуемые. Например, исследователи не могут гарантировать сохранение здоровья и семейного статуса испытуемого или возможность получить работу в данном месте. Такое положение создавало трудности при отделении воздействия благотворительных выплат от других возможных причин изменений в поведении испытуемых, однако оно имело явные преимущества, позволяя осуществить проверку воздействия отрицательного подходного налога на практике. Лабораторный эксперимент, даже если бы его можно было организовать, не был бы столь же успешным, так как нельзя быть уверенным, что результаты, полученные в таких искусственных условиях, точно отражают то, что происходит в окружающем мире. И это – главное преимущество [c.137] полевых экспериментов перед лабораторными исследованиями.
В полевых экспериментах исследователи с большой тщательностью подбирают испытуемых и осуществляют случайное распределение на экспериментальную и контрольную группы, чтобы хоть как-то контролировать фоновые характеристики, которые могут воздействовать на результаты. Они также внимательно следят за условиями, в которых находятся испытуемые на протяжении эксперимента, чтобы исключить альтернативные гипотезы, которые соотносят наблюдаемые результаты с внешними событиями, происходящими во время эксперимента. (Например, все те испытуемые, которые по состоянию здоровья оказывались неспособны работать, исключались из эксперимента по отрицательному подоходному налогу, так чтобы их безработное состояние нельзя было интерпретировать как реакцию на благотворительные выплаты.)
Во многих случаях политологи не в состоянии управлять даже независимой переменной. Вы вполне можете представить себе, насколько трудно убедить одни народы совершить революцию, а других повременить с ней, чтобы провести полевой эксперимент по воздействию революций на политическое развитие! Чем сложнее исследуемый объект, тем меньше вероятность, что мы сможем контролировать его. В этих условиях исследователи должны попытаться приблизиться к экспериментальной программе, как будет описано в следующем разделе, или же обратиться к неэкспериментальной программе.
В неэкспериментальных исследованиях ученые не в состоянии контролировать ни распределение испытуемых по экспериментальным группам, ни распространение независимой переменной, не могут они получить и предварительные оценки для зависимой переменной. Они могут быть вынуждены использовать то, что называют программой постфактум, в которой одно-единственное наблюдение осуществляется после того, как произошло предполагаемое каузальное событие. Иногда может добавляться “контрольная группа” сходных испытуемых, не подвергавшихся воздействию независимой переменной, и различия в оценках двух групп связываются с воздействием независимой переменной. Однако такие программы не позволяют делать надежные выводы относительно [c.138] воздействия независимой переменной, так как не дают возможности исключить даже самые простые альтернативные гипотезы. Например, мы не можем быть уверены даже в том, что значение зависимой переменной, наблюдаемое после воздействия независимой переменной, хоть в какой-то степени отличается от значения зависимой переменной до этого воздействия. Неэкспериментальные программы подходят только для описательных или поисковых, а не для объяснительных исследований.
КВАЗИЭКСПЕРИМЕНТАЛЬНЫЕ ПРОГРАММЫ
Большинство исследовательских программ, используемых политологами, можно определить как квазиэкспериментальные. В этих исследованиях невозможно контролировать воздействие независимой переменной или условия, при которых оно происходит, однако исследователи пытаются имитировать экспериментальную программу, либо собирая дополнительные данные, либо используя методы анализа данных. Правильно составленные квазиэкспериментальные программы дают такую возможность, как если бы были использованы все контрольные характеристики настоящего эксперимента; они являются надежной логической основой для получения причинных выводов.
Возможно, наиболее простым типом квазиэкспериментальных программ в политологии является эксперимент ех post facto. В ходе этого эксперимента исследователи осуществляют одно наблюдение и собирают данные о независимой и зависимой переменных и обо всех других переменных, которые, по их мнению, следует контролировать. Если, например, мы хотим изучить воздействие высшего образования на поведение избирателей, мы можем провести исследование на случайно выбранных испытуемых. Затем мы анализируем наши данные, чтобы определить, действительно ли люди, сходные в других отношениях (например, сточки зрения расовой принадлежности, пола, возраста, места жительства), но имеющие разный уровень образования, голосуют по-разному. Для этого существуют более тонкие статистические методы, но проще всего рассортировать наших респондентов по таблицам взаимной сопряженности признаков, так чтобы можно было исследовать соотношение между образованием и участием в выборах в разных категориях [c.139] других переменных, рассматривая, например, только женщин или только мужчин, которые посещали или не посещали колледж.
Эта процедура позволяет нам поступать таким образом, как если бы мы, начав эксперимент много лет назад, распределили людей по экспериментальным группам, проанализировали, как воздействует на мотивы их голосования высшее образование (независимая переменная), а потом опять исследовали бы их, чтобы понять, как повлияло образование на их участие в выборах. Члены нашей выборки, не имеющие высшего образования, но в остальных отношениях похожие на тех, кто его имеет, выступают в качестве контрольной группы. Поскольку у нас не было предварительного теста, мы не можем быть уверены, что именно высшее образование явилось причиной всех наблюдаемых отличий в голосовании, но, использовав дополнительные данные, полученные в процессе исследования, мы можем исключить некоторые возможные конкурирующие гипотезы и рассчитывать, что случайное формирование выборки нейтрализует влияние переменных, которые мы не можем проконтролировать при анализе данных.
Бывают ситуации, когда мы не можем воспользоваться случайной выборкой и не можем подобрать сравнимые контрольные группы. Это происходит в том случае, если количество наших единиц анализа невелико или они уникальны с точки зрения многих релевантных аспектов. Примером может служить ситуация, когда городские власти хотят узнать результат воздействия административной реорганизации на стоимость муниципальных услуг. Чтобы ответить на этот вопрос, политологам следует использовать другую распространенную программу, известную как программа измерения временного ряда.
В программах измерения временного ряда исследователь делает несколько наблюдений как до, так и после введения некоторого каузального явления и сравнивает значения зависимой переменной до и после такого введения. В нашем примере политологи могли бы использовать городские архивы для сравнения стоимости муниципальных услуг на душу населения до и после административной реорганизации. (Им придется учитывать расходы на душу населения и следить за инфляцией, чтобы исключить возможность воздействия на эту стоимость увеличившегося населения города [c.140] или роста цен независимо от влияния реорганизации.) Рис.4.1, 4.2, 4.3 иллюстрируют некоторые возможные результаты такого исследования.
Рис. 4.1. Гипотетическая тенденция динамики расходов городских служб, демонстрирующая коренное изменение первоначальной тенденции
Рис. 4.2. Гипотетическая тенденция динамики расходов городских служб, демонстрирующая отсутствие воздействия со стороны реорганизации
Рис. 4.3. Гипотетическая тенденция динамики расходов городских служб, демонстрирующая, что реорганизация изменила уровень расходов, но не нарушила тенденции
В некотором смысле программы измерения временного ряда используют в качестве контрольной группы один и тот же объект (или множество объектов), только на более раннем этапе. Если в динамике значений зависимой переменной до введения независимой переменной имеется некая отчетливая тенденция, мы считаем, что эта тенденция сохранилась бы, не будь независимой переменной; в качестве показателя воздействия независимой переменной мы используем различия между наблюдаемыми значениями зависимой переменной и теми значениями, которые она имела бы в случае сохранения тенденции.
Рис.4.1 иллюстрирует данное рассуждение. Если данные оказываются такими, как представлено на этом рисунке, городские власти с радостью обнаружат, что реорганизация не только уменьшила расходы служб, но также коренным образом изменила тенденцию в направлении устойчивого снижения расходов. Результат воздействия реорганизации в любом данном году может быть измерен в виде разницы между значением, предсказанным для [c.141] данного года на основе первоначальной тенденции, и наблюдаемым значением. Согласно рис.4.1, для 1995 г. результат воздействия реорганизации на расходы служб составляет 50 долларов. Если данные оказываются такими, как показывает рис.4.2, предсказываемые и наблюдаемые значения будут совпадать и можно будет считать, что реорганизация не оказала воздействия на расходы. Рис.4.3 иллюстрирует случай, когда реорганизация вначале уменьшила расходы, но не повлияла на тенденцию. В то время как рис.4.1 демонстрирует, что общий результат реорганизации за четыре года составил 325 долларов, рис.4.3 демонстрирует результат лишь в размере 25 долларов.
В некоторых случаях тенденция, с которой мы имеем дело, не так отчетлива и устойчива, как в данном примере. Пусть, например, городская полиция, озабоченная ростом количества арестов за проституцию, организует кампанию по борьбе с этим явлением и затем хочет узнать, насколько она была успешна. Рис.4.4 демонстрирует, какого рода данные могли быть собраны на протяжении десятилетнего периода. Значения зависимой переменной (аресты за проституцию) [c.142] в разные годы на протяжении указанного периода то возрастают, то уменьшаются. Задача исследователя – определить, есть ли существенное отличие между общей тенденцией, следующей за проведенной кампанией, и общей тенденцией, предшествующей проведению кампании. Один из способов решить эту задачу заключается в сравнении среднегодового количества арестов за проституцию в годы, предшествующие кампании и следующие после нее. (Среднее количество арестов в том и другом случаях равно в данном примере девяти.) Если мы будем считать, что без проведения кампании тенденция осталась бы прежней, то различие между двумя средними значениями можно использовать как показатель воздействия кампании на уровень арестов за проституцию. Другой способ – сравнить линии тенденций (представленные на рис.4.4 пунктирной линией), проходящие через разбросы значений зависимой переменной в период до кампании и после нее, чтобы определить, различаются ли общие тенденции.
Рис.4.4. Гипотетическая тенденция динамики количества арестов за проституцию, демонстрирующая отсутствие результатов после проведения кампании по борьбе с проституцией
Этот пример иллюстрирует одно из важных достоинств программ измерения временного ряда. Если мы отмечаем количество арестов только в 1994 и 1996 гг. (как в типичном [c.143] исследовании “до введения стимула – после введения стимула”), мы можем сделать вывод, что полицейская кампания уменьшила количество арестов за проституцию. Однако данные измерений временного ряда позволяют увидеть, что падение числа арестов с 1994 по 1996 г. – нормальная флуктуация относительно общей тенденции (представленной пунктирной линией), которая остается не затронутой полицейской акцией.
Помимо сильной стороны, программы измерения временных рядов имеют и свою слабую сторону. Во многих случаях у нас нет контрольной группы, и поэтому мы не можем с уверенностью сказать, каковы результаты воздействия независимой переменной, так как не знаем точно, каким было бы значение зависимой переменной в отсутствие независимой переменной; мы можем лишь предполагать, что исходная тенденция сохранится. Однако по многим причинам это может оказаться ошибкой. Одна из наиболее важных причин (в терминологии Д.Кэмпбелла и Дж.Стэнли) – регрессия к среднему7. Это явление ставит под сомнение валидность выводов, сделанных на основании многих исследовательских программ. [c.144]
В самом общем виде регрессия к среднему – это процесс, в ходе которого объекты исследования, имеющие в определенный момент крайние значения по зависимой переменной, при последующих измерениях естественным образом стремятся вернуться к значению по этой переменной, более близкому к среднему, вне зависимости от того, подвергались ли они воздействию некоторой гипотетической независимой переменной. Если такая регрессия к среднему происходит в момент исследования, то исследователь может ошибочно принять естественную регрессию за результат воздействия независимой переменной. Это может представлять собой особую проблему в тех случаях, когда объекты исследования подвергаются воздействию независимой переменной именно потому, что у них появляются необычные значения зависимой переменной.
В нашем последнем примере полиция провела кампанию из-за исключительно большого числа арестов за проституцию. Такое положение было отклонением от нормы для данного города, и оно могло бы исправиться само по себе, даже если бы полиция ничего не предпринимала. Чтобы исключить регрессию в качестве альтернативного объяснения, можно применить программу контролируемых временных рядов.
В программе контролируемых временных рядов мы собираем данные об объекте или множестве объектов, которые во всех существенных отношениях сходны с исследуемым объектом или группой объектов, но не подвергались воздействию независимой переменной; и этот объект или группа объектов используется в качестве контрольных при оценке результатов воздействия независимой переменной. В нашем примере можно выбрать один или несколько городов, очень похожих на тот, в котором проводилась кампания по борьбе с проституцией (притом что в этих городах политика в отношении проституции не менялась), и посмотреть количество арестов за те же самые годы. Рис.4.5 демонстрирует некоторые возможные результаты. Сравнивая исследуемый город (в котором проводилась кампания) с группой похожих городов, мы можем заметить, что в отличие от изменившейся тенденции динамики арестов за проституцию в обследуемом городе в период до 1995 г. среднее количество арестов в контрольных [c.145] городах резко возрастает. Это наводит на мысль, что, хотя кампания по борьбе с проституцией не смогла изменить тенденцию, характерную для обследуемого города, она, возможно, предотвратила воздействие тех событий, которые вызвали рост числа арестов в других городах, похожих на данный. В этом случае мы используем различие между показателями для обследуемого города в период после кампании и показателями для контрольных городов в том же году в качестве меры воздействия независимой переменной, исходя из предположения, что, если бы не действия полиции, ситуация в обследуемом городе складывалась бы так же, как и в остальных, похожих на него городах. Например, в 2000 г. воздействие кампании расценивалось как два ареста на тысячу жителей.
Рис. 4.5. Гипотетическая тенденция динамики арестов за проституцию в обследуемом городе и в группе контрольных городов
В данном примере применение более строгой программы исследований уберегло бы нас от явно [c.146] неверного вывода, что программа, послужившая в качестве эффективного сдерживающего средства, не оказала никакого влияния.
Существует ряд как экспериментальных, так и квазиэкспериментальных программ, которые мы здесь не рассматривали8. Количество вариаций на базе этих основных программ ограничено лишь вашей собственной изобретательностью, и программа для любого исследования будет соответствовать его конкретной цели. Мы не столько выбираем, сколько создаем подходящую для конкретного случая программу, хотя обычно мы основываемся на одном из ключевых типов программ. При разработке программ исследователи руководствуются тремя основными факторами: требованием валидности, наличием средств и профессиональной этикой.
Цель программы в объяснительных исследованиях заключается в том, чтобы дать возможность делать валидные выводы о причинных отношениях между переменными, исходя из наблюдаемых изменений значений этих переменных. Следовательно, гарантия валидности результатов должна играть главную роль при разработке программы.
С эмпирическим исследованием связано два основных типа валидности: внутренняя валидность и внешняя валидность. Внутренняя валидность имеет отношение к надежности логического базиса, предоставляемого программой для осуществления вывода о том, вызывает ли независимая переменная изменение зависимой переменной. Вопрос о внутренней валидности – это вопрос типа:
“Имеется ли в программе исследования нечто такое, что позволит отнести причинное воздействие за счет независимой переменной (тогда как она такого воздействия не оказывает) либо не даст возможности установить наличие причинного воздействия, оказываемого независимой переменной?” Например, если имеется значительный тест-эффект, связанный с использованием некоторого определенного измерения, любая программа, не дающая возможности контролировать этот тест-эффект, не будет обладать внутренней валидностью, поскольку может вынудить нас ошибочно проинтерпретировать изменения, [c.147] вызванные тест-эффектом, как доказательства причинного воздействия независимой переменной. Внешняя валидность имеет отношение к возможности обобщения полученных результатов. Есть ли у нас основания надеяться на обнаружение тех же самых причинных воздействий в других условиях? Дает ли исследование возможность понять что-либо относительно той части действительности, которая в нем не представлена? Например, полевой эксперимент, в котором изучается воздействие на пользование автомобилем повышения цен на бензин (в размере доллара на галлон), не обладает внешней валидностью, если он приводится в группе, где среднегодовой доход семьи превышает 100 000 долларов, поскольку нельзя надеяться на то, что так же будут вести себя люди со средним и низким доходом.
ФАКТОРЫ, УГРОЖАЮЩИЕ ВАЛИДНОСТИ
К числу основных факторов, представляющих собой угрозу как для внутренней, так и для внешней валидности, относятся следующие9.
Факторы, угрожающие внутренней валидности
1. История: события, отличные от проявлений независимой переменной, которые могут изменить оценки контрольного теста и происходят в промежутке между предварительным и контрольным тестами. Например, широковещательные заявления политического лидера могут изменить отношение испытуемых вне зависимости от некоторой долгосрочной обработки, которой они подвергаются в ходе эксперимента.
2. Развитие: естественные изменения, происходящие с испытуемыми, которые с течением времени оказывают влияние на оценки зависимой переменной вне всякой связи с независимой переменной (например, утомление, рост популяции в регионах, подвергающихся анализу, физическое старение).
3. Нестабильность: случайные изменения в зафиксированных значениях, возникающие вследствие ненадежных измерений, несоответствующего выбора испытуемых или по другим причинам. [c.148]
4. Тестирование: описанный в данной главе тест-эффект.
5. Инструментарий: различия в используемых средствах измерения, которые создают вариации в оценках, не связанные с воздействием независимой переменной (например, разные точки зрения у интервьюеров, плохо отрегулированный прибор, недостаточно точное кодирование).
6. Артефакты регрессии: изменения, происходящие в результате регрессии к среднему, обсуждавшемуся в данной главе.
7. Отбор: различия в оценках, возникающие в результате дифференцированного подхода к формированию экспериментальной и контрольной групп (например, в том случае, когда члены экспериментальной группы подвергаются воздействию независимой переменной в законном порядке, а члены одной из контрольных групп идут на это добровольно).
8. Смертность в эксперименте: разные уровни потерь испытуемых в экспериментальной и контрольной группе. (Например, те объекты, благодаря которым контрольная группа в целом реагирует на независимую переменную так же, как экспериментальная группа, могут выбыть из эксперимента до контрольного теста.)
9. Взаимодействие отбора и развития: непоследовательное проведение процессов отбора, которое ведет к разному уровню развития в экспериментальной и контрольной группах. (Например, в “операции по устрашению” испытуемые экспериментальной группы могут быть старше, так как они изъявили желание участвовать в программе лишь после ряда арестов в качестве малолетних правонарушителей, и они, таким образом, могут перерасти преступность несовершеннолетних скорее, чем более юная контрольная группа.)
Факторы, угрожающие внешней валидности
1. Взаимодействие результатов тестирования: оценки в контрольном тесте испытуемых, прошедших предварительное тестирование, могут быть сочтены непредставительными для совокупности, не прошедшей предварительный тест, в силу того, что предварительный тест [c.149] определенным образом повысил чувствительность испытуемых к независимой переменной.
2. Взаимодействие отбора и проведения эксперимента: в результате непоследовательно проведенного отбора может быть сформирована экспериментальная группа, реагирующая на независимую переменную иначе, чем генеральная совокупность.
3. Реактивное воздействие обстановки эксперимента: условия эксперимента могут быть нерепрезентативны с точки зрения условий окружающего мира.
4. Интерференция нескольких исследований: при одновременном осуществлении более чем одного исследования могут возникнуть изменения, отличные от тех, которые возникли бы, если бы каждое исследование проводилось отдельно.
5. Нерелевантные данные измерений: все измерения отражают многообразные аспекты окружающей действительности, в число которых могут входить нерелевантные компоненты, создающие видимость изменений при отсутствии таковых или маскирующие реальные изменения.
6. Нерелевантные повторения исследований: в том случае, когда независимые переменные являются сложными событиями (таковы, например, посещение тюрьмы в примере с “операцией по устрашению” или высшее образование), исследователи могут не знать, какой из аспектов события вызывает изменение в объектах исследования, и по ошибке не включить релевантный аспект независимой переменной во все экспериментальные предъявления.
В идеале в исследовании должна использоваться программа, позволяющая исключить как можно большее количество факторов, представляющих собой угрозу валидности. Однако и самая лучшая программа будет бесполезной, если у нас нет ресурсов для ее выполнения. Временной фактор, наличие денежных средств, обученных кадров, оборудования – все это накладывает ограничения при выборе программы исследования. Если исследователь не уверен, что основные факторы, способные представлять угрозу для валидности в данном исследовании, контролируются программой, удобной с точки зрения имеющихся ограничений на ресурсы, следует отложить реализацию проекта до того момента, пока нужные ресурсы окажутся в его распоряжении. Лучше отказаться от [c.150] исследования вообще, чем провести плохое исследование, в результате которого можно прийти к неверным выводам.
И последнее соображение относительно программы исследования. Оно касается возможного в ходе осуществления программы нарушения профессиональной этики. Не будет ли нанесен кому-либо какой-нибудь ущерб? Если да, то насколько серьезный? Не слишком ли это дорогая цена за ту пользу, которая может быть принесена обществу? Каждый ученый должен ответить на эти вопросы в соответствии со своими ценностными ориентациями и принятыми в его профессии нормами. В приложении Б перечисляются рекомендуемые этические нормы проведения исследований, одобренные в ведущих профессиональных ассоциациях политологов и социологов. Единственный руководящий принцип, который мы можем предложить для решения такого рода проблем, – это еще раз высказать наше убеждение, что наука существует не сама по себе, а является инструментом, служащим человечеству. [c.151]
ДОПОЛНИТЕЛЬНАЯ ЛИТЕРАТУРА К ГЛАВЕ 4
Вопросы, касающиеся программы исследования, обсуждаются в ряде общих работ, посвященных методам исследования в социальных науках. К таким работам можно отнести кн.: Ваbbiе Е. The Practice of Social Research, 5 ed. – Beltmont, Calif.: Wadsworth, 1989; Miller D.C. Handbook of Research Design and Social Measurement, 5 ed. – Newbury Park, Calif.: Sage, 1991; Nachmias D.,Nachmias Ch. Research Methods in the Social Science, 3 ed. – NewYork: St.Marotin's, 1987. Большой популярностью пользуется работа: Cook Th.D., Сampbеll D.Т. Quasi-Experimentation. – Chicago: Rand McNally, 1979.
Путям разработки надежной логической базы в области социальных наук для интерпретации проводимых исследований посвящена кн.: Вlаlосk H.M., Jr. Causal Inferences in Nonexperimental Research. – Chapel Hill: University of North Carolina Press, 1964. Сущность квазиэкспериментальных программ и их использование в социологии рассматривается в статьях сборника: Caporaso J.A., Roos L.L., Jr. (eds.) Quasi-experimental Approaches. – Evanstone (Ill.): Northwestern University Press, 1973, – а соотношение между экспериментальными и квазиэкспериментальными программами рассматривается в работе: Асlаnd H. Are Randomised Experiments the Cadillacs of Design? // Policy Analysis. – Vol.5. – 1979, Spring. Более подробный анализ программы исследования можно найти в: Вlаlосk H.M., Jr. (ed.) Causal Models in Panel and Experimental Designs. – N.Y.: Adline, 1985. Еще ряд хороших примеров исследовательских программ см. в: Tufte E.R. Quantitative Analysis of Social Problems. – Reading (Mass.): Addison-Wesley, 1970. Удачное использование программы измерения временного ряда представлено в: Imring F.Е. Firearms and Federal Law; The Gun Control Act of 1968. // Journal of Legal Studies. – Vol.4. – 1975, January. – P.133-198. [c.152]
1
Nachmias D. Public Policy Evaluation. – New York: St. Martin's Press, 1979. P.21.
|
|
предыдущая |
|
следующая |
|
оглавление |