Сравнение качества данных PAPI и CAPI в лонгитюдном исследовании домохозяйств: результаты эксперимента в рамках РМЭЗ НИУ ВШЭ

Научная статья
DOI: https://doi.org/10.19181/socjour.2020.26.4.7640
  • Айгуль Маратовна Климова Национальный исследовательский университет "Высшая школа экономики", Москва, Россия amavletova@hse.ru ORCID ID https://orcid.org/0000-0001-7407-2072
    Elibrary Author_id 743759
    ResearchID A-7616-2014
  • Евгений Андреевич Терентьев Национальный исследовательский университет "Высшая школа экономики", Москва, Россия eterentev@hse.ru ORCID ID https://orcid.org/0000-0002-3438-2786
    Elibrary Author_id 816169
    ResearchID K-5540-2015
Выражение признательности
Статья подготовлена при поддержке Российского научного фонда. Грант № 17-78-20172
Для цитирования
Климова А. М., Терентьев Е. А. Сравнение качества данных PAPI и CAPI в лонгитюдном исследовании домохозяйств: результаты эксперимента в рамках РМЭЗ НИУ ВШЭ // Социологический журнал. 2020. Том 26. № 4. С. 8-30. DOI: https://doi.org/10.19181/socjour.2020.26.4.7640

Аннотация

В статье представлены результаты экспериментального исследования того, как переход от традиционного бумажного способа сбора социологических данных (PAPI) к сбору данных с использованием компьютерных технологий (CAPI) влияет на качество данных в лонгитюдных исследованиях домохозяйств. Эксперимент был реализован в 2018–2019 гг. в рамках проведения Российского мониторинга экономического положения и здоровья населения (RLMS–HSE). В предыдущих работах на данных экспериментального исследования в рамках 26-й волны RLMS–HSE было показано, что использование CAPI приводит к значимому уменьшению доли отказов от ответов и доли несодержательных вариантов ответа («затрудняюсь ответить»), а также к значимым различиям в отношении ответов на сенситивные вопросы. В данной работе мы проверяли консистентность полученных результатов с использованием новых данных, собранных в рамках 27-й волны RLMS–HSE. Результаты эксперимента показывают, что использование CAPI приводит к снижению доли отказов от ответа и доли выбравших несодержательные ответы, что способствует повышению качества собираемых данных. Вместе с тем было показано, что использование CAPI может приводить к повышению эффекта социальной желательности.
Ключевые слова:
PAPI, CAPI, качество данных, лонгитюдные исследования домохозяйств, RLMS–HSE, доля ответов «затрудняюсь ответить», сенситивные вопросы, эффект социальной желательности

Биографии авторов

Айгуль Маратовна Климова, Национальный исследовательский университет "Высшая школа экономики", Москва, Россия
кандидат социологических наук, доцент, Департамент социологии; старший научный сотрудник, Лаборатория сравнительных социальных исследований
Евгений Андреевич Терентьев, Национальный исследовательский университет "Высшая школа экономики", Москва, Россия
кандидат социологических наук, старший научный сотрудник, Центр социологии высшего образования Института образования

Литература

Богданов М.Б., Лебедев Д.В. «Главное не бояться!» — воздействие тренингов на ожидания интервьюеров при переходе от PAPI к CAPI // Социология: 4М. 2018. № 45. С. 103–132.

Девятко И.Ф. Разработка подхода к количественной мультимодальной оценке когнитивной нагрузки интервьюеров: результаты пилотного квазиэксперимента // Вестник Российского университета дружбы народов. Серия: Социология. 2018. Т. 18. № 4. С. 627–637. DOI: 10.22363/2313-22722018-18-4-627-637

Лебедев Д.В., Богданов М.Б. Переход с PAPI на CAPI: опыт интервьюеров и характеристики, влияющие на их ожидания // Мониторинг общественного мнения: Экономические и социальные перемены. 2019. № 4. С. 43–67. DOI: 10.14515/monitoring.2019.4.03

Малошонок Н.Г., Терентьев Е.А. Эффект визуализации и формата оценочных шкал в онлайн-опросах студентов // Universitas. Журнал о жизни университетов. 2013. № 1 (2). С. 20–44.

Мягков А.Ю., Журавлева С.Л. Экспериментальная оценка качества данных в телефонном интервью // Социология: 4М. 2011. № 32. C. 26–52.

Терентьев Е.А., Мавлетова А.М., Косолапов М.С. Интервьюирование с помощью компьютерных технологий в лонгитюдных обследованиях домохозяйств // Мониторинг общественного мнения: Экономические и социальные перемены. 2018. № 3. С. 47–64. DOI: 10.14515/monitoring.2018.3.03

Ackerman R., Goldsmith M. Metacognitive Regulation of Text Learning: On Screen Versus on Paper // Journal of Experimental Psychology: Applied. 2011. Vol. 17. P. 18–32. DOI: 10.1037/a0022086

Baker R.P., Bradburn N.M., Johnson R.A. Computer-assisted personal interviewing: An experimental evaluation of data quality and costs // Journal of Official Statistics. 1995. Vol. 11. No. 4. P. 413–431.

Banks R., Laurie H. From PAPI to CAPI: The Case of the British Household Panel Survey // Social Science Computer Review. 2000. Vol. 18. No. 4. P. 397–406. DOI: 10.1177/089443930001800403

Bishop G., Oldendick R., Tuchfarber A. Effects of Filter Questions in Public Opinion Surveys // Public Opinion Quarterly. 1980. Vol. 47. P. 528–546. DOI: 10.1086/268810

Bush S.S., Prather L. Do Electronic Devices in Face-To-Face Interviews Change Survey Behavior? Evidence from a Developing Country // Research and Politics. 2019. Vol. 6. No. 2. P. 1–7. DOI: 10.1177/2053168019844645

Caeyers B., Chalmers N., Weerdt J.D. Improving consumption measurement and other survey data through CAPI: Evidence from a randomized experiment // Journal of Development Economics. 2012. Vol. 98. No. 1. P. 19–33. DOI: 10.1016/j.jdeveco.2011.12.001

Caviglia-Harris J., Hall S., Mulllan K., Macintyre C., Bauch S.C., Harris D., Cha H. Improving household surveys through computer-assisted data collection: Use of touch-screen laptops in challenging environments // Field Methods. 2012. Vol. 24. No. 1. P. 74–94. DOI: 10.1177/1525822x11399704

Chen H., Cohen P., Chen S. How Big is a Big Odds Ratio? Interpreting the Magnitudes of Odds Ratios in Epidemiological Studies // Communications in Statistics — Simulation and Computation. 2010. Vol. 39. No. 4. P. 860–864. DOI: 10.1080/03610911003650383

Cohen J. Statistical Power Analysis for the Behavioral Sciences. 2nd ed. Hillsdale, NJ: Lawrence Erlbaum Associates Publishers, 1988. — 567 p.

Cohen J. A Power Primer // Psychological Bulletin. 1992. Vol. 112. P. 155–159.

De Leeuw E.D., Hox J.J., Snijkers G. The effect of computer-assisted interviewing on data quality. A review // Market Research Society Journal. 1995. Vol. 37. No. 4. P. 1–19. DOI: 10.1177/147078539503700401

De Leeuw E., Hox J., Boevé A. Handling Do-Not-Know Answers Exploring New Approaches in Online and Mixed-Mode Surveys // Social Science Computer Review. 2015. Vol. 34. No. 1. P. 116–132. DOI: 10.1177/0894439315573744

DeRouvray C., Couper M. Designing a Strategy for Reducing ‘‘No Opinion’’ Responses in Web-based Surveys // Social Science Computer Review. 2002. Vol. 20. P. 3–9. DOI: 10.1177/089443930202000101

Dumville J.C., Hahn S., Miles J.N.V., Torgerson D.J. The use of unequal randomisation ratios in clinical trials: A review // Contemporary Clinical Trials. 2006. Vol. 27. No. 1. P. 1–12. DOI: 10.1016/j.cct.2005.08.003

Gnambs T., Kaspar K. Disclosure of sensitive behaviors across self-administered survey modes: A meta-analysis // Behavior Research Methods. 2015. Vol. 47. P. 1237–1259. DOI: 10.3758/s13428-014-0533-4

Heiskanen M., Ahlqvist K. Experiences of Two CAPI-PAPI Comparisons in Finland // IBUC 97. 1997. P. 95–146.

Laurie H. From PAPI to CAPI: consequences for data quality on the British Household Panel Study // Working Papers of the Institute for Social and Economic Research. 2003. No. 14. P. 1–14. [online]. Accessed 17.11.2020. URL: https://www. iser.essex.ac.uk/research/publications/working-papers/iser/2003-14.pdf

Lynn P. Data collection mode effects on responses to attitudinal questions // Journal of Official Statistics. 1998. Vol. 14. No. 2. P. 1–14.

MacKay T.L., Bard N., Bowling M., Hodgins D.C. Do Pokers Players Know How Good They Are? Accuracy of Poker Skill Estimation in Online and Offline Players // Computers in Human Behavior. 2014. Vol. 31. P. 419–424. DOI: 10.1016/j.chb.2013.11.006

Mangen A., Walgermo B.R., Brønnick K. Reading Linear Texts on Paper versus Computer Screen: Effects on Reading Comprehension // International Journal of Educational Research. 2013. Vol. 58. P. 61–68. DOI: 10.1016/j.ijer.2012.12.002

Martin C.L., O’Muircheartaigh C., Curtice J. The use of CAPI for attitudes surveys: an experimental comparison with traditional methods // Journal of Official Statistics. 1993. Vol. 9. P. 356–369.

Oeberst A., Haberstro S., Gnambs T. Not Really the Same: Computerized and Real Lotteries in Decision Making Research // Computers in Human Behavior. 2015. Vol. 44. P. 250–257. DOI: 10.1016/j.chb.2014.10.060

Schräpler J.-P., Schupp J., Wagner G.G. Changing from PAPI to CAPI: Introducing CAPI in a longitudinal Study // Journal of Official Statistics. 2010. No. 2 (26). P. 233–269.

Schuman H., Scott J. Response Effects Over Time: Two Experiments // Sociological Methods and Research. 1989. No. 17. P. 398–408. DOI: 10.1177/0049124189017004005

Tourangeau R., Couper M., Conrad F. Spacing, Position, and Order Interpretive Heuristics for Visual Features Of Survey Questions // Public Opinion Quarterly. 2004. Vol. 68. No. 3. P. 368–393. DOI: 10.1093/poq/nfh035

Watson N., Wilkins R. Experimental change from paper-based interviewing to computer-assisted interviewing in the HILDA Survey // Melbourne Institute Working Paper Series. 2012. No. 6 (12) [online]. Accessed 17.11.2020. URL: https://papers. ssrn.com/sol3/papers.cfm?abstract_id=2018624 DOI: 10.2139/ssrn.2018624
Статья

Поступила: 27.05.2020

Опубликована: 28.11.2020

Форматы цитирования
Другие форматы цитирования:

ACM
[1]
Климова, А.М. и Терентьев, Е.А. 2020. Сравнение качества данных PAPI и CAPI в лонгитюдном исследовании домохозяйств: результаты эксперимента в рамках РМЭЗ НИУ ВШЭ. Социологический журнал. 26, 4 (дек. 2020), 8-30. DOI:https://doi.org/10.19181/socjour.2020.26.4.7640.
Выпуск
Том 26 № 4 (2020): Социологический журнал
Раздел
ТЕОРИЯ И МЕТОДОЛОГИЯ

Все права на статью принадлежат авторам. Авторы передают права на использование статьи, в том числе на использование статьи в открытом доступе, издателю журнала на условиях неисключительной лицензии (Авторское соглашение (публичная оферта)) 

Принятием условий этого договора автором считается передача им материалов в редакцию через официальный сайт журнала ("Отправить рукопись") или через электронную почту редакции.