Возможности использования GPS-параданных для контроля процесса сбора данных: обзор существующих методов и анализ качества данных

doi:10.19181/socjour.2022.28.4.9313

DOI: https://doi.org/10.19181/socjour.2022.28.4.9313
EDN: YUZYJU

Даниил Вадимович Лебедев НИУ ВШЭ, Москва, Россия zenon-daniil@yandex.ru ORCID ID https://orcid.org/0000-0001-7246-8022
Elibrary Author_id 1022614

Выражение признательности

Статья подготовлена при поддержке Российского фонда фундаментальных исследований. Грантовый проект «Аспиранты» № 20-311-90073.

Для цитирования

Лебедев Д. В. Возможности использования GPS-параданных для контроля процесса сбора данных: обзор существующих методов и анализ качества данных // Социологический журнал. 2022. Том 28. № 4. С. 8-33. DOI: https://doi.org/10.19181/socjour.2022.28.4.9313 EDN: YUZYJU

Аннотация

Личное интервьюирование до сих пор широко распространено в социальных науках как метод сбора данных. Однако при подобных методах сбора информации велика опасность снижения качества данных из-за фабрикаций или фальсификаций со стороны интервьюеров. Поэтому появилось множество методов контроля процесса сбора данных, однако фокус их ограничен, и они не уделяют внимания поведенческим характеристикам интервьюеров. В этом контексте параданные и GPSпараданные являются важным новым инструментом контроля качества собранной информации, или методического аудита. Они позволяют не только потенциально выявить и предотвратить фальсификации или фабрикации интервьюерами, но и оценить корректность методических инструкций. В этой статье представлен обзор методов использования GPS-параданных, которые применяются на практике, а именно анализ отдельных локаций интервью и путей интервьюеров. При этом использование GPS-параданных для контроля процесса сбора информации не является безошибочным методом определения фабрикаций или фальсификаций интервьюеров, так как могут возникать технические неточности или ненамеренные ошибки интервьюеров, но это точно полезный дополнительный метод контроля, помогающий выявить «подозрительные» интервью или интервьюеров, для которых требуется применение более ресурсозатратных методов контроля. Кроме того, в статье представлен анализ качества полученных GPS-параданных на примере 26-й волны RLMS-HSE. Он основан на анализе пропущенных данных и качества измерений. Результаты показывают, что качество GPSпараданных может зависеть как от региона проведения интервью, так и от характеристик самих интервьюеров.

Ключевые слова:

GPS-параданные, Самбек, параданные, «Самбекские высоты», качество GPS-параданных, историческая память, мониторинг процесса сбора данных, гражданская солидарность, CAPI, патриотизм, качество данных личных интервью, патриотические ценности, фальсификации и фабрикации интервьюеров

Биография автора

Даниил Вадимович Лебедев, НИУ ВШЭ, Москва, Россия

стажер-исследователь, МЛИСИ НИУ ВШЭ, аспирант, школа по социологии НИУ ВШЭ; преподаватель, Кафедры МСиАСИ НИУ ВШЭ

Литература

1. Власов В. Вокруг плагиата // Медицинская газета. 2007. № 41. С. 11.

2. Ипатова А.А. Насколько разумна наша вера в результаты опросов, или Нарушение исследовательской этики в социологических исследованиях // Мониторинг общественного мнения: экономические и социальные перемены. 2014. № 3 (121). С. 26–39. DOI: 10.14515/monitoring.2014.3.02 EDN: SIGFPR

3. Контроль качества получаемой информации // ВЦИОМ. Дата обращения 13.07.2022. URL: https://old-ok.wciom.ru/kontrol_i_kachestvo_dannyh

4. Лебедев Д.В. Параданные: определение, типы, сбор и возможное применение // Мониторинг общественного мнения: экономические и социальные перемены. 2020. № 2 (156). С. 4–32. DOI: 10.14515/monitoring.2020.2.915 EDN: VTLLGY

5. Лебедев Д.В., Богданов М.Б. Переход с PAPI на CAPI: опыт интервьюеров и характеристики, влияющие на их ожидания // Мониторинг общественного мнения: экономические и социальные перемены. 2019. № 4 (152). С. 43–67. DOI: 10.14515/monitoring.2019.4.03 EDN: DPAZOU

6. Мягков А.Ю., Журавлева И.В. Эффект ожиданий интервьюера в персональном интервью // Социологический журнал. 2004. № 3–4. С. 6–26. EDN: PZQOLN

7. Рогозин Д.М. Зачем социологу изучать фабрикации // Телескоп: журнал социологических и маркетинговых исследований. 2017. № 5. С. 13–16. EDN: ZIDZHL

8. Рогозин Д.М. По(д)делки в «бумажном» поквартирном опросе // Мониторинг общественного мнения: экономические и социальные перемены. 2015. № 4 (128). С. 3–35. DOI: 10.14515/monitoring.2015.4.01 EDN: XBBCMF

9. Arceneaux T. Evaluating the computer audio-recorded interviewing (CARI) household wellness study (HWS) field test. Proceedings of the American Statistical Association, Section on Survey Research Methods. Chicago: ASA, 2007. P. 2811–2818.

10. Bhuiyan M.F., Lackie P. Mitigating survey fraud and human error: Lessons learned from a low budget village census in Bangladesh. IASSIST Quarterly. 2017. Vol. 40. No. 3. P. 20–26. DOI: 10.29173/iq398

11. Birnbaum B. Algorithmic approaches to detecting interviewer fabrication in surveys. Washington: University of Washington, 2012.

12. Birnbaum B., Borriello G., Flaxman A.D., DeRenzi B., Karlin A.R. Using behavioral data to identify interviewer fabrication in surveys. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. Paris: ACM, 2013. P. 2911–2920. DOI: 10.1145/2470654.2481404

13. Biruk C. Seeing like a research project: Producing “high-quality data” in AIDS research in Malawi. Medical anthropology. 2012. Vol. 31. No. 4. P. 347–366. DOI: 10.1080/0145 9740.2011.631960

14. Bredl S., Winker P., Kotschau K. A statistical approach to detect interviewer falsification of survey data. Survey Methodology. 2012. Vol. 38. No. 1. P. 1–10.

15. Bushery J.M., Reichert J.W., Albright K.A., Rossiter J.C. Using date and time stamps to detect interviewer falsification. Proceedings of the American Statistical Association (Survey Research Methods Section). Chicago: ASA, 1999. P. 316–320.

16. Cecchi R., Marquette R.J. 2010 Census Global Positioning System (GPS) Evaluation Report. United States Census Bureau. Accessed 13.07.2022. URL: https://www.census.gov/2010census/pdf/2010_Census_AC_Operational_Assessment.pdf

17. Choumert‐Nkolo J., Cust H., Taylor C. Using paradata to collect better survey data: evidence from a household survey in Tanzania. Review of Development Economics. 2019. Vol. 23. No. 2. P. 598–618. DOI: 10.1111/rode.12583

18. Chung E.H., Shalaby A. A trip reconstruction tool for GPS-based personal travel surveys. Transportation Planning and Technology. 2005. Vol. 28. No. 5. P. 381–401. DOI: 10.1080/03081060500322599

19. Cornelius S.C., Sear D.A., Carver S.J., Heywood D.I. GPS, GIS and geomorphological field work. Earth Surface Processes and Landforms. 1994. Vol. 19. No. 9. P. 777–787. DOI: 10.1002/esp.3290190904

20. Couper M. Measuring survey quality in a CASIC environment. Proceedings of the Survey Research Methods Section of the ASA at JSM1998. Chicago: ASA, 1998. P. 41–49.

21. Couper M.P., Burt G. Interviewer attitudes toward computer-assisted personal interviewing (CAPI). Social Science Computer Review. 1994. Vol. 12. No. 1. P. 38–54. DOI: 10.1177/089443939401200103

22. Couper M.P., Kreuter F. Using paradata to explore item level response times in surveys. Journal of the Royal Statistical Society: Series A (Statistics in Society). 2013. Vol. 176. No. 1. P. 271–286. DOI: 10.1111/j.1467-985X.2012.01041.x

23. Crespi L.P. Further Observations on the “Cheater” Problem. Public Opinion Quarterly. No. 4. Vol. 10. 1946. P. 646–649. DOI: 10.1086/265823.

24. Dajani N., Marquette R.Q. Reinterview Detection and Prevention at Census: New Initiatives. Washington Statistical Society Curb-Stoning Seminar. Part III, Washington, DC. Washington: WSS, 2015.

25. Durrant G.B., D’Arrigo J. Doorstep interactions and interviewer effects on the process leading to cooperation or refusal. Sociological Methods & Research. 2014. Vol. 43. No. 3. P. 490–518. DOI: 10.1177/0049124114521148

26. Durrant G.B., D’Arrigo J., Steele F. Analysing interviewer call record data by using a multilevel discrete time event history modelling approach. Journal of the Royal Statistical Society: Series A (Statistics in Society). 2013. Vol. 176. No. 1. P. 251–269. DOI: 10.1111/j.1467-985X.2012.01073.x

27. Dwolatzky B., Trengove E., Struthers H., McIntyre J.A., Martinson N.A. Linking the global positioning system (GPS) to a personal digital assistant (PDA) to support tuberculosis control in South Africa: a pilot study. International Journal of Health Geographics. 2006. Vol. 5. No. 1. P. 1–6. DOI: 10.1186/1476-072X-5-34

28. Eyerman J., Murphy J., McCue C., Hottinger C., Kennet J. Interviewer falsification detection using data mining. Proceedings: Symposium 2005, Methodological Challenges for Future Information Needs; Statistics Canada. Toronto: Statistics Canada, 2005.

29. Fanelli D. How many scientists fabricate and falsify research? A systematic review and meta-analysis of survey data. PloS one. 2009. Vol. 4. No. 5. P. e5738. DOI: 10.1371/journal.pone.0005738

30. Gong H., Chen C., Bialostozky E., Lawson C.T. A GPS/GIS method for travel mode detection in New York City. Computers, Environment and Urban Systems. 2012. Vol. 36. No. 2. P. 131–139. DOI: 10.1016/j.compenvurbsys.2011.05.003

31. Groves B. Interviewer falsification in survey research: Current best methods for prevention, detection, and repair of its effects. Survey Research. 2004. Vol. 35. No. 1. P. 1–5.

32. Groves R.M., Lyberg L. Total survey error: Past, present, and future. Public opinion quarterly. 2010. Vol. 74. No. 5. P. 849–879. DOI: 10.1093/poq/nfq065

33. Haddaway S. CAPI surveys on android devices in the developing world. Federal CASIC Workshops. Washington, DC. Washington: CASIC, 2013.

34. Hasson M. Efficiency analysis through geospatial location evaluation (EAGLE). Annual Federal Computer-assisted Survey Information Collection (FedCASIC) Workshop. Suitland, MD. 2015.

35. Keating M., Loftis C., McMichael J., Ridenhour J. New dimensions of mobile data quality. Federal CASIC Workshops. Washington, DC. Washington: CASIC, 2014.

36. Kingori P., Gerrets R. Morals, morale and motivations in data fabrication: Medical research fieldworkers views and practices in two Sub-Saharan African contexts. Social Science & Medicine. 2016. Vol. 166. P. 150–159. DOI: 10.1016/j.socscimed.2016.08.019

37. Kozyreva P., Kosolapov M., Popkin B.M. Data Resource Profile: The Russia Longitudinal Monitoring Survey — Higher School of Economics (RLMS–HSE) Phase II: Monitoring the Economic and Health Situation in Russia, 1994–2013. International journal of epidemiology. 2016. Vol. 45. No. 2. P. 395–401. DOI: 10.1093/ije/dyv357

38. Krejsa E.A., Davis M.C., Hill J.M. Evaluation of the quality assurance falsification interview used in the census 2000 dress rehearsal. Proceedings of the American Statistical Association (Survey Research Methods Section). Chicago: ASA, 1999. P. 635–640.

39. Lemmens M. Geo-information: technologies, applications and the environment. Vol. 5. N.Y.: Springer, 2011. DOI: 10.1007/978-94-007-1667-4

40. Li J., Michael Brick J., Tran B., Singer P. Using statistical models for sample design of a reinterview program. Journal of Official Statistics. 2011. Vol. 27. No. 3. P. 433.

41. McClain C.A., Couper M.P., Hupp A.L., Keusch F., Peterson G., Piskorowski A.D. & West B.T. A typology of web survey paradata for assessing total survey error. Social Science Computer Review. 2019. Vol. 37. No. 2. P. 196–213. DOI: 10.1177/0894439318759670

42. Mohadjer L., Edwards B. Paradata and dashboards in PIAAC. Quality assurance in education. 2018. Vol. 26. No. 2. P. 263–277. DOI: 10.1108/QAE-06-2017-0031

43. Montalvo J.D., Seligson M.A., Zechmeister E.J. Improving adherence to area probability sample designs: Using lapop’s remote interview geo-locating of households in real-time (right) system. Americas Barometer Methodological Note IMN004. Nashville: IMN004, 2018.

44. Murphy J., Baxter R., Eyerman J., Cunningham D., Kennet J. A system for detecting interviewer falsification. American Association for Public Opinion Research 59th Annual Conference. Phoenix: AAPOR, 2004. P. 4968–4975.

45. Murphy J., Biemer P., Stringer C., Thissen R., Day O., Hsieh Y.P. Interviewer falsification: Current and best practices for prevention, detection, and mitigation. Statistical Journal of the IAOS. 2016. Vol. 32. No. 3. P. 313–326. DOI: 10.3233/SJI-161014

46. Olbrich L., Kosyakova Y., Sakshaug J.W. The reliability of adult self-reported height: The role of interviewers. Economics & Human Biology. 2022. Vol. 45. P. 101–118. DOI: 10.1016/j.ehb.2022.101118

47. Olson K., Wagner J. A feasibility test of using smartphones to collect GPS information in face-to-face surveys. Survey Research Methods. 2015. Vol. 9. No. 1. P. 1–13.

48. Robbins M., Johnson T.P., Pennell B.E., Stoop I.A.L., Dorer B. New frontiers in detecting data fabrication. Advances in Comparative Survey Methods: Multicultural, Multinational and Multiregional Contexts (MC). Ed. by T.P. Johnson, B.-E. Pennell, I.A.L. Stoop, and B. Dorer. Hoboken, NJ: Wiley, 2018. DOI: 10.1002/9781118884997

49. Roth J.A. Hired hand research. The American Sociologist. 1966. Vol. 1. No. 4. P. 190–196.

50. Schäfer C., Schräpler J.P., Müller K.R., Wagner G.G. Automatic identification of faked and fraudulent interviews in surveys by two different methods. DIW Discussion Papers. Berlin: DIW, 2004. No. 441.

51. Schaefer C., Schräpler J.P., Müller K.R., Wagner G.G. Automatic identification of faked and fraudulent interviews in the German SOEP. Schmollers Jahrbuch: Journal of Applied Social Science Studies / Zeitschrift für Wirtschafts-und Sozialwissenschaften. 2005. Vol. 125. No. 1. P. 183–193.

52. Schraepler J.P., Wagner G.G. Characteristics and impact of faked interviews in surveys — An analysis of genuine fakes in the raw data of SOEP. Allgemeines Statistisches Archiv. 2005. Vol. 89. No. 1. P. 7–20. DOI: 10.1007/s101820500188

53. Seeger J. A mobile, GPS-enabled listing application. Federal CASIC Workshops. Washington, DC: IEEE, 2011.

54. Shepherd J., Hill D., Bristor J., Montalvan P. Converting an ongoing health study to CAPI: Findings from the National Health and Nutrition Study. Health survey research methods conference proceedings. Baltimore: HSRM, 1996. P. 159–164.

55. Sikes N. Current trends in mobile technology for survey research. Federal CASIC Workshops. Washington, DC: CASIC, 2009.

56. Survey Solutions. Survey Solutions. Accessed 13.07.2022. URL: https://mysurvey.solutions/en/

57. Swanson D., Cho M., Eltinge J. Detecting possibly fraudulent or error-prone survey data using Benford’s Law. Proceedings of the Section on Survey Research Methods, American Statistical Association. Chicago: ASA, 2003. P. 937–941.

58. Thissen M.R. Computer audio-recorded interviewing as a tool for survey research. Social Science Computer Review. 2014. Vol. 32. No. 1. P. 90–104. DOI: 10.1177/0894439313500128

59. Thissen M.R., Myers S.K. Systems and processes for detecting interviewer falsification and assuring data collection quality. Statistical Journal of the IAOS. 2016. Vol. 32. No. 3. P. 339–347. DOI: 10.3233/SJI-150947

60. Wagner J., Olson K., Edgar M. Assessing Potential Errors in Level-of-E ort Paradata using GPS Data. Survey research methods. 2017. Vol. 11. No. 3. P. 219–233.

61. Wang K., Biemer P. The accuracy of interview paradata: Results from a field investigation. Annual Meeting of the American Association for Public Opinion Research. Chicago, IL (May). 2010.

62. Weisberg H.F. The total survey error approach: A guide to the new science of survey research. Chicago: University of Chicago Press, 2009.

63. Yabiku S.T., Glick J.E., Wentz E.A., Ghimire D., Zhao Q. Comparing paper and tablet modes of retrospective activity space data collection. Survey research methods. NIH Public Access. 2017. Vol. 11. No. 3. P. 329.

64. Zandbergen P.A. Accuracy of iPhone locations: A comparison of assisted GPS, WiFi and cellu lar posi tioning. Transactions in GIS. 2009. Vol. 13. P. 5–25. DOI: 10.1111/j.14679671.2009.01152.x

Возможности использования GPS-параданных для контроля процесса сбора данных: обзор существующих методов и анализ качества данных

Научная статья

Аннотация

Биография автора

Литература