.: ORİJİNAL ARAŞTIRMA
A MEDLINE Survey Study on Reporting of Design Effect and Degree of Compliance with STROBE
STROBE Maddelerine Uyum ve Tasarım Etkisinin Raporlanmasına Yönelik Bir MEDLINE Taraması
Turkiye Klinikleri J Biostat. 2019;11(1):66-71
doi: 10.5336/biostatic.2018-63697
Makale Dili: EN
Tam Metin
ABSTRACT
Objective: The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) Statement is a checklist and has been developed to improve the reporting of observational studies. The design effect for observational studies is an important factor in sample size determinations however is not considered under STROBE. In this study, it is aimed to evaluate compliance with STROBE in the articles reviewed in MEDLINE and highlight the necessity of thinking out design effect. Material and Methods: A database search has been performed on the observational studies n=342, that are free full text, written in English and published in MEDLINE. The frequency of compliance with STROBE was examined and an auxiliary review with respect to the design effect was done by one reviewer. Results: 342 articles evaluated, 224 (65.5%) were cross-sectional and 118 (34.5%) cohort studies. The best compliance (above 90%) was for items 1(b), 2 and 14(a) while the worst fit (under 20%) was for items 12(d), 13(c) and 16(c). In n=6 (1.8%) cross-sectional studies design effect was reported. Conclusion: In terms of the quality of the reporting of observational trials, current observational studies in MEDLINE could still benefit from increased reporting of methodologic details including the reporting design effect, sample size determinations, methods taking account of sampling strategy for cross-sectional studies, power analyses and consideration of potential bias. For items under methods section (items 4-12) compliance is lower than other items. Discarding design effect has a potential of source of bias. Authors should report the design effect and can also be consider within the items 4 or 9 or 10.
Keywords: Observational study; STROBE; sample size; design effect; MEDLINE
Objective: The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) Statement is a checklist and has been developed to improve the reporting of observational studies. The design effect for observational studies is an important factor in sample size determinations however is not considered under STROBE. In this study, it is aimed to evaluate compliance with STROBE in the articles reviewed in MEDLINE and highlight the necessity of thinking out design effect. Material and Methods: A database search has been performed on the observational studies n=342, that are free full text, written in English and published in MEDLINE. The frequency of compliance with STROBE was examined and an auxiliary review with respect to the design effect was done by one reviewer. Results: 342 articles evaluated, 224 (65.5%) were cross-sectional and 118 (34.5%) cohort studies. The best compliance (above 90%) was for items 1(b), 2 and 14(a) while the worst fit (under 20%) was for items 12(d), 13(c) and 16(c). In n=6 (1.8%) cross-sectional studies design effect was reported. Conclusion: In terms of the quality of the reporting of observational trials, current observational studies in MEDLINE could still benefit from increased reporting of methodologic details including the reporting design effect, sample size determinations, methods taking account of sampling strategy for cross-sectional studies, power analyses and consideration of potential bias. For items under methods section (items 4-12) compliance is lower than other items. Discarding design effect has a potential of source of bias. Authors should report the design effect and can also be consider within the items 4 or 9 or 10.
Keywords: Observational study; STROBE; sample size; design effect; MEDLINE
ÖZET
Amaç: STROBE (STrengthening the Reporting of OBservational studies in Epidemiology), gözlemsel araştırma türündeki makalelerin hazırlanması sırasında yazılması gereken bölümlere ışık tutan kontrol listesi niteliğinde bir rehberdir. Gözlemsel çalışmalar için tasarım etkisi, örneklem büyüklüğünün belirlenmesinde önemli bir faktördür: Ancak STROBE kapsamında ele alınmamıştır. Bu çalışmada MEDLINE' veritabanında incelenen makalelerde STROBE maddelerine uyumu değerlendirmek, tasarım etkisinin değerlendirilmesine olan gereksinimi vurgulamak ve tasarım etkisinin kullanım sıklığını gözden geçirmek amaçlanmaktadır. Gereç ve Yöntemler: MEDLINE'nın web arayüzü olan PubMed üzerinden tam metine bağlantı verilmiş ve dili İngilizce olan kohort ve kesitsel araştırma türü niteliğindeki makalelerin tamamı çalışmanın evrenini oluşturmaktadır. STROBE ile uyum incelenmiş ve tasarım etkisinin raporlanması ile ilgili bir ek değerlendirme yapılmıştır. Bulgular: Değerlendirilen n=342 makalenin, n=224'ü (65.5%) kesitsel ve n=118'i (34.5%) kohort çalışmasıdır. Uyumun en yüksek olduğu (90%'ın üzerinde) maddeler 1 (b), 2 ve 14 (a), en düşük olduğu (20%'nin altında) maddeler ise 12 (d), 13 (c) ve 16 (c) olduğu gözlenmiştir. Ayrıca kesitsel çalışmada tasarım etkisinin dikkate alındığı makale n=6 (1,8%) oldukça azdır. Sonuç: MEDLINE'da gözlemsel çalışmaların raporlanma kalitesi bakımından, tasarım etkisinin raporlanması, örneklem büyüklüğü belirlenmesi, kesitsel çalışmalar için örnekleme stratejisini hesaba katan yöntemler, güç analizleri ve potansiyel yanlılık gibi metodolojik detayların rapor edilmesinden faydalanmaya devam etmelidir. Tasarım etkisinin "Gereç ve yöntemler" bölümündeki madde 4, 9 veya 10 kapsamında göz önünde bulundurmalıdır.
Anahtar Kelimeler: Gözlemsel çalışma; STROBE; örneklem büyüklüğü; tasarım etkisi; MEDLINE
Amaç: STROBE (STrengthening the Reporting of OBservational studies in Epidemiology), gözlemsel araştırma türündeki makalelerin hazırlanması sırasında yazılması gereken bölümlere ışık tutan kontrol listesi niteliğinde bir rehberdir. Gözlemsel çalışmalar için tasarım etkisi, örneklem büyüklüğünün belirlenmesinde önemli bir faktördür: Ancak STROBE kapsamında ele alınmamıştır. Bu çalışmada MEDLINE' veritabanında incelenen makalelerde STROBE maddelerine uyumu değerlendirmek, tasarım etkisinin değerlendirilmesine olan gereksinimi vurgulamak ve tasarım etkisinin kullanım sıklığını gözden geçirmek amaçlanmaktadır. Gereç ve Yöntemler: MEDLINE'nın web arayüzü olan PubMed üzerinden tam metine bağlantı verilmiş ve dili İngilizce olan kohort ve kesitsel araştırma türü niteliğindeki makalelerin tamamı çalışmanın evrenini oluşturmaktadır. STROBE ile uyum incelenmiş ve tasarım etkisinin raporlanması ile ilgili bir ek değerlendirme yapılmıştır. Bulgular: Değerlendirilen n=342 makalenin, n=224'ü (65.5%) kesitsel ve n=118'i (34.5%) kohort çalışmasıdır. Uyumun en yüksek olduğu (90%'ın üzerinde) maddeler 1 (b), 2 ve 14 (a), en düşük olduğu (20%'nin altında) maddeler ise 12 (d), 13 (c) ve 16 (c) olduğu gözlenmiştir. Ayrıca kesitsel çalışmada tasarım etkisinin dikkate alındığı makale n=6 (1,8%) oldukça azdır. Sonuç: MEDLINE'da gözlemsel çalışmaların raporlanma kalitesi bakımından, tasarım etkisinin raporlanması, örneklem büyüklüğü belirlenmesi, kesitsel çalışmalar için örnekleme stratejisini hesaba katan yöntemler, güç analizleri ve potansiyel yanlılık gibi metodolojik detayların rapor edilmesinden faydalanmaya devam etmelidir. Tasarım etkisinin "Gereç ve yöntemler" bölümündeki madde 4, 9 veya 10 kapsamında göz önünde bulundurmalıdır.
Anahtar Kelimeler: Gözlemsel çalışma; STROBE; örneklem büyüklüğü; tasarım etkisi; MEDLINE
REFERANSLAR:
- International Committee of Medical Journal Editors. International Committee of Medical Journal Editors (ICMJE): Uniform Requirements for Manuscripts Submitted to Biomedical Journals: writing and editing for biomedical publication. Haematologica. 2004;89(3):264. [PubMed]
- von Elm E, Altman DG, Egger M, Pocock SJ, Gøtzsche PC, Vandenbroucke JP, et al. The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) statement: guidelines for reporting observational studies. PLoS Med. 2007;4(10):e296. [Crossref] [PubMed] [PMC]
- Vandenbroucke JP, von Elm E, Altman DG, Gøtzsche PC, Mulrow CD, Pocock SJ, et al. Strengthening the Reporting of Observational Studies in Epidemiology (STROBE): explanation and elaboration. PLoS Med. 2007;4(10):e297. [Crossref] [PubMed] [PMC]
- Park I, Lee H. The design effect: Do we know all about it? Proceedings of the Annual Meeting of the American Statistical Association 2001.
- Kish L. The Economic Design of Surveys. Survey sampling. 1st ed. New York: John Willey & Sons Incorporated; 1965. p.257.
- Wejnert C, Pham H, Krishna N, Le B, DiNenno E. Estimating design effect and calculating sample size for respondent-driven sampling studies of injection drug users in the United States. AIDS Behav. 2012;16(4):797-806. [Crossref] [PubMed] [PMC]
- Bell BA, Onwuegbuzie AJ, Ferron JM, Jiao QG, Hibbard ST, Kromrey JD. Use of design effects and sample weights in complex health survey data: a review of published articles using data from 3 commonly used adolescent health surveys. Am J Public Health. 2012;102(7):1399-405. [Crossref] [PubMed] [PMC]
- Dorofeev S, Grant P. Statistical effects of sampling and weighting. Statistics for Real-Life Sample Surveys: Non-Simple-Random Samples and Weighted Data. 1st ed. New York: Cambridge University Press; 2006. p.505-6. [Crossref]
- White RG, Hakim AJ, Salganik MJ, Spiller MW, Johnston LG, Kerr L, et al. Strengthening the reporting of observational studies in epidemiology for respondent-driven sampling studies: ?STROBE-RDS? statement. J Clin Epidemiol. 2015;68(12):1463-71. [Crossref] [PubMed] [PMC]
- Dagoglu B, Siddikoglu D, Alparslan ZN. Is a Statement of the Design Effect Necessary in STROBE Checklist? (Concordance of Medline Survey Studies with Respect to STROBE). Turkey, Nevsehir, Cappadocia: Poster session presented at the meeting of Eastern Mediterranean Region International Biometric Society; 2015.
- O?Muircheartaigh C, Campanelli P. The relative impact of interviewer effects and sample design effects on survey precision. J R Stat Soc Series A (Statistics in Society). 1998;161(1):63-77. [Crossref]
- Tracy PE, Carkin DM. Adjusting for design effects in disproportionate stratified sampling designs through weighting. Crime & Delinquency. 2014;60(2):306-25. [Crossref]
- Salganik MJ. Variance estimation, design effects, and sample size calculations for respondent-driven sampling. J Urban Health. 2006;83(6 Suppl):i98-112. [Crossref] [PubMed] [PMC]
- Rowe AK, Lama M, Onikpo F, Deming MS. Design effects and intraclass correlation coefficients from a health facility cluster survey in Benin. Int J Qual Health Care. 2002;14(6):521-3. [Crossref] [PubMed]
- Janjua NZ, Khan MI, Clemens JD. Estimates of intraclass correlation coefficient and design effect for surveys and cluster randomized trials on injection use in Pakistan and developing countries. Trop Med Int Health. 2006;11(12):1832-40. [Crossref] [PubMed]
.: İşlem Listesi