.: ORİJİNAL ARAŞTIRMA
Sentiment Analysis of Natural Disaster Images Obtained from Social Media: An Experimental Study
Sosyal Medyadan Alınan Doğal Afet Görüntülerinin Duygu Analizi: Deneysel Araştırma
Turkiye Klinikleri J Health Sci. 2024;9(4):642-51
doi: 10.5336/healthsci.2024-103042
Makale Dili: EN
Tam Metin
ABSTRACT
Objective: The frequency of natural disasters worldwide is increasing, and social networks have become popular sources of crucial data for analyzing images' emotions. Although the analysis of disaster-related images is a relatively new field, this study aims to identify the emotional responses evoked by images shared on social media. Material and Methods: In this four-stage study, a total of 5,203 free and openly accessible images were scraped from various social media platforms, and emotion categories associated with these images were selected. The images were converted to RGB format and resized after undergoing preprocessing. Normalization of the visual pixels was performed. Various deep learning (DL) models were examined for visual sentiment analysis, and their performance was compared using metrics. Subsequently, emotion classification was performed using Inception-v3, which yielded the most reliable results. Results: The most suitable DL model among different pre-trained DL models was determined to be Inception-v3 with a performance metric of 81.2%. The analysis of the emotions depicted in the images revealed that 71.9% (n=3,741) were classified as negative, while 8.0% (n=781) were classified as neutral. Conclusion: These results indicate that visual sentiment analysis of social media data can significantly enhance disaster response efforts. By identifying early warning messages, updating disaster-related information, and monitoring user-generated content, this approach supports more effective data analytics and information dissemination. Consequently, the use of advanced DL models like Inception-v3 in analyzing emotional content from social media can provide valuable insights and improve the efficiency and effectiveness of disaster management strategies.
Keywords: Social media; artificial intelligence; deep learning; sentiment analysis; natural disaster
Objective: The frequency of natural disasters worldwide is increasing, and social networks have become popular sources of crucial data for analyzing images' emotions. Although the analysis of disaster-related images is a relatively new field, this study aims to identify the emotional responses evoked by images shared on social media. Material and Methods: In this four-stage study, a total of 5,203 free and openly accessible images were scraped from various social media platforms, and emotion categories associated with these images were selected. The images were converted to RGB format and resized after undergoing preprocessing. Normalization of the visual pixels was performed. Various deep learning (DL) models were examined for visual sentiment analysis, and their performance was compared using metrics. Subsequently, emotion classification was performed using Inception-v3, which yielded the most reliable results. Results: The most suitable DL model among different pre-trained DL models was determined to be Inception-v3 with a performance metric of 81.2%. The analysis of the emotions depicted in the images revealed that 71.9% (n=3,741) were classified as negative, while 8.0% (n=781) were classified as neutral. Conclusion: These results indicate that visual sentiment analysis of social media data can significantly enhance disaster response efforts. By identifying early warning messages, updating disaster-related information, and monitoring user-generated content, this approach supports more effective data analytics and information dissemination. Consequently, the use of advanced DL models like Inception-v3 in analyzing emotional content from social media can provide valuable insights and improve the efficiency and effectiveness of disaster management strategies.
Keywords: Social media; artificial intelligence; deep learning; sentiment analysis; natural disaster
ÖZET
Amaç: Dünya genelinde doğal afetlerin sıklığı artmaktadır ve sosyal ağlar, görüntülerin duygusal analizi için kritik veri kaynakları hâline gelmiştir. Doğal afetlerle ilgili görüntülerin analizi nispeten yeni bir alandır, bu çalışma ise sosyal medyada paylaşılan görüntülerin uyandırdığı duygusal tepkileri tanımlamayı amaçlamaktadır. Gereç ve Yöntemler: Bu 4 aşamalı çalışmada, çeşitli sosyal medya platformlarından toplam 5.203 ücretsiz ve açıkça erişilebilir görüntü çekildi ve bu görüntülerle ilişkilendirilen duygu kategorileri seçildi. Görseller, ön işleme tabi tutularak RGB formatına dönüştürüldü ve yeniden boyutlandırıldı. Görsel piksellerinin normalizasyonu yapıldı. Görsel duygu analizi için çeşitli derin öğrenme [deep learning (DL)] modelleri incelendi ve performansları metrikler kullanılarak karşılaştırıldı. Daha sonra, en güvenilir sonuçları veren Inception-v3 kullanılarak duygu sınıflandırması yapıldı. Bulgular: Önceden eğitilmiş farklı DL modellerinin performans metrikleri içerisinde en uygun derin öğrenme modeli %81,2 ile Inception-v3 olduğu belirlendi. Görüntülerde tasvir edilen duyguların analizi, 3.741'i (%71,9) negatif olarak sınıflandırılırken, 781'i (%8,0) nötr olarak sınıflandırıldığını ortaya koydu. Sonuç: Bu sonuçlar, sosyal medya verilerinin görsel duygu analizinin, afet müdahale çabalarını önemli ölçüde artırabileceğini göstermektedir. Erken uyarı mesajlarını belirleyerek, afetle ilgili bilgileri güncelleyerek ve kullanıcı tarafından oluşturulan içeriği izleyerek, bu yaklaşım daha etkili veri analitiği ve bilgi yayılımını desteklemektedir. Sonuç olarak, sosyal medyadan duygusal içerik analizinde Inception-v3 gibi ileri derin öğrenme modellerinin kullanılması, değerli içgörüler sağlayabilir ve afet yönetim stratejilerinin verimliliğini ve etkinliğini artırabilir.
Anahtar Kelimeler: Sosyal medya; yapay zekâ; derin öğrenme; duygu analizi; doğal afet
Amaç: Dünya genelinde doğal afetlerin sıklığı artmaktadır ve sosyal ağlar, görüntülerin duygusal analizi için kritik veri kaynakları hâline gelmiştir. Doğal afetlerle ilgili görüntülerin analizi nispeten yeni bir alandır, bu çalışma ise sosyal medyada paylaşılan görüntülerin uyandırdığı duygusal tepkileri tanımlamayı amaçlamaktadır. Gereç ve Yöntemler: Bu 4 aşamalı çalışmada, çeşitli sosyal medya platformlarından toplam 5.203 ücretsiz ve açıkça erişilebilir görüntü çekildi ve bu görüntülerle ilişkilendirilen duygu kategorileri seçildi. Görseller, ön işleme tabi tutularak RGB formatına dönüştürüldü ve yeniden boyutlandırıldı. Görsel piksellerinin normalizasyonu yapıldı. Görsel duygu analizi için çeşitli derin öğrenme [deep learning (DL)] modelleri incelendi ve performansları metrikler kullanılarak karşılaştırıldı. Daha sonra, en güvenilir sonuçları veren Inception-v3 kullanılarak duygu sınıflandırması yapıldı. Bulgular: Önceden eğitilmiş farklı DL modellerinin performans metrikleri içerisinde en uygun derin öğrenme modeli %81,2 ile Inception-v3 olduğu belirlendi. Görüntülerde tasvir edilen duyguların analizi, 3.741'i (%71,9) negatif olarak sınıflandırılırken, 781'i (%8,0) nötr olarak sınıflandırıldığını ortaya koydu. Sonuç: Bu sonuçlar, sosyal medya verilerinin görsel duygu analizinin, afet müdahale çabalarını önemli ölçüde artırabileceğini göstermektedir. Erken uyarı mesajlarını belirleyerek, afetle ilgili bilgileri güncelleyerek ve kullanıcı tarafından oluşturulan içeriği izleyerek, bu yaklaşım daha etkili veri analitiği ve bilgi yayılımını desteklemektedir. Sonuç olarak, sosyal medyadan duygusal içerik analizinde Inception-v3 gibi ileri derin öğrenme modellerinin kullanılması, değerli içgörüler sağlayabilir ve afet yönetim stratejilerinin verimliliğini ve etkinliğini artırabilir.
Anahtar Kelimeler: Sosyal medya; yapay zekâ; derin öğrenme; duygu analizi; doğal afet
REFERANSLAR:
- Hoque MA-A, Phinn SR, Roelfsema C, Childs I. Tropical cyclone disaster management using remote sensing and spatial analysis: a review. International Journal of Disaster Risk Reduction. 2017;22:345-54. [Crossref]
- Kc U, Garg S, Hilton JE, Aryal J, Forbes-Smith N. Cloud computing in natural hazard modeling systems: current research trends and future directions. International Journal of Disaster Risk Reduction. 2019;38:101188. [Crossref]
- Xiong J, Hswen Y, Naslund JA. Digital surveillance for monitoring environmental health threats: a case study capturing public opinion from Twitter about the 2019 Chennai water crisis. Int J Environ Res Public Health. 2020;17(14):5077. [Crossref] [PubMed] [PMC]
- Tim Y, Pan SL, Ractham P, Kaewkitipong L. Digitally enabled disaster response: the emergence of social media as boundary objects in a flooding disaster. Information Systems Journal. 2016;27(2):197-232. [Crossref]
- Ennaji FZ, Fazziki AE, Abdallaoui HEAE, Benslimane D, Sadgal M. A product reputation framework based on social multimedia content. International Journal of Web Information Systems. 2019;16(1):95-113. [Crossref]
- EM-DAT [Internet]. [Cited: June 20, 2023]. The International Disaster Database Belgium: Centre for Research on the Epidemiology of Disasters-CRED; 2023. Available from: [Link]
- Hassan SZ, Ahmad K, Hicks S, Halvorsen P, Al-Fuqaha A, Conci N, et al. Visual sentiment analysis from disaster images in social media. Sensors. 2022;22(10):3628. [Crossref]
- Graham NA, Jennings S, MacNeil MA, Mouillot D, Wilson SK. Predicting climate-driven regime shifts versus rebound potential in coral reefs. Nature. 2015;518(7537):94-7. [Crossref] [PubMed]
- Sufi F, Khalil I. Automated disaster monitoring from social media posts using ai-based location intelligence and sentiment analysis. IEEE Transactions on Computational Social Systems. 2022;PP(99):1-11. [Crossref]
- Yum S. Sentiment analyses of Twitter for winter storm leo. In: Information Resources Management Association, editor. Research Anthology on Managing Crisis and Risk Communications. Hershey, PA, USA: IGI Global; 2023. p.790-809. [Crossref]
- Mittal N, Sharma D, Joshi M. Image sentiment analysis using deep learning. IEEE/WIC/ACM International Conference on Web Intelligence. 2018. p.684-7 [Crossref]
- Ortis A, Farinella G, Battiato S. An overview on image sentiment analysis: methods, datasets and current challenges. SciTePress. 2019. p.290-300. [Link]
- Baratloo A, Hosseini M, Negida A, El Ashal G. Part 1: Simple Definition and Calculation of Accuracy, Sensitivity and Specificity. Emerg (Tehran). 2015;3(2):48-9. [PubMed] [PMC]
- Krizhevsky A, Sutskever I, Hinton GE. ImageNet classification with deep convolutional neural networks. Commun ACM. 2017;60(6):84-90. [Crossref]
- Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition. arXiv. 2014. [Link]
- Andersen RE, Nalpantidis L, Ravn O, Boukas E. Investigating Deep Learning Architectures towards Autonomous Inspection for Marine Classification. 2020 IEEE International Symposium on Safety, Security, and Rescue Robotics (SSRR). 2020:197-204. [Crossref]
- He K, Zhang X, Ren S, Sun J. Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2016 27-30 June 2016. [Crossref]
- Dai J, He K, Sun J. Instance-aware Semantic Segmentation via Multi-task Network Cascades. arXiv. 2015. [Crossref]
- Chen LC, Papandreou G, Kokkinos I, Murphy K, Yuille AL. DeepLab: semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2018;40(4):834-48. [Crossref]
- Deng J, Dong W, Socher R, Li LJ, Kai L, Li F-F, editors. ImageNet: A large-scale hierarchical image database. 2009 IEEE Conference on Computer Vision and Pattern Recognition 2009 20-25 June 2009. [Crossref]
- Zhou B, Lapedriza À, Xiao J, Torralba A, Oliva A. Learning Deep Features for Scene Recognition using Places Database. Advances in Neural Information Processing Systems. 2015;1. [Link]
- Meena G, Mohbey K, Kumar S, Chawda R, Gaikwad S. Image-Based Sentiment Analysis Using InceptionV3 Transfer Learning Approach. SN Computer Science. 2023;4. [Crossref]
- Yu H, Sun H, Li J, Shi L, Bao N, Li H, et al. Effective diagnostic model construction based on discriminative breast ultrasound image regions using deep feature extraction. Med Phys. 2021;48(6):2920-8. [Crossref] [PubMed]
- Salman Al-Tameemi IK, Feizi-Derakhshi MR, Pashazadeh S, Asadpour M. Multi-model fusion framework using deep learning for visual-textual sentiment classification. Computers Materials and Continua. 2023;76(2):2145-77. [Crossref]
- Al Husaini MAS, Habaebi MH, Gunawan TS, Islam MR, Elsheikh EAA, Suliman FM. Thermal-based early breast cancer detection using inception V3, inception V4 and modified inception MV4. Neural Comput Appl. 2022;34(1):333-48. [Crossref] [PubMed] [PMC]
- Wu W, Li J, Ye J, Wang Q, Zhang W, Xu S. Differentiation of glioma mimicking encephalitis and encephalitis using multiparametric MR-based deep learning. Front Oncol. 2021;11:639062. [Crossref] [PubMed] [PMC]
- Mkhatshwa J, Kavu T, Daramola O. Analysing the performance and interpretability of CNN-based architectures for plant nutrient deficiency identification. Computation. 2024;12(6):113. [Crossref]
- Saleh N, Wahed MA, Salaheldin AM. Transfer learning-based platform for detecting multi-classification retinal disorders using optical coherence tomography images. International Journal of Imaging Systems and Technology. 2021;32(3):740-52. [Crossref]
- Fang X, Li W, Huang J, Li W, Feng Q, Han Y, et al. Ultrasound image intelligent diagnosis in community-acquired pneumonia of children using convolutional neural network-based transfer learning. Front Pediatr. 2022;10:1063587. [Crossref] [PubMed] [PMC]
- Xiao T, Liu L, Li K, Qin W, Yu S, Li Z. Comparison of transferred deep neural networks in ultrasonic breast masses discrimination. Biomed Res Int. 2018;2018:4605191. [Crossref] [PubMed] [PMC]
- Morellos A, Pantazi XE, Paraskevas C, Moshou D. Comparison of deep neural networks in detecting field grapevine diseases using transfer learning. Remote Sensing. 2022;14(18):4648. [Crossref]
- Szegedy C, Liu W, Jia Y, Sermanet P, Reed S, Anguelov D, et al. Going deeper with convolutions. arXiv. 2015. [Crossref]
- Mvoulana A, Kachouri R, Akil M. Fine-tuning convolutional neural networks: a comprehensive guide and benchmark analysis for glaucoma screening. Italy: 25th International Conference in Pattern Recognition; 2021. [Crossref]
- Khudaier AH, Radhi AM. Binary classification of diabetic retinopathy using CNN architecture. Iraqi Journal of Science. 2024;65(2):963-78. [Crossref]
- Sukegawa S, Tanaka F, Nakano K, Hara T, Yoshii K, Yamashita K, et al. Effective deep learning for oral exfoliative cytology classification. Sci Rep. 2022;12(1):13281. [Crossref] [PubMed] [PMC]
.: İşlem Listesi