مقایسه عملکرد چت‌جی‌پی‌تی 4 و جمنای 2.5 پرو در پاسخ‌گویی به نیازهای اطلاعاتی دانشجویان دکتری دانشگاه خوارزمی

نوع مقاله : مقاله پژوهشی

نویسندگان

1 کارشناسی ارشد علم اطلاعات و دانش‌شناسی، دانشگاه خوارزمی، تهران، ایران. رایانامه: mahdiehkhondabi@gmail.com

2 . عضو هیات علمی گروه علم اطلاعات و دانش‌شناسی، دانشگاه خوارزمی، تهران، ایران. رایانامه: zerehsaz@khu.ac.ir

3 . نویسنده مسئول، گروه علم اطلاعات و دانش‌شناسی، دانشگاه خوارزمی، تهران، ایران. رایانامه: azimia@khu.ac.ir

چکیده
هدف: پژوهش حاضر با هدف مقایسه چت‌جی‌پی‌تی ۴ و جمنای ۲.۵ پرو در رفع نیازهای اطلاعاتی دانشجویان دکتری به زبان فارسی انجام شد. تمرکز اصلی پژوهش بر این بود که هر مدل در پاسخ‌گویی به نیازهای اطلاعاتی دانشگاهی، تخصصی و فارسی‌زبان تا چه اندازه دقیق، مرتبط، قابل‌فهم، کاربردی، متنوع و پشتیبان فرایند جستجوی علمی عمل می‌کند.

روش: پژوهش با رویکرد ترکیبی انجام شد. مشارکت‌کنندگان شامل ۳۶ دانشجوی دکتری دانشکده روان‌شناسی و علوم تربیتی دانشگاه خوارزمی در سال تحصیلی ۱۴۰۳-۱۴۰۴ بودند که به شیوه هدفمند انتخاب شدند. در بخش کمی، از پرسشنامه اولیه و پرسشنامه مقایسه‌ای استفاده شد و دانشجویان پس از تعامل مستقیم با هر دو مدل، شاخص‌های مورد نظر را ارزیابی کردند. در بخش کیفی، پروتکل بلنداندیشی، مصاحبه نیمه‌ساختاریافته و مشاهده فرایند تعامل با کمک نرم‌افزار مورائه به کار رفت. داده‌های کمی با آزمون رتبه‌های علامت‌دار ویلکاکسون و داده‌های کیفی با کدگذاری در مکس‌کیودا تحلیل شدند.

یافته‌ها: این پژوهش نشان دادند که برتری دو مدل یکدست نیست. چت‌جی‌پی‌تی ۴ در عملکرد کلی به‌طور معناداری بالاتر ارزیابی شد و کاربران آن را در آغاز جستجو، نظم تعامل، صورت‌بندی اولیه مسئله و ایجاد اعتمادبه‌نفس اطلاع‌یابی مطلوب‌تر دانستند. در مقابل، جمنای ۲.۵ پرو در دقت ادراک شده کاربران در خصوص پاسخ‌های علمی و تخصصی، تنوع اطلاعات، پوشش ابعاد موضوع و کاربردی‌بودن پاسخ‌ها برتری معنادار داشت. تفاوت دو مدل از نظر قابل‌فهم بودن معنادار نبود. یافته‌های کیفی نیز نشان داد جمنای ۲.۵ پرو بیشتر با عمق محتوایی، جامعیت و پشتیبانی از کار پژوهشی پیوند دارد؛ در حالی که چت‌جی‌پی‌تی ۴ بیشتر با روانی گفت‌وگو، سازمان‌دهی پاسخ و اطمینان‌بخشی توصیف شد.

نتیجه‌گیری: نتایج نشان می‌دهد این دو مدل ابزارهایی مکمل‌اند. چت‌جی‌پی‌تی ۴ برای شروع جستجو و نظم‌بخشی ذهنی مناسب‌تر است و جمنای ۲.۵ پرو برای پرسش‌های تخصصی و پژوهشی کاربرد بیشتری دارد. بااین‌حال، هیچ‌یک جایگزین پایگاه‌های علمی، داوری متخصص و ارزیابی انتقادی پژوهشگر نیستند.

کلیدواژه‌ها


عنوان مقاله English

Comparing ChatGPT-4 and Gemini 2.5 Pro in Meeting the Information Needs of Doctoral Students at Kharazmi University

نویسندگان English

Mahdiye Khondabi 1
Mohammad Zerehsaz 2
Ali Azimi 3
1 . MSc in Knowledge and Information Science, Kharazmi University, Tehran, Iran. Email: mahdiehkhondabi@gmail.com
2 Department of Knowledge and Information Science, Kharazmi University, Tehran, Iran. Email: zerehsaz@khu.ac.ir
3 . Corresponding author, Department of Knowledge and Information Science, Kharazmi University, Tehran, Iran. Email: azimia@khu.ac.ir
چکیده English

Purpose: This study aimed to compare ChatGPT-4 and Gemini 2.5 Pro in meeting the information needs of doctoral students in Persian. The focus was to examine how accurately, relevantly, clearly, practically, diversely, and effectively each model supports academic, specialized, and Persian-language information-seeking needs.

Method: The study used a mixed-methods approach. The participants included 36 doctoral students from the Faculty of Psychology and Educational Sciences at Kharazmi University during the 2024–2025 academic year, selected through purposive sampling. An initial questionnaire and a comparative questionnaire were used, and the students evaluated the relevant indicators after direct interaction with both models. In the qualitative phase, think-aloud protocols, semi-structured interviews, and observation of the interaction process using Morae software were employed. Quantitative data were analyzed using the Wilcoxon signed-rank test, while qualitative data were analyzed through coding in MAXQDA.

Findings: The findings showed that the superiority of the two models does not follow a uniform pattern. ChatGPT-4 was rated significantly higher in overall performance, and users found it more effective in initiating searches, organizing interaction, formulating the initial problem, and enhancing information-seeking confidence. In contrast, Gemini 2.5 Pro showed significant superiority in the accuracy of scientific and specialized responses, the diversity of information, the coverage of different aspects of the topic, and the practical usefulness of responses. No significant difference was found between the two models in terms of comprehensibility. The qualitative findings also indicated that Gemini 2.5 Pro was more strongly associated with content depth, comprehensiveness, and support for research work, whereas ChatGPT-4 was mainly described in terms of conversational fluency, response organization, and user reassurance.

Conclusion: The results indicate that the two models are complementary tools. ChatGPT-4 is better suited to initiating searches and organizing users’ thinking, while Gemini 2.5 Pro is more useful for specialized, research-oriented questions. However, neither model can replace academic databases, expert judgment, or the researcher’s critical evaluation.

کلیدواژه‌ها English

ChatGPT-4
Gemini 2.5 Pro
Information needs
Information-seeking behavior
Persian
Doctoral students
Artificial intelligence literacy
Kharazmi University
اکبری، علی؛ ریگی، طاهره؛ و فتاحی، سید رحمت‌الله (۱۳۹۸). از رفتار اطلاع‌یابی تا رفتار دانش‌یابی: واکاوی سیر تحول مفهومی و نظری. پردازش و مدیریت اطلاعات، ۳۴(۴)، ۱۹۳۹۱۹۶۰.
اسفندیاری، شهرام؛ و قمری، پرهام (۱۴۰۳). مروری نظام‌مند بر تأثیر مدل‌های هوش مصنوعی مولد ChatGPT و Gemini در آموزش زبان انگلیسی: فرصت‌ها و چالش‌ها. پژوهش‌های زبان‌شناختی در زبان‌های خارجی، ۱۴(۴)، ۶۱۱۶۴۱. https://doi.org/10.22059/jflr.2025.386926.1173
پرهام‌نیا، فرشاد (۱۴۰۰). شناسایی عوامل مؤثر روان‌شناختی بر رفتار اطلاع‌یابی کاربران اطلاعاتی: مطالعه مرور نظام‌مند. مطالعات کتابداری و علم اطلاعات، ۱۳(۳)، ۸۲۱۰۵. https://doi.org/10.22055/slis.2021.32105.1682
ستوده، داود؛ و امیری‌تهرانی‌زاده، امین (۱۴۰۲). مدل زبانی مبتنی بر BERT جهت تحلیل محتوای ورزشی در زبان فارسی. کارافن، ۲۰(۱)، ۳۴۱۳۶۲. https://doi.org/10.48301/kssa.2023.357227.2251
نصیری، محمدرضا؛ و عبدالله عموقین، جعفر (۱۴۰۳). بررسی نقش هوش مصنوعی در آموزش با استفاده از رویکرد ره‌نگاشت فناوری. مطالعات کاربردی علم‌سنجی، ۱(۲)، ۱۱۳۱۲۹.
یاری، شیوا؛ و احمدی، حمید (۱۳۹۳). مروری بر متون رفتار اطلاع‌یابی در ایران. پژوهش‌نامه پردازش و مدیریت اطلاعات، ۳۰(۱)، ۱۷۳۱۹۷. https://doi.org/10.35050/JIPM010.2014.006
Achiam, J., Adler, S., Agarwal, S., Ahmad, L., Akkaya, I., Aleman, F. L., ... & McGrew, B. (2023). Gpt-4 technical report. arXiv preprint arXiv:2303.08774.
Afzal, W. (2017). Conceptualization and measurement of information needs: A literature review. Journal of the Australian Library and Information Association, 66(2), 116–138. https://doi.org/10.1080/24750158.2017.1306165
Akter, S. N., Yu, Z., Muhamed, A., Ou, T., Bäuerle, A., Cabrera, Á. A., ... & Neubig, G. (2023). An in-depth look at Gemini's language abilities. arXiv preprint arXiv:2312.11444.
Alpar, Ö. (2025). Evaluating generative AI tools for improving English writing skills: A preliminary comparison of ChatGPT-4, Google Gemini, and Microsoft Copilot. European Journal of Educational Research, 14(4), 1291–1308. https://doi.org/10.12973/eu-jer.14.4.1291
Baytak, A. (2024). The content analysis of the lesson plans created by ChatGPT and Google Gemini. Research in Social Sciences and Technology, 9(1), 329–350. https://doi.org/10.46303/ressat.2024.19
Đerić, E., Frank, D., & Milković, M. (2025). Trust in generative AI tools: A comparative study of higher education students, teachers, and researchers. Information, 16(7), Article 622. https://doi.org/10.3390/info16070622
Digital Education Council. (2024, August 2). Digital Education Council global AI student survey 2024: Insights from over 3,800 students across 16 countries. Retrieved from https://www.digitaleducationcouncil.com/resource-library-items/digital-education-council-global-ai-student-survey-2024
Fattah, F. H., Salih, A. M., Salih, A. M., Asaad, S. K., Ghafour, A. K., Bapir, R., ... Kakamad, F. H. (2025). Comparative analysis of ChatGPT and Gemini (Bard) in medical inquiry: A scoping review. Frontiers in Digital Health, 7, Article 1482712. https://doi.org/10.3389/fdgth.2025.1482712
Freeman, J. (2025). Student generative AI survey 2025 (HEPI Policy Note 61). Oxford, England: Higher Education Policy Institute. Retrieved from https://www.hepi.ac.uk/reports/student-generative-ai-survey-2025/
Gemini Team, Anil, R., Borgeaud, S., Alayrac, J. B., Yu, J., Soricut, R., ... Blanco, L. (2023). Gemini: A family of highly capable multimodal models. arXiv preprint arXiv:2312.11805. Retrieved from https://arxiv.org/abs/2312.11805
Gemini Team, Georgiev, P., Lei, V. I., Burnell, R., Bai, L., Gulati, A., ... Batsaikhan, B. O. (2024). Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context. arXiv preprint arXiv:2403.05530. Retrieved from https://arxiv.org/abs/2403.05530
Google AI for Developers. (2025, September 25). Gemini API release notes. Retrieved from https://ai.google.dev/gemini-api/docs/changelog
Google. (2025, March 25). Gemini 2.5: Our most intelligent AI model. The Keyword. Retrieved from https://blog.google/innovation-and-ai/models-and-research/google-deepmind/gemini-model-thinking-updates-march-2025/
Goto, T., Ono, K., & Morita, A. (2024). A comparative analysis of large language models to evaluate robustness and reliability in adversarial conditions. TechRxiv. https://doi.org/10.36227/techrxiv.171173447.70655950/v1
Guizani, S., Mazhar, T., Shahzad, T., Ahmad, W., Bibi, A., & Hamam, H. (2025). A systematic literature review to implement large language model in higher education: Issues and solutions. Discover Education, 4, Article 35. https://doi.org/10.1007/s44217-025-00424-7
Hosseinbeigi, S. B., Rohani, B., Masoudi, M., Shamsfard, M., Saaberi, Z., Karimi Manesh, M., & Abbasi, M. A. (2025). Advancing Persian LLM evaluation. In Findings of the Association for Computational Linguistics: NAACL 2025 (pp. 2711–2727). Association for Computational Linguistics. https://doi.org/10.18653/v1/2025.findings-naacl.147
Imran, M., & Almusharraf, N. (2024). Google Gemini as a next generation AI educational tool: A review of emerging educational technology. Smart Learning Environments, 11, Article 22. https://doi.org/10.1186/s40561-024-00310-z
Kawinkoonlasate, P. (2025). A comparative study of Google Gemini and ChatGPT in enhancing English language learning for EFL learners: A case study of the English research writing course. Pedagogical Research, 10(4), Article em0251. https://doi.org/10.29333/pr/17670
Kuhlthau, C. C. (1991). Inside the search process: Information seeking from the user's perspective. Journal of the American Society for Information Science, 42(5), 361–371. https://doi.org/10.1002/(SICI)1097-4571(199106)42:5
Kumar, P. (2024). Large language models (LLMs): Survey, technical frameworks, and future challenges. Artificial Intelligence Review, 57, Article 260. https://doi.org/10.1007/s10462-024-10888-y
Lang, G., Triantoro, T., & Sharp, J. H. (2024). Large language models as AI-powered educational assistants: Comparing GPT-4 and Gemini for writing teaching cases. Journal of Information Systems Education, 35(3), 390–407. https://doi.org/10.62273/YCIJ6454
Marchionini, G. (1995). Information seeking in electronic environments. Cambridge, England: Cambridge University Press. https://doi.org/10.1017/CBO9780511626388
Naumer, C. M., & Fisher, K. E. (2010). Information needs. In M. J. Bates & M. N. Maack (Eds.), Encyclopedia of library and information sciences (3rd ed., pp. 2452–2458). Boca Raton, FL: CRC Press. https://doi.org/10.1081/E-ELIS3-120043243
Nicholas, G., & Bhatia, A. (2023). Lost in translation: Large language models in non-English content analysis. arXiv preprint arXiv:2306.07377. Retrieved from https://arxiv.org/abs/2306.07377
Omar, M., Nassar, S., Hijazi, K., Glicksberg, B. S., Nadkarni, G. N., & Klang, E. (2025). Generating credible referenced medical research: A comparative study of OpenAI’s GPT-4 and Google’s Gemini. Computers in Biology and Medicine, 185, Article 109545. https://doi.org/10.1016/j.compbiomed.2024.109545
Ono, K., & Morita, A. (2024). Evaluating large language models: ChatGPT-4, Mistral 8x7B, and Google Gemini benchmarked against MMLU. TechRxiv. https://doi.org/10.36227/techrxiv.170956672.21573677/v1
OpenAI. (2024). GPT-4o system card. Retrieved from https://openai.com/index/gpt-4o-system-card
Popović Šević, N., Šević, A., Slijepčević, M., & Krstić, J. (2025). AI adoption in higher education: Exploring attitudes and perceived benefits between users and non-users. Online Journal of Communication and Media Technologies, 15(4), Article e202528. https://doi.org/10.30935/ojcmt/17246
Rane, N., Choudhary, S., & Rane, J. (2024a). Gemini or ChatGPT? Efficiency, performance, and adaptability of cutting-edge generative artificial intelligence (AI) in finance and accounting. SSRN. https://doi.org/10.2139/ssrn.4731283
Rane, N., Choudhary, S., & Rane, J. (2024b). Gemini versus ChatGPT: Applications, performance, architecture, capabilities, and implementation. Journal of Applied Artificial Intelligence, 5(1), 69–93. https://doi.org/10.48185/jaai.v5i1.1052
Saab, K., Tu, T., Weng, W. H., Tanno, R., Stutz, D., Wulczyn, E.,... & Natarajan, V. (2024). Capabilities of gemini models in medicine. arXiv preprint arXiv:2404.18416.
Salman, I. M., Ameer, O. Z., Khanfar, M. A., & Hsieh, Y. H. (2025). Artificial intelligence in healthcare education: evaluating the accuracy of ChatGPT, Copilot, and Google Gemini in cardiovascular pharmacology. Frontiers in Medicine, 12, 1495378. https://doi.org/10.3389/fmed.2025.1495378
Shahghasemi, E. (2025). AI: A human future. Journal of Cyberspace Studies, 9(1), 145–173. https://doi.org/10.22059/jcss.2025.389027.1123
Shahzad, M. F., Xu, S., & Javed, I. (2024). ChatGPT awareness, acceptance, and adoption in higher education: The role of trust as a cornerstone. International Journal of Educational Technology in Higher Education, 21, Article 46. https://doi.org/10.1186/s41239-024-00478-x
Shi, Y., Yu, K., Dong, Y., & Chen, F. (2025). Large language models in education: A systematic review of empirical applications, benefits, and challenges. Computers and Education: Artificial Intelligence, 10, Article 100529. https://doi.org/10.1016/j.caeai.2025.100529
Strzalkowski, P., Strzalkowska, A., Chhablani, J., Pfau, K., Errera, M. H., Roth, M.,... & Guthoff, R. (2024). Evaluation of the accuracy and readability of ChatGPT-4 and Google Gemini in providing information on retinal detachment: a multicenter expert comparative study. International Journal of Retina and Vitreous, 10(1), 61.
Toribio, N. F. (2023). Analysis of ChatGPT and other AI’s ability to reduce anxiety of science-oriented learners in academic engagements. Journal of Namibian Studies: History, Politics, Culture, 33, 5320–5337. https://doi.org/10.59670/jns.v33i.3132
Van Someren, M. W., Barnard, Y. F., & Sandberg, J. A. C. (1994). The think aloud method: A practical guide to modeling cognitive processes. London, England: Academic Press.
Wilson, T. D. (1999). Models in information behavior research. Journal of Documentation, 55(3), 249–270. https://doi.org/10.1108/EUM0000000007145
Wilson, T. D. (2000). Human information behavior. Informing Science, 3(2), 49–56. doi:10.28945/576
Yildiz Domanic, K., & Baycan, S. (2025). Evaluating and comparing student responses in examinations from the perspectives of human and artificial intelligence (GPT-4 and Gemini). BMC Medical Education, 25, Article 1282. https://doi.org/10.1186/s12909-025-07835-y