مقدمه: رشد سریع مدل‌های زبانی مبتنی بر هوش مصنوعی، به ویژه چت‌جی‌پی‌تی، تحولی قابل توجه در نگارش متون علمی ایجاد کرده است. در حالی که این فناوری مزایای بالقوه‌ای دارد، نگرانی‌هایی در مورد کیفیت علمی، عمق محتوا و توانایی تشخیص متون تولیدشده توسط هوش مصنوعی از متون نوشته‌شده توسط انسان وجود دارد. از آنجایی که چکیده، نمای اصلی یک مطالعه است، ارزیابی چکیده‌های تولیدشده توسط هوش مصنوعی در مقایسه با چکیده‌های انسانی اهمیت ویژه‌ای دارد. هدف این مطالعه مقایسه چکیده‌های نوشته‌شده توسط انسان با چکیده‌های تولیدشده توسط چت‌جی‌پی‌تیo4 از نظر خوانایی، کیفیت محتوا، قابلیت انتشار و قابلیت تشخیص بود.

روش پژوهش: این مطالعه به صورت توصیفی- مقایسه‌ای و مشاهداتی انجام شد و شامل ۱۰۰ چکیده از مقالات علوم پایه پزشکی منتشرشده در سال ۲۰۲۴ و نمایه شده در پایگاه وب‌آف‌ساینس بود که به صورت تصادفی انتخاب شدند. چکیده‌های اصلی حذف شده و چت‌جی‌پی‌تیo4 با استفاده از متن کامل مقالات و پرامپت مشخص، چکیده‌های جدید تولید کرد. چکیده‌های انسانی و تولیدشده توسط هوش مصنوعی به صورت تصادفی انتخاب شده و توسط ۲۰ کارشناس علوم پایه پزشکی با استفاده از چک‌لیست مبتنی بر مقیاس لیکرت ۱–۱۰ در چهار شاخص خوانایی، کیفیت محتوا، انتشارپذیری و تشخیص‌پذیری ارزیابی شدند.

یافته‌ها: میانگین امتیاز خوانایی چکیده‌های انسانی (۷.۴۲ ± ۱.۸۵) کمی بالاتر از چکیده‌های چت‌جی‌پی‌تیo4 (۷.۰۱ ± ۱.۹۲) بود، اما تفاوت معنادار نبود. چکیده‌های انسانی در کیفیت محتوا و انتشارپذیری میانگین بالاتری داشتند که این تفاوت‌ها از نظر آماری معنادار بودند (p < 0.05). در شاخص تشخیص‌پذیری، چکیده‌های چت‌جی‌پی‌تیo4 امتیاز بالاتری داشتند و این تفاوت نیز معنادار بود (p < 0.01)، به طوری که کارشناسان اغلب توانستند منبع ماشینی چکیده‌ها را شناسایی کنند، هرچند همپوشانی قابل توجهی بین امتیازهای دو گروه وجود داشت.

نتیجه‌گیری: یافته‌های این مطالعه نشان می‌دهد که چت‌جی‌پی‌تیo4 قادر است چکیده‌هایی با سطح خوانایی قابل‌قبول و ساختار نسبتا منسجم تولید کند، اما در شاخص‌هایی مانند کیفیت محتوا و انتشارپذیری چکیده‌های نگارش‌شده توسط انسان همچنان در جایگاه بالاتری قرار دارند. از سوی دیگر اگرچه تشخیص چکیده‌های ماشینی برای خبرگان تا حدی امکان‌پذیر بوده است اما نزدیکی سبک نگارش دو گروه نشان می‌دهد که تمایز کامل میان متون انسانی و تولیدشده توسط هوش مصنوعی همچنان با چالش همراه بود.

کلیدواژه: هوش مصنوعی؛ چت‌جی‌پی‌تی o4؛ چکیده‌نویسی؛ چکیده‌نویسی خودکار، خوانایی؛ کیفیت محتوا؛ انتشارپذیری؛ تشخیص‌پذیری