قياس دقة وموثوقية برامج الكشف عن استخدام ChatGpt في مستخلصات الأبحاث العلمية: مجال المكتبات والمعلومات نموذجًا Measuring the accuracy and reliability of programs to detect the use of ChatGpt in scientific research abstracts: the field of libraries and information as a model

نوع المستند : المقالة الأصلية

المؤلف

جامعة الأزهر

المستخلص

     يمثل ChatGpt أحد تطبيقات الذكاء الاصطناعي تحديات محتملة للنزاهة الأكاديمية ويثير المخاوف بشأن الانتحال؛ لذلك تهدف هذه الدراسة إلى التعرف إلى أدوات الكشف عن المحتوى ورصد مميزاتها وعيوبها، وذلك من خلال دراسة ثلاث أدوات هي Gptzero,Zerogpt,Seo.ai؛ وتم اختيار هذه الأدوات بناءً على عدة شروط، من أهمها أن تكون قادرة على اكتشاف المحتوى المكتوب باللغة العربية، ثم قياس مستوى دقة هذه الأدوات في الكشف عن المحتوى المصنوع بواسطة الإنسان والذي تم إنشاؤه بواسطة ChatGpt، وتطبيق ذلك على مستخلصات المجلة العربية الدولية لتكنولوجيا المعلومات والبيانات نموذجًا، ومدى التمييز بينها وبين مستخلصات الأبحاث المكتوبة بواسطة ChatGpt لنفس المقالات بناءً على عناوينها، ومدى التزامها بمعايير كتابة المستخلصات بناءً على المواصفة القياسية  ( ISO 214 / 1976)؛ مستخدمة في ذلك المنهج الوصفي التحليلي وأيضًا المنهج التجريبي، وكان من أبرز نتائج الدراسة أن ChatGpt لا يرقى أن يبدع أو يوجد بكتاباته ابتكارًا أو أصالة  حيث إنه يعتمد على النصوص التي يتم إدخالها إليه من قبل. وما زالت الأدوات تفتقر إلى التطوير والتحسين حتى تصل إلى مستوى كبير من الدقة خاصة في اكتشاف ذلك باللغة العربية؛ حيث تصدرت Seo.ai المركز الأول من حيث مستوى الدقة بشكل إجمالي حيث بلغت نسبتها 70% يليها Zerogpt بنسبة 64.4% ثم Gptzero بنسبة 48.8%. وجاءت توصيات الدراسة موجهة للجامعات بضرورة تحديث الأدوات المستخدمة لكشف الانتحال في الأبحاث العلمية. وأيضًا للباحثين بضرورة مراعاة الأمانة العلمية واستعمال هذه الأدوات لتسهيل عملية البحث العلمي وليس للنقل منها . 
ChatGpt “an AI application” presents potential challenges to academic integrity and raises concerns about plagiarism; therefore, this study aims to identify content detection tools and monitor their advantages and disadvantages, this is done by studying three tools: Gptzero, Zerogpt, and Seo.ai. These tools were chosen based on several conditions, the most important of which is that they should be able to detect content written in Arabic., the most important of which is to be able to detect content written in Arabic, then measure their level of accuracy in detecting human-made content that was created by ChatGpt, and apply that to the abstracts of the Arab International Journal of Information Technology and Data as a model, and the extent of discrimination. Between it and the research abstracts written by ChatGpt for the same articles based on their titles, and the extent to which they adhere to the standards for writing abstracts based on the standard specification (ISO 214/1976). Using the descriptive and analytical approach And also the experimental method, one of the most prominent results of the study was that ChatGpt does not rise to the level of creativity or innovation or originality in its writings, as it relies on texts that have been entered into it before. The tools still lack development and improvement to reach a high level of accuracy, especially in detecting this in the Arabic language. Seo.ai took first place in terms of overall accuracy level, reaching 70%, followed by Zerogpt with 64.4%, then Gptzero with 48.8%. The study's recommendations directed universities to update the tools used to detect plagiarism in scientific research. Also, researchers must take into account scientific integrity and use these tools to facilitate the scientific research process and not to transfer from it.

الكلمات الرئيسية

الموضوعات الرئيسية

المراجع

  1. قائمة المراجع

    أولًا: المراجع العربية:

    1- دليل أخلاقيّات استخدام تطبيقات الذكاء الاصطناعي في مجال البحث العلمي. محمد حسام محمود واخ، الجزائر: دار سوهام للنشر والتوزيع، 2023. 

    2- رباح فوزي محمد. البحث العلمي: دليل عملي للباحثين. الإسكندرية: دار الثقافة العلمية ، 2021.

    3- شيرين موسى علي بريمه, "استخدام أداة الذكاء الاصطناعي." المجلة الدولية لعلوم المكتبات والمعلومات 11.2 (2024): 232-297.‎

    4-   محمد فتحي عبدالهادي. البحث ومناهجه في علم المكتبات والمعلومات. القاهرة: الدار المصرية اللبنانية، 2003.

    5-   وسام منير عبد الرحمن الزغبي "مستخلصات البحوث في دوريات جامعة الأزهر وفقًا للمواصفة القياسية (ISO214/1976): دراسة تحليلية تقييمية." مجلة کلية اللغة العربية بالمنوفية 37.1 (2022): 2449-2537.‎

    6-   ياره ماهر محمد قناوي. "استخدام تقنية ChatGpt كأداة ذكية لتحليل البيانات في المكتبات: دراسة استكشافية." المجلة المصرية لعلوم المعلومات (2024): 505-540.‎

    ثانيًا: المراجع الأجنبية

    1. Aremu, Toluwani. "Unlocking Pandora's Box: Unveiling the Elusive Realm of AI Text Detection." Available at SSRN 4470719 2023))
    2. Barnett, S. ChatGpt Is Making Universities Rethink Plagiarism. Wired. (2023). https://www.wired.com/story/ChatGpt-college-university-plagiarism/      
    3. Bhattacharjee, Amrita, and Huan Liu. "Fighting fire with fire: can ChatGpt detect AI-generated text?." ACM SIGKDD Explorations Newsletter 25.2 (2024): 14-21.
    4. Chaka, Chaka. "Detecting AI content in responses generated by ChatGpt, YouChat, and Chatsonic: The case of five AI content detection tools." Journal of Applied Learning and Teaching 6.2 2023)).
    5. AI content detector – Copyleaks. (2023). https://chrome.google.com/webstore/detail/ai-content-detector copyl/gplcmncpklkdjiccbknjjkoidpgkcakd                                                   
    6. Cingillioglu, Ilker. "Detecting AI-generated essays: the ChatGpt challenge." The International Journal of Information and Learning Technology 40.3 (2023): 259-268. Retrived from https://www.emerald.com/insight/content/doi/10.1108/IJILT-03-2023-0043/full/pdf?title=detecting-ai-generated-essays-the-ChatGpt-challenge
    7. Copyleaks. ChatGpt and AI detection. https://copyleaks.com/blog/ChatGpt-and-ai-detection 8-5-2024. 
    8. Cutcliffe, J. (2022). ChatGpt, chatbots and artificial intelligence in education. Ditch That Textbook. https://ditchthattextbook.com/ai /
    9. Elkhatat, Ahmed M., Khaled Elsaid, and Saeed Almeer. "Evaluating the efficacy of AI content detection tools in differentiating between human and AI-generated text." International Journal for Educational Integrity 19.1 (2023): 17
    10. GAO, Catherine A., et al. "Comparing scientific abstracts generated by ChatGpt to real abstracts with detectors and blinded human reviewers." NPJ digital medicine 6.1 (2023): 75.retrieved from https://www.nature.com/articles/s41746  -023-00819-6        
    11. Guo, Biyang, et al. "How close is ChatGpt to human experts? Comparison corpus, evaluation, and detection." arXiv preprint arXiv: 2301.07597 (2023).
    12. Ismail, M. (2023). OpenAI releases AI classifier to check for Chat GPT written articles, still needs work. TechNave. https://technave.com/gadget/OpenAI-releases-AI-classifier-to-check-for-Chat-GPT-written-articles-still-needs-work-33313.html
    13. Iyer, A. After GPTZero, Turnitin is developing tool to identify AI-generated text. Analyticsindiamag. (2023). https://analyticsindiamag.com/after-gptzero-turnitin-is-developing-a-tool-to-identify-ai-generated-text /   
    14. Khalil, Mohammad, Erkan Er. "Will ChatGpt Get You Caught? Rethinking of Plagiarism Detection." International Conference on Human-Computer Interaction. Cham: Springer Nature Switzerland, 2023. Retrived from https://arxiv.org/ftp/arxiv/papers/2302/2302.04335.pdf
    15. Kirtania, Deep Kumar, Swapan Kumar Patra. "Openai ChatGpt generated content and similarity index: a study of selected terms from the library & information science (lis)." Annals of Library and Information Studies 70 (2023). Retrived from https://pdfs.semanticscholar.org/c32f/34dfee7b993c800526339a7b21a8565f0a68.pdf
    16. McKenzie Prillaman. ChatGpt detector’ catches AI-generated papers with unprecedented accuracy. 2023. Available at https://www.nature.com/articles/d41586-023-03479-4  
    17. Picazo-Sanchez, Pablo, Lara Ortiz-Martin. "Analysing the impact of ChatGpt in research." Applied Intelligence (2024): 1-17.
    18. Rahman, Md Mostafizer, Yutaka Watanobe. "ChatGpt for education and research: Opportunities, threats, and strategies." Applied Sciences 13.9 (2023): 5783.
    19. Weber-Wulff, Debora, et al. "Testing of detection tools for AI-generated text." International Journal for Educational Integrity 19.1 (2023): 26.

    ملحق (1) قائمة بعناوين المقالات التي تم التجريب على مستخلصاتها من المجلة الدولية لتكنولوجيا المعلومات والبيانات

    1-     التحليل المرئي للبيانات الضخمة في المكتبات باستخدام Hadoop وTableau

    2-     المهارات الشخصية لاختصاصيي المعلومات في المكتبات الجامعية: مراجعة علمية...

    3-     واقع الأمن السيبراني للحوسبة السحابية لدى جامعة طيبة: دراسة حالة

    4-     فضاء المكتبات الجامعية في عصر التحول الرقمي

    5-     المكتبات الذكية: المفهوم، الأبعاد، العناصر، والتكنولوجيا

    6-     استخدام أدوات الذكاء الاصطناعي في البحث العلمي : دراسة تحليلية

    7-     الأرشيف وخدماته في عصر الميتافيرس وتقنياته: دراسة مستقبلية

    8-     منصات العمل الحر في مجال المكتبات والمعلومات :دراسة مسحية تقييمية تخطيطية لتصميم منصة عربية

    9-     تطبيقات تقنيات الذكاء الاصطناعي في خدمات المعلومات بالمكتبات ومراكز المعلومات: المكتبات الأكاديمية نموذجا

    10-  تقنية الخدمة المرجعية الافتراضية (VRS) في مكتبات ومؤسسات المعلومات العربية

    11-  تطبيقات تقنيات الذكاء الاصطناعي بالمكتبات الأكاديمية

    12-  استثمار البيانات الضخمة وانعكاسها على مصادر وخدمات مركز الأزهر العالمي للفتوى الإلكترونية

    13-  اتجاهـــــات أعضــــاء هيئـــة التدريـــس بأقســام المكتبــات والمعلومــات في مصـر نحو استخدام الشبكات الاجتماعية الأكاديمية: دراســـــة ميدانيــــــة

    14-  نحو علم جديد : علم مكتبات البيانات

    15-  نشر ثقافة اختصاصي البيانات بمكتبة الأكاديمية الليبية: دراسة تخطيطية

    16-  واقع الأرشيف الفوتوغرافي بالمؤسسات التونسية في ظل التطور الرقمي

    17-  الوثائق السمعية البصرية الإدارية: ماهيتها والحاجة لديمومتها

    18-  استخدام تطبيقات إنترنت الأشياء لتطوير النظم الآلية المتكاملة لإدارة المكتبات مراجعة علمية

    19-  المدينة الذكية والمكتبة الذكية: المفاهيم، والشراكة في الإدارة والخدمات

    20-  حماية البيانات الشخصية السمعية البصرية في البيئة الرقمية: دراسة تحليلية للقانون الجزائري 18/07 المتعلق بحماية الأشخاص الطبيعيين في مجال معالجة المعطيات ذات الطابع الشخصي

    21-  تصميم مواقع المكتبات وتأثرها بالاحتياجات والسلوكيات البحثية

    22-  أثر التفاعل بين توقيت تقديم الدعم والأسلوب المعرفي ببيئة تعلم افتراضية قائمة على تطبيقات الحوسبة السحابية في تنمية مهارات تحليل واستخدام وتوظيف البيانات الضخمة واتخاذ القرار لدى أخصائي المكتبات والمعلومات

    23-  برمجيات تحقيق النزاهة العلمية في الإنتاج الفکري مع التخطيط لتطوير برنامج عربي

    24-  تقييم المکتبات الرقمية الأکاديمية العربية مناهج ومقاييس التقييم من وجهة نظر المستفيدين

    25-   منصات المقررات الإلکترونية في مجال المکتبات والمعلومات: دراسة تخطيطية

    26-  البيانات الضخمة في المکتبات: الماهية والأهمية

    27-  التحول الرقمي في عصر البيانات الضخمة: مراجعة علمية

    28-  استخدام تطبيقات الهواتف المحمولة لدعم خدمات مکتبات المتاحف الأثرية في القاهرة الکبرى: دراسة تحليلية تطبيقية

    29-  تکنولوجيا سلسلة الکتل (البلوک تشين) دراسة تحليلية مقارنة

    30-  دور المکتبات العامة في دعم حرکة التکنولوجيا المدنية: مبادرات ومشاريع المکتبات العامة الأجنبية والعربية في مجال التکنولوجيا المدنية

    31-  الأطروحات العربية على الويب: دراسة سيانتومترية

    32-  مفهوم الحوسبة السحابية وخدمة التعافي من الکوارث

    33-  قراءات في مستقبل مهنة المکتبات والمعلومات: تأثير التکنولوجيا والاقتصاد والعوامل الديموجرافية

    34-  إدارة البيانات الضخمة في المکتبات العامة المصرية

    35-  المشروعات الرقمية في مؤسسة المرأة والذاکرة.

    36-  إنترنت الأشياء: مراجعة علمية

    37-  الحکومة الرقمية في ضوء برامج التحول الرقمي وتحقيق مستهدفات رؤية المملکة العربية السعودية ٢٠٣٠: هيئة الحکومة الرقمية أنموذجا

    38-  منصّات التدريب عن بُعد في مجال المکتبات والمعلومات: آراء المتدرِّبين

    39-  الشکل الاتصالي المعياري فما 21: MARC21 لبيانات التصنيف

    40-  قاعدة الهادي للإنتاج الفکري العربي في مجال المکتبات والمعلومات: دراسة حالة

    41-  تقييم تجارب استخدام البيانات المترابطة في إعداد وعرض الببليوجرافيات الوطنية ببعض دول العالم

    42-  النُّظم مَفتوحة المصدر لإدارة نشر الدوريات الأکاديمية الإلکترونية: مَدخلٌ نظري

    43-  أثر التقادم التکنولوجي على الإسهام المعرفي في تخصص علوم المعلومات والمکتبات والأرشيف ... رؤية تحليلية

    44-  توظيف تقنيات الذکاء الاصطناعي في الخدمات المرجعية بالمکتبات ومراکز المعلومات دراسة تخطيطية لتصميم برمجيات المحادثة الآلية Chatbot

    45-  التجارب العالمية والعربية لتطبيقات إنترنت الأشياء في المکتبات ومؤسسات المعلومات

    ملحق (2) مستخلصات بالشات جي بي تي

    ( من ضمن إرشادات المجلة يكون المستخلص من 150-250 كلمة ) وتم إنشاء ملخصات بحثية بناء على عناوينهم

    https://docs.google.com/document/d/12-L9M48d1C9lBUQ3ajOJVt9qbQm8Hz1V/edit?usp=drive_web&ouid=105397151950179565966&rtpof=true

مجــلة کلية اللغة العربية بأســيوط
المجلد 43، العدد 1 - الرقم المسلسل للعدد 1
الإصدار الثالث ( أغسطس ) 2024م
أغسطس 2024
الصفحة 841-912

ملفات

شارك

إرسال الاستشهاد إلى

الإحصائيات