Impacto de ChatGPT en los métodos de evaluación de un grado de Ingeniería Informática

  1. Roberto Rodríguez-Echeverría 1
  2. Juan D. Gutiérrez 1
  3. José M. Conejero 1
  4. Álvaro E. Prieto 1
  1. 1 Universidad de Extremadura
    info

    Universidad de Extremadura

    Badajoz, España

    ROR https://ror.org/0174shg90

Revista:
Actas de las Jornadas sobre la Enseñanza Universitaria de la Informática (JENUI)

ISSN: 2531-0607

Ano de publicación: 2023

Número: 8

Páxinas: 33-40

Tipo: Artigo

DIALNET GOOGLE SCHOLAR lock_openRUA editor

Outras publicacións en: Actas de las Jornadas sobre la Enseñanza Universitaria de la Informática (JENUI)

Resumo

Las Inteligencias Artificiales Generativas han experimentado una importante evolución durante los últimos años y, en especial, en el 2022. Una de las inteligencias que más revuelo ha causado en el mundo académico es ChatGPT, que proporciona una interfaz que simplifica enormemente el uso productivo de un modelo de lenguaje de gran tamaño. Estos modelos de lenguaje son capaces de analizar y generar textos con gran rapidez y calidad. Estas capacidades podrían tener un impacto relevante en las metodologías de enseñanza-aprendizaje y también en los métodos de evaluación. Con el fin de analizar el posible impacto de ChatGPT en los métodos de evaluación, en este trabajo, se ha puesto a prueba la capacidad de ChatGPT para resolver los exámenes de 15 asignaturas de Ingeniería del Software de un grado de Ingeniería Informática. Los resultados muestran que ChatGPT podría tener un impacto evidente en los métodos de evaluación; ya que, es capaz de superar una cantidad significativa de preguntas y problemas de diferente naturaleza en múltiples asignaturas. Como contribución fundamental, se proporciona un estudio detallado de los resultados por tipología de preguntas y problemas, que permite establecer unas recomendaciones a tener en cuenta en el diseño de los métodos de evaluación.

Referencias bibliográficas

  • Michael James Bommarito y Daniel Martin Katz. GPT Takes the Bar Exam, 2022. Disponible en SSRN: https://ssrn.com/abstract=4314839.
  • Tom B Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, y Tom Henighan. Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems, 33, 2020.
  • José Divasón, F. Javier Martínez de Pisón, Ana Romero, y Eduardo Sáenz de Cabezón. Modelos de inteligencia artificial para asesorar el proceso evaluador de trabajos informáticos complejos. En Actas de las XXVII Jornadas de Enseñanza Universitaria de Informática, Jenui 2021, pp. 43 – 50, Valencia, julio 2021.
  • Aidan Gilson, Conrad Safranek, Thomas Huang, Vimig Socrates, Ling Chi, R. Andrew Taylor, y David Chartash. How does ChatGPT perform on the medical licensing exams? The implications of large language models for medical education and knowledge assessment, 2022. Disponible en medRxiv: https://www.medrxiv.org/ content/10.1101/2022.12.23.22283901v1.
  • Nora Kassner y Hinrich Schütze. Negated and Misprimed Probes for Pretrained Language Models: Birds Can Talk, But Cannot Fly. En Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7811– 7818, 2020.
  • Lars Lidén. Artificial stupidity: The art of intentional mistakes. AI game programming wisdom, 2:41–48, 2003.
  • Muneer M Alshater. Exploring the role of artificial intelligence in enhancing academic performance: A case study of ChatGPT, 12 2022. Disponible en SSRN: https://ssrn.com/abstract= 4312358.
  • Kyle Mahowald, Anna A. Ivanova, Idan A. Blank, Nancy Kanwisher, Joshua B. Tenenbaum, y Evelina Fedorenko. Dissociating language and thought in large language models: A cognitive perspective. arXiv:2301.06627v1, 2023. Disponible en arXiv: https://arxiv.org/abs/2301.06627.
  • Warren S McCulloch y Walter Pitts. A logical calculus of the ideas immanent in nervous activity. The bulletin of mathematical biophysics, 5(4):115–133, 1943.
  • OpenAI. ChatGPT: Optimizing Language Models for Dialogue, noviembre 2022. Disponible en https://openai.com/blog/chatgpt/.
  • Teo Susnjak. ChatGPT: The End of Online Exam Integrity? arXiv:2212.09292, 2022. Disponible en arXiv: https://arxiv.org/abs/2212.09292.
  • Edmundo (ed.) Tovar Caro. Actas de las III Jornadas de Enseñanza Universitaria de Informática, Jenui 1997, junio 1997.
  • Alan M. Turing. I.—Computing Machinery and Intelligence. Mind, LIX(236):433–460, 10 1950.
  • Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, e Illia Polosukhin. Attention is All you Need. Advances in neural information processing systems, 30, 2017.
  • Sebastian Wollny, Jan Schneider, Daniele Di Mitri, Joshua Weidlich, Marc Rittberger, y Hendrik Drachsler. Are we there yet? - A systematic literature review on chatbots in education. Frontiers in Artificial Intelligence, 4, 2021.
  • BigScience Workshop. BLOOM: A 176B-Parameter Open-Access Multilingual Language Model. arXiv:2211.05100, 2022. Disponible en arXiv: https://arxiv.org/abs/2211.05100.
  • Xiaoming Zhai. ChatGPT user experience: Implications for education, 2022. Disponible en SSRN: https://ssrn.com/abstract=4312418.
  • Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona Diab, Xian Li, Xi Victoria Lin, Todor Mihaylov, Myle Ott, Sam Shleifer, Kurt Shuster, Daniel Simig, Punit Singh Koura, Anjali Sridhar, Tianlu Wang, y Luke Zettlemoyer. OPT: Open pre-trained transformer language models. arXiv:2205.01068, 2022. Disponible en arXiv: https://arxiv.org/abs/2205.01068.
Fonte de datos: Dialnet