Bibliometric analysis through methodological quality indicators of Spanish education journals indexed in JCR during the three year period 2014-2016

Authors

DOI:

https://doi.org/10.7203/relieve.25.1.12771

Keywords:

Bibliometrics, evaluation research, journals, methods research, quality control

Abstract

This study carries out a bibliometric evaluation through methodological quality indicators of the scientific production published during the triennium of 2014 to 2016 in the seven Spanish education journals of indexed in the Journal Citation Reports (JCR): Revista de Psicodidáctica; Comunicar; Revista de Educación; Educación XX1; Enseñanza de lasCiencias, Revista Española de Pedagogía; y Porta Linguarum. Through a bibliometric-descriptive methodology, a sample of 479 articles selected through a non-probabilistic sampling of deliberate type and validated by experts is analyzed quantitatively to achieve the highest possible agreement. The articles have been retrieved from the electronic version of each of the journals and evaluated from two types of variables: identification and analysis. For the analysis and discussion of the data, the statistical software SPSS v.25 and STATA v.14 were employed. Analysis of a strictly descriptive nature that responds to the research objectives raised has been implemented. Overall, the results obtained indicate that the journals evaluated have achieved levels of compliance with the proposed methodological indicators, which show the excellent methodological quality treasured by these publications, although better in some journals than in others without detriment so that they have also detected methodological indicators that can be improved. These indicators are related, above all, to the non-explicitation of the typologies of methodological approach, of the sampling used, as well as of the quantitative quality criteria (reliability and validity) and of a qualitative nature. Finally, note that there is empirical evidence to support that. the better considered a journal is in JCR, the better it is accredited in regards to methodological quality

Author Biographies

Clemente Rodríguez-Sabiote, University of Granada

PhD in Pedagogy from the University of Granada and full professor of the Department of Research Methods and Diagnostics in Education of the university. His main lines of research are focused on the evaluation of quality in higher education, scientometrics and the computerized analysis of quantitative and qualitative data. His mailing address is Faculty of Education Sciences. Department of Research Methods and Diagnostics in Education. Campus de Cartuja, s/n 18071 (Granada).

Álvaro Manuel Úbeda-Sánchez, University of Granada

Teacher in Physical Education and graduate in Pedagogy from the University of Granada. Currently working on his doctoral thesis on the detection of emerging fronts and hot topics in educational research. His main lines of research are focused on the evaluation of educational research, scientometrics and the study and analysis of the hottest topics in education. His mailing address is Faculty of Education Sciences. Department of Research Methods and Diagnostics in Education. Campus de Cartuja, s/n 18071 (Granada).

References

Aliaga, F.M.; Gutiérrez-Braojos, C. & Fernández-Cano, A. (2018). Las revistas de investigación en educación: Análisis DAFO. Revista de Investigación Educativa, 36(2), 563-579. doi: http://dx.doi.org/10.6018/rie.36.2.312461

Ariza, T. & Quevedo-Blasco, R. (2013). Análisis bibliométrico de la Revista de Investigación Educativa (2000-2012). Revista de Investigación Educativa, 31(1), 31-52. doi: https://doi.org/10.6018/rie.31.1.160321

Arnau, J., Anguera, M. T. & Gómez, J. (1990). Metodología de la investigación en Ciencias del Comportamiento. Murcia: Universidad de Murcia.

Bellavista, J., Viladiu, C., Guardiola, E., Escribano, L., Grabulós, M. & Iglesias C. (1991). Evaluación de la investigación social. Revista Española de Investigaciones Sociológicas, 56, 219-237. doi: https://doi.org/10.2307/40199501

Borrego, A. & Urbano, C. (2006). La evaluación de revistas científicas en Ciencias Sociales y Humanidades. Información, Cultura y Sociedad, 14, 11-27.

Bueno, A. & Fernández-Cano, A. (2003). Análisis cientimétrico de la productividad en la Revista de Investigación Educativa (1983-2000). Revista de Investigación Educativa, 21(2), 507-532.

Delgado López-Cózar, E. (2015). Las revistas electrónicas en acceso abierto: pasado, presente y futuro. RELIEVE, 21(1), art. M1. doi: http://doi.org/10.7203/relieve.21.1.5005

Delgado López-Cózar, E., Ruiz-Pérez, R. & Jiménez-Contreras, E. (2006). La edición de revistas científicas: directrices, criterios y modelos de evaluación. Granada: Fundación Española para la Ciencia y la Tecnología (FECYT).

Flórez Parra, J. M., López Pérez, M. V. & López Hernández, A. M. (2014). Gobierno corporativo y sector público: un estudio bibliométrico en las principales revistas ISI. Innovar: Revista de Ciencias Administrativas y Sociales, 24(51), 79-98. doi https://doi.org/10.15446/innovar.v24n51.41489

Galindo-Rodríguez, A. & Arginaga, F. (2018). Análisis bibliométrico de la Revista Iberoamericana de Psicología del Ejercicio y el Deporte (2006-2017). Revista Iberoamericana de Psicología del Ejercicio y el Deporte, 13(1), 33-40.

Giménez Toledo, E. (2014). Imposturas en el ecosistema de la producción científica. Revista de Investigación Educativa, 32(1), 13-23. doi  https://doi.org/10.6018/rie.32.1.190251

Gómez-García, A., Ramiro, M. T., Ariza, T. & Granados, M. R. (2012). Estudio bibliométrico de Educación XX1. Educación XX1, 15(1), 17-41. doi https://doi.org/10.5944/educxx1.15.1.148

Guba, E. G. & Lincoln, Y. S.  (2012). Controversias paradigmáticas, contradicciones y confluencias emergentes. In N. K. Denzin & Y. S. Lincoln (Eds.), Manual de investigación cualitativa, paradigmas y perspectivas en disputa (Vol. 2, pp. 38-78). Barcelona: Gedisa.

Lorenzo Lledó, G., Lledó Carreres, A., Lorenzo Lledó, A., Graciela Arráez Vera, G., y Gómez-Puerta. M. (2018). Indicadores bibliométricos sobre el plan de acción tutorial en la universidad para el alumnado con discapacidad desde 1988-2018. International Journal of Developmental and Educational Psychology, 1(2), 157-168. doi: http://dx.doi.org/10.17060/ijodaep.2018.n1.v3.1246

Nikleva, G. & Cortina, B. (2014). La producción científica actual en Didáctica de la Lengua y la Literatura en revistas españolas. Porta Linguarum, 21, 281-299.

Olivas Ávila, J. A. & Musi Lechuga, B. (2014). Validez y fiabilidad del Researcher ID y de «Web of Science Production of Spanish Psychology». International Journal of Clinical and Health Psychology, 14(1), 58-66. doi: https://doi.org/10.1016/S1697-2600(14)70037-7   

Perales-Palacios, J., Vílchez-González, J. M. & Gutiérrez-Pérez, J. (2017). Información de autor y estándares de calidad previos en revistas internacionales sobre educación científica. Investigación Bibliotecológica, 31(72) 139-159. doi: https://doi.org/10.22201/iibi.0187358xp.2017.72.57827

Pérez Juste, R. (2005). Calidad de la educación, calidad en la educación. Hacia su necesaria integración. Educación XX1, 8, 11-33.

Rodríguez-Sabiote, C. (2017a). Análisis bibliométrico mediante indicadores de calidad metodológicos de las revistas RIE (Revista de Investigación Educativa) y RELIEVE (Revista Electrónica de Investigación y Evaluación Educativa) durante el lustro 2012-2016. In AIDIPE (Eds.), XVIII Congreso Internacional de Investigación Educativa. Interdisciplinaridad y Transferencia, (pp. 787-798). Salamanca (España).

Rodríguez-Sabiote, C. (2017b). Propuesta de indicadores de calidad metodológica para la valoración y clasificación de revistas de investigación. Aula Magna 2.0. [Blog]. Recuperado de: https://cuedespyd.hypotheses.org/3090

Rodríguez-Sabiote, C. (2018). Calidad de las publicaciones científicas más allá de los indicadores estándar de producción. Esperando el Eco [Blog]. Recuperado de: http://esperandoeleco.ucc.edu.co/es/

Rodríguez-Sabiote, C. & Álvarez-Rodríguez, J. (2015). Bibliometric study and methodological quality indicators of the Journal Porta Linguarum during six year period 2008-2013. Porta Linguarum, 24, 135-150.

Rousseau, R. (2002). Journal evaluation: technical and practical issues. Library Trends, 50(3), 418-439.

Schmitt Nunes, C. (2019). La contribución de RIED en 30 años de actividad científica RIED. Revista Iberoamericana de Educación a Distancia, 22 (1), 9-25. doi: http://dx.doi.org/10.5944/ried.22.1.22460

Seglen, P. O. (1997). Why the impact factor of journals should not be used for evaluating research. British Medical Journal, 314(7079), 498-502. doi: https://doi.org/10.1136/bmj.314.7079,497

Torres-Salinas, D., Bordons, M., Giménez Toledo, E., Delgado López-Cózar, E., Jiménez-Contreras, E. & Sanz-Casado, E. (2010). Clasificación integrada de revistas científicas (CIRC): propuesta de categorización de las revistas en ciencias sociales y humanas. El profesional de la información, 19(6), 675-683. doi: https://doi.org/10.3145/epi.2010.nov.15

Valenciano, J., Villamón, M. & Devís-Devís, J. (2008). Evaluación y clasificación de las revistas científico-técnicas españolas de Ciencias de la Actividad Física y el Deporte. Revista Española de Documentación Científica, 31(3), 396-412. doi: https://doi.org/10.3989/redc.2008.v31.i3.435


Downloads

Published

2019-05-09

Issue

Vol. 25 No. 1 (2019)

Section

Research Articles

License

The authors grant non-exclusive rights of exploitation of works published to RELIEVE and consent to be distributed under the Creative Commons Attribution-Noncommercial Use 4.0 International License (CC-BY-NC 4.0), which allows third parties to use the published material whenever the authorship of the work and the source of publication is mentioned, and it is used for non-commercial purposes. 

    The authors can reach other additional and independent contractual agreements, for the non-exclusive distribution of the version of the work published in this journal (for example, by including it in an institutional repository or publishing it in a book), as long as it is clearly stated that the Original source of publication is this magazine.  

    Authors are encouraged to disseminate their work after it has been published, through the internet (for example, in institutional archives online or on its website) which can generate interesting exchanges and increase work appointments. 

   The fact of sending your paper to RELIEVE implies that you accept these conditions.