Media: 4.5 (1 votos)

Originales

Aproximación al “impacto” de las revistas biomédicas en Pediatría: estudio de los indicadores bibliométricos en Journal Citation Reports-Science Citation Index 2009

Autores:

González de Dios Ja, González Alcaide Gb, Valderrama-Zurián JCc, Aleixandre-Benavent Rd

aServicio de Pediatría. Hospital Universitario de Alicante. Facultad de Medicina. Universidad Miguel Hernández. Alicante. España.
bDepartamento de Historia de la Ciencia y Documentación. Universitat de València. Unidad de Información Social y Sanitaria (UISYS). Universitat de València-CSIC. Valencia. España.
cDepartamento de Historia de la Ciencia y Documentación. Universitat de València. Unidad de Información Social y Sanitaria (UISYS). Universitat de València-CSIC. Valencia. España.
dUnidad de Información Social y Sanitaria (UISYS). Universitat de València-CSIC. Consejo Superior de Investigaciones Científicas. Valencia. España.

Correspondencia: J González. Correo electrónico: javier.gonzalezdedios@gmail.com

Referencia para citar este artículo:

González de Dios J, González Alcaide G, Valderrama-Zurián JC, Aleixandre-Benavent R. Aproximación al “impacto” de las revistas biomédicas en Pediatría: estudio de los indicadores bibliométricos en Journal Citation Reports-Science Citation Index 2009. Rev Pediatr Aten Primaria. 2011;13:63-82.

Publicado en Internet: 20/12/2010

Resumen:

Introducción: el factor de impacto (FI) es el indicador bibliométrico más conocido. El objetivo de nuestro estudio es realizar un análisis cienciométrico de las revistas pediátricas en Journal Citation Reports-Science Citation Index (JCR-SCI) del año 2009.

Material y métodos: estudio de las 63 categorías de Biomedicina y Ciencias de la Salud en JCR-SCI del año 2009, por medio de la Web of Knowledge. Indicadores bibliométricos: revistas, artículos, citas, FI, índice de inmediatez, vida media y revistas con mayor FI en cada categoría. Análisis pormenorizado de las revistas pediátricas en la categoría Pediatrics y situación de las revistas pediátricas en español en JCR-SCI 2009.

Resultados: se constatan 94 revistas en la categoría Pediatrics en el año 2009, con 12 648 artículos, 297 188 citas, FI medio de 1,406, índice de inmediatez de 0,344 y vida media de 7,2. Clasificación por FI: 29 revistas con FI entre 0 y 0,999; 37 con FI entre 1 y 1,999; 24 con FI entre 2 y 3,999; y 4 con FI > 4. Los mayores FI corresponde a Journal of American Academy of Child & Adolescent Psychiatry (J Am Acad Child Psy), con 4,983; Archives of Pediatrics & Adolescent Medicine (Arch Pediatr Adol Med), con 4,726; y Pediatrics, con 4,687. El mayor número de artículos publicados en 2009 corresponde a Pediatrics, con 752; Journal of Pediatric Surgery (J Pediatr Surg), con 512; y Pediatric Blood & Cancer, con 398. El 56% de las revistas pediátricas procede de Estados Unidos y hasta el 95% está publicado en inglés. La única revista pediátrica en español es Anales de Pediatría, que presenta por primer año un FI oficial de 0,363, y ocupa el puesto 89 en la categoría Pediatrics y, respecto a las 59 revistas españolas en JCR-SCI, el puesto 43.

Conclusiones: encontramos una aceptable representación de revistas pediátricas (310) sobre las 7347 volcadas en JCR-SCI 2009. La categoría Pediatrics presenta unos indicadores cienciométricos discretos en el conjunto de las categorías de Biomedicina y Ciencias de la Salud. El primer paso de una revista pediátrica española (la inclusión de Anales de Pediatría en JCR-SCI 2009) ya se ha dado; se analizan estrategias editoriales para mejorar su calidad, importancia e impacto. Debido a las importantes limitaciones del FI, conviene analizarlo desde una perspectiva bibliométrica multidimensional y en la perspectiva de su área de investigación.

Palabras clave: Revistas biomédicas. Pediatría. Factor de impacto. Bibliometría.

Conflicto de Intereses:

Los autores declaran no presentar conflictos de intereses en relación con la preparación y publicación de este artículo.


Introducción

El proceso científico es susceptible de ser cuantificado a través de los indicadores métricos de la información1-5. En la contribución científica de una investigación es importante distinguir entre calidad (o rigor científico), importancia (o relevancia sobre el avance del conocimiento científico y/o práctica clínica) e impacto, aspectos interrelacionados, pero no equivalentes1,6.

El impacto es indicativo de la supuesta difusión o visibilidad a corto plazo de una investigación entre la comunidad científica. En 1965, Garfield fue el primero en sugerir este concepto mediante la contabilización de las citas que recibían las publicaciones individuales e introdujo el conocido factor de impacto (FI), publicado anualmente en el Journal Citation Reports (JCR) a través de las revistas que forman parte de la cobertura del Science Citation Index (SCI). El FI de una revista es la media de citas que reciben en un determinado año los documentos publicados en dicha revista durante los dos años anteriores, y se calcula dividiendo este número de citas procedentes de las revistas de JCR-SCI (numerador) entre el número de documentos citables publicados por la revista durante los dos años mencionados anteriormente (denominador). Se consideran documentos citables los originales, las notas clínicas y las revisiones; el resto de contenidos (editoriales, cartas al director, etc.) que aparecen en una revista cuentan para las citas del numerador, pero no para el denominador.

El FI no está exento de limitaciones, por lo que se buscan indicadores alternativos; aun así, es el indicador bibliométrico más conocido y utilizado7,8. Todos los años se actualiza el JCR-SCI con esos preceptivos dos años de decalaje, y esta actualización del JCR-SCI siempre implica un momento de reflexión para las distintas revistas, pues el aumento o descenso del FI es, en buena parte, motivo de la estrategia editorial. En estos momentos disponemos de los indicadores bibliométricos de JCR-SCI de 2009, momento en el que recibimos la buena noticia de que Anales de Pediatría, revista oficial de la Asociación Española de Pediatría, dispone ya de FI en JCR-SCI. Desde la aparición de la revista Anales Españoles de Pediatría en 1968, los distintos equipos de dirección han desarrollado su trabajo con eficacia, dentro del contexto de la época en que cada uno estuvo inmerso, con el objetivo de elevar el prestigio nacional e internacional de la revista. Fruto de ello ha sido la progresiva inclusión de esta en distintos repertorios bibliográficos (Index Medicus/Medline/PubMed, Excerpta Medica/Embase, Índice Médico Español, IBECS, MEDES, etc.), pero quedaba pendiente un gran reto, tal como ya comentábamos en un estudio previo en el año 20019: su inclusión en la sección JCR-SCI. Este hecho ha ocurrido este año, en el repertorio de JCR-SCI 2009. Creo que la simple lectura del título de ciertos editoriales de Anales de Pediatría en sus distintas épocas resume, de alguna forma, el devenir de la revista durante estos 42 años de historia y el largo camino hasta este favorable momento10-22. Por primera vez, una revista pediátrica española se encuentra en este prestigioso repertorio y este es un buen momento para conocer el contexto general de JCR-SCI, el conjunto de las revistas pediátricas volcadas en dicho repertorio y la situación de la Medicina española, en general, y la pediátrica, en particular. El camino hacia el “impacto” es un hecho deseable para toda revista pediátrica en nuestro país, sin olvidar que dicho camino tiene que ser precedido de la calidad e importancia.

El objetivo de este estudio es realizar un análisis cienciométrico en JCR-SCI 2009 de las revistas pediátricas en el conjunto de las categorías de Biomedicina y Ciencias de la Salud, así como valorar el estado actual de la Pediatría española en ese contexto.

Material y métodos

Fuente de información: JCR de la Web of Knowledge (WoK) del año 2009, consultado a través del acceso suscrito con Thompson Scientific por la Fundación Española para la Ciencia y Tecnología (FECYT: www.accesowok.fecyt.es/).

Categorías de estudio: del global de las 171 categorías de estudio que se encuentran en JCR-SCI, se estudiaron las correspondientes a Biomedicina y Ciencias de la Salud: 44 categorías de enfoque médico-clínico, que se incluyen en el subámbito de la Medicina Clínica (MC), y 19 de enfoque más básico, que se incluyen en el subámbito de Ciencias de la Vida (CV). Análisis pormenorizado del área de estudio relacionada con Pediatría: Pediatrics.

Indicadores bibliométricos de interés:

  • En el análisis del global de las 63 categorías en Biomedicina y Ciencias de la Salud:
    • Revistas: número de revistas en cada categoría.
    • Artículos: número absoluto de trabajos publicados en el año 2009 en todas las revistas consideradas para esa categoría. Se debe tener presente que solo se toman en consideración para el cálculo los trabajos de investigación y las revisiones.
    • Citas: número total de citas (en el global de revistas del JCR-SCI) que han recibido los artículos publicados en el año 2009 en las revistas de esa categoría, con independencia de que las citas provengan de revistas del área o de otras áreas.
    • FI medio (FIM): media aritmética de todos los FI, resultante de dividir la suma del FI de cada revista en una categoría entre el número de revistas en esa categoría.
    • Indicadores específicos que solo toman en consideración la “circulación interna”, es decir, los flujos de citación internos de la categoría en cuestión: estos valores sirven para determinar el grado de citación (FI conjunto [FIC]), de rapidez de circulación de la información y citación (índice de inmediatez conjunto [IIC]) y de obsolescencia (vida media conjunta [VMC]) dentro de la categoría en cuestión.
    • Enumeración de las tres revistas con mayor FI en cada categoría.
  • En el análisis de la categoría Pediatrics:
    • Clasificación de las revistas en cuartiles: primero (Q1), segundo (Q2), tercero (Q3) y cuarto (Q4).
    • Artículos: número de artículos publicados en cada revista en el año 2009.
    • Citas: número de citas totales (en el global de revistas del JCR-SCI) a los artículos publicados en el año 2009 en cada revista.
    • FI de cada revista en 2009: número de citas recibidas en 2009 (en el global de revistas del JCR-SCI) por cualquier artículo publicado en dicha revista en los años 2008 y 2007 (numerador) dividido entre el número total de artículos “citables” (originales, notas clínicas y revisiones) publicados por dicha revista en esos dos años (denominador).
    • Índice de inmediatez (II): número de citas realizadas durante el año en el cual fueron publicados los artículos dividido entre el número total de artículos “citables” de dicho año. Se considera una medida del dinamismo editorial de la revista, por la rapidez con que se citan sus artículos.
    • Vida media de las citas (VM): refleja el número de años (contando hacia atrás) que recogen el 50% de las citas recibidas por la revista en el año 2009. Expresa el tiempo durante el cual los artículos publicados por una revista siguen siendo citados y, por tanto, considerándose útiles por la literatura científica.
    • Posición de la categoría Pediatrics en el conjunto de las 44 disciplinas en el subámbito de la MC, en donde queda englobada esta categoría.
    • Posición de la revista Anales de Pediatría en la categoría Pediatrics, así como en el conjunto de las 59 revistas españolas en JCR-SCI 2009.

Resultados

Análisis global de las categorías en Biomedicina y Ciencias de la Salud en JCR-SCI 2009

Se reconocen un total de 63 categorías en el área de Biomedicina y Ciencias de la Salud en JCR-SCI: 44 se pueden englobar en el subámbito de MC (tabla 1) y 19 en el de CV (tabla 2).

En el subámbito de MC cabe destacar los siguientes puntos (tabla 1):

  • Las categorías con mayor número de revistas son Clinical Neurology (167), Surgery (166), Oncology (165), Medicine General & Internal (132) y Public, Environmental & Occupational Health (122).
  • Las categorías con mayor número de artículos publicados en 2009 son Surgery (26 997), Oncology (25 790), Clinical Neurology (21 090), Medicine General & Internal (16 488) y Radiology, Nuclear Medicine & Medical Imaging (14 735).
  • Las categorías con mayor número de citas recibidas en 2009 son Oncology (1 079 109), Medicine General & Internal (913 511), Surgery (768 128), Clinical Neurology (743 579) y Hematology (564 453).
  • Las categorías con mayor FIM son Rheumatology (2,452), Infectious Disease (2,451), Oncology (2,412), Hematology (2,406) y Critical Care Medicine (2,380).
  • Las categorías con mayor FIC son Hematology (5,233), Peripheral Vascular Disease (4,544), Oncology (4,503), Medicine General & Internal (4,108) y Neuroimaging (4,010).
  • Las categorías con mayor IIC son Medicine General & Internal (1,171), Hematology (1,076), Nutrition & Dietetics (0,935), Medical Ethics (0,890) y Peripheral Vascular Disease (0,888).
  • Las categorías con menor VMC son Medical Ethics (5,4), Transplantation (5,4), Oncology (5,6), Neuroimaging (5,8) y Rheumatology (5,8).
  • Las revistas con mayor FI (FI > 23) en el subámbito de la MC se concentran en dos categorías: Oncology (Cancer Journal for Clinicians [Ca-Cancer J Clin]: 87,915, Nature Reviews Cancer [Nat Rev Cancer]: 34,985, y Cancer Cell: 26,636) y Medicine General & Internal (The New England Journal of Medicine [N Engl J Med]: 47,050, Lancet: 30,958, y The Journal of the American Medical Association [JAMA]: 28,899).

En el subámbito de CV cabe destacar los siguientes puntos (tabla 2):

  • Las categorías con mayor número de revistas son Biochemistry & Molecular Biology (283), Pharmacology & Pharmacy (236), Neurosciences (230), Cell Biology (161) y Genetics & Heredity (144).
  • Las categorías con mayor número de artículos publicados en 2009 son Biochemistry & Molecular Biology (47 875), Neurosciences (30 551), Pharmacology & Pharmacy (29 293), Cell Biology (20 325) e Immunology (19 421).
  • Las categorías con mayor número de citas recibidas en 2009 son Biochemistry & Molecular Biology (2 658 327), Neurosciences (1 447 490), Cell Biology (1 372 267), Pharmacology & Pharmacy (921 501) e Immunology (895 947).
  • Las categorías con mayor FIM son Cell Biology (3,250), Neurosciences (2,795), Immunology (2,740), Developmental Biology (2,732) y Endocrinology & Metabolism (2,628).
  • Las categorías con mayor FIC son Cell Biology (5,754), Genetics & Heredity (4,531), Developmental Biology (4,478), Immunology (4,329) y Biochemistry & Molecular Biology (4,220).
  • Las categorías con mayor IIC son Cell Biology (1,178), Virology (0,882), Biochemistry & Molecular Biology (0,879), Genetics & Heredity (0,873) y Developmental Biology (0,856).
  • Las categorías con menor VMC son Chemistry, Medicinal (6,0), Immunology (6,3), Genetics & Heredity (6,4), Virology (6,4) y Cell Biology (6,5).
  • Las revistas con mayor FI (FI >23) en el subámbito de la CV se dispersan en varias categorías: Cell Biology (Nature Reviews Molecular Cell Biology [Nat Rev Mol Cell Bio]: 42,192, y Nature Medicine [Nat Med]: 27,136), Immunology (Annual Review Immunology [Annu Rev Immunol]: 37,902, Nature Reviews Immunology [Nat Rev Immunol]: 32,245, y Nature Immunology [Nat Immunol]: 26,000), Genetics & Hereditary (Nature Genetics [Nat Genet]: 34,284, y Nature Reviews Genetics [Nat Rev Genet]: 27,822), Biochemistry & Molecular Biology (Cell: 31,152, y Annual Review of Biochemistry [Annu Rev Biochem]: 29,875), Pharmacology & Pharmacy (Nature Reviews Drug Discovery [Nat Rev Drug Discov]: 29,050), Medicine, Research & Experimental (Nat Med: 27,136) y Neurosciences (Natural Reviews of Neuroscience [Nat Rev Neurosci]: 26,483, y Annual Reviews of Neuroscience [Annu Rev Neurosci]: 24,822).

Al comparar los dos subámbitos de la Biomedicina y Ciencias de la Salud en el año 2009 (tablas 1 y 2), encontramos que las categorías del subámbito de CV presentan marcadas diferencias respecto a las categorías del subámbito de MC en los siguientes indicadores: mayor número de revistas por categoría (media de 96 en CV frente a 59 en MC; más de 100 revistas en el 37% de las categorías de CV frente al 16% en MC), mayor número de artículos (media de 13 897 en CV frente a 7556 en MC; más de 10 000 artículos en el 58% de las categorías de CV frente al 23% en MC), mayor número de citas (media de 677 045 en CV frente a 257 505 en MC; más de 200 000 citas en el 79% de las categorías de CV frente al 45% en MC), mayor FIM (media de 2,375 en CV frente a 1,714 en MC; FIM > 2 en el 74% de las categorías de CV frente al 30% en MC), mayor FIC (media de 3,422 en CV frente a 2,674 en MC; FIC > 2 en el 89% de las categorías de CV frente al 70% en MC) y mayor IIC (media 0,684 en CV frente a 0,537 en MC; IIC > 0,5 en el 79% de las categorías de CV frente al 50% en MC). No hay diferencias significativas en la VMC entre ambos (6,8 en CV frente a 6,4 en MC).

En la tabla 3 se indican las 20 revistas con mayor FI del global de las 7347 revistas volcadas en JCR-SCI en el año 2009. En esta tabla se expresa la evolución del FI en los últimos cinco años, así como otros indicadores bibliométricos de interés (artículos, citas, II, VM). De estas 20 revistas con mayor FI, 13 pertenecen a Biomedicina y Ciencias de la Salud (cinco al subámbito de la MC y ocho al subámbito de CV) y las restantes a otras categorías: Physics, multicidsciplinary (Reviews of Modern Physics [Rev Mod Phys]), Chemistrry, multidisciplinary (Chemical Reviews [Chem Rev]), Crystallography (Acta Crystallographica Section A [Acta Crystallogr A]), Material Science, Multidicisplinary (Nature Materials [Natu Mater]), Biotechology & Applied Microbiology (Nature Biotechnology [Nat Biotechnol]) y Multidisciplinary Sciences (Science y Nature).

Análisis de las categorías relacionadas con la Pediatría en JCR-SCI 2009

Las revistas pediátricas se engloban en la categoría Pediatrics, dentro del subámbito de la MC en Biomedicina y Ciencias de la Salud. En dicha categoría cabe destacar los siguientes indicadores bibliométricos, en relación con el conjunto de 44 categorías de MC (tabla 1): engloba 94 revistas biomédicas (noveno puesto en MC), 12 648 artículos (octavo puesto en MC), 297 188 citas (puesto 13 en MC), FIM de 1,406 (puesto 31), FIC de 1,817 (puesto 36), IIC de 0,344 (puesto 36) y VMC de 7,2 (puesto 34).

Clasificación de las 94 revistas en Pediatrics por FI: 29 revistas con FI entre 0 y 0,999; 37 con FI entre 1 y 1,999; 24 con FI entre 2 y 3,999; y 4 con FI > 4. El mayor FI corresponde a J Am Acad Child Psy (4,983), Arch Pediatr Adol Med (4,726), Pediatrics (4,687) y J Pediatr (4,092).

El mayor número de artículos publicados en 2009 corresponde a Pediatrics (752), J Pediatr Surg (512) y Pediatric Blood & Cancer (398). El mayor número de citas corresponde a Pediatrics (49 012), J Pediatr (22 057) y J Am Acad Child Psy (15 806). Solo una revista presenta un II > 1 (J Am Acad Child Psy).

En las tablas 4 a 7 se indican las revistas en la categoría Pediatrics, incluyendo la evolución del FI en los últimos cinco años, así como otros indicadores bibliométricos de interés. Se han clasificado por cuartiles: Q1 (tabla 4), Q2 (tabla 5), Q3 (tabla 6) y Q4 (tabla 7).

La distribución de las revistas pediátricas por países en JCR-SCI 2009 se puede clasificar en cuatro grupos de productores (tablas 4 a 7): 1) el liderazgo procede de Estados Unidos, con 53 revistas; 2) dos países destacados son Gran Bretaña, con 14 revistas y Alemania, con diez; 3) con dos revistas se encuentra cuatro países: Australia, Holanda, India y Suiza; 4) con una revista se encuentran nueve países: Brasil, Canadá, China, Croacia, España, Francia, Irán, Japón y Turquía. Analizando las 23 revistas situadas en el Q1 (tabla 4) la distribución por países es: 16 de Estados Unidos, cinco de Gran Bretaña, uno de Alemania y uno de Australia.

La distribución de las revistas pediátricas por idiomas en JCR-SCI 2009 (tablas 4 a 7) confirman el predominio absoluto del inglés (89 revistas), frente a tan solo cinco en otros idiomas: dos en alemán (Klin Padiatr, puesto 31 por orden de FI y en el Q2; y Monatsschr Kinderh, puesto 91 y en el Q4), una en croata (Paediatr Croat, puesto 92 y en el Q4) y dos indicadas como multilingüe (Arch Pediatrie, puesto 86 y en el Q4; y An Pediatr, puesto 89 y en el Q4), si bien la primera es en francés y Anales de Pediatría en español.

Análisis de las revistas pediátricas españolas en SCI-JCR 2009

En la categoría Pediatrics detectamos solo una revista en español (Anales de Pediatría), cuya incorporación se ha realizado este mismo año, con un FI de 0,363, lo que la sitúa en el puesto 89 (y último cuartil) sobre el total de 94 revistas (tabla 7). En el año 2009 Anales de Pediatría ha publicado 140 artículos, ha recibido 338 citas, presenta un II de 0,050 y una VM de 3,8 años.

De las 59 revistas españolas incluidas en SCI-JCR en el año 2009, 32 corresponden a Biomedicina y Ciencias de la salud (tabla 8) y 27 a otras áreas (tabla 9). Anales de Pediatría ocupa el puesto 43 por orden de FI en el global de las revistas españolas en JCR-SCI. En las tablas 8 y 9 se indican la evolución del FI en los últimos cinco años de estas 59 revistas, así como otros indicadores bibliométricos de interés. Según se comprueba en la tabla 8, de las diez revistas españolas en Biomedicina y Ciencias de la salud con mayor FI, seis se publican en inglés, dos en bilingüe español e inglés (Revista Española de Cardiología [Rev Esp Cardiol] y Archivos de Bronconeumología [Arch Bronconeumol]) y dos en español (Enferm Infec Micr Cl y Rev Neurol).

Discusión

La publicación de trabajos en revistas científicas se considera el producto final de la actividad investigadora, actividad que es posible cuantificar. López Piñero y Terrada2-5 introdujeron en España los estudios bibliométricos, y han desarrollado una continua labor de estudio y difusión de los indicadores bibliométricos en la actividad médico-científica. La cultura bibliométrica en España ha evolucionado bastante en los últimos años: un buen ejemplo son la sucesiva publicación de los cinco mapas bibliométricos en el ámbito de la Biomedicina y las Ciencias de la Salud, que han abarcado los periodos 1986-198924, 1990-199325, 1994-200026, 1994-200227 y 1996-200428. En el área de la Pediatría también encontramos estudios bibliométricos nacionales de nuestra especialidad29-35.

Buena parte de esta evolución se debe a FECYT, que patrocina el acceso abierto a la WoK para toda la comunidad académica y sanitaria española. La WoK constituye una plataforma de servicio público para la comunidad científica con un importante interés cienciométrico. La WoK recoge las referencias de las principales publicaciones científicas de todas las disciplinas desde 1945, incluidas las ciencias sociales, las artes y las humanidades. La WoK es una herramienta para el análisis y evaluación de la situación, evolución e impacto de las actividades de investigación en los diferentes campos del conocimiento y en el que es posible acceder a distintas bases de datos (Web of Science, Current Contents, ISI Proceedings, Derwent Innovation Index, Web Citation Index, Journal Citation Reports y Medline). La FECYT, creada en 2001 por iniciativa del Ministerio de Educación y Ciencia, ha suscrito una licencia nacional con Thompson Scientific que permite el acceso a través de Internet a la WoK y cuya finalidad es permitir a las instituciones españolas y organismos públicos de investigación la consulta de unas bases de datos que abarcan todas las áreas del conocimiento científico.

Entre las potentes herramientas de explotación de las distintas bases de la WoK, podemos destacar JCR, que, como se ha comentado, es la base que permite la confección del FI. Esta ha sido la fuente de información de nuestro estudio.

En la dinámica científica, el encuentro entre el autor y sus lectores se materializa mediante las citas que estos hacen al trabajo previo, lo que supone una forma de reconocimiento a la labor de sus predecesores7,8,23. Los análisis de citas permiten conocer hasta qué punto se ha cumplido el propósito de la comunicación, es decir, la transmisión y asimilación del conocimiento. Pero para cuantificar las citas es necesario analizar las referencias bibliográficas de todos los artículos publicados en las revistas científicas, tarea laboriosa para la que se requieren numerosos recursos. Hace 45 años, Garfield impulsó este tipo de análisis bibliográfico publicando en el Institute for Scientific Information de Filadelfia el primer volumen del SCI. Un producto derivado del SCI, el JCR, proporciona anualmente indicadores bibliométricos sobre el consumo de información de un amplio número de revistas (7 347 en su edición de 2009), entre ellos el número de citas que han recibido, la VM, el II y el FI7,8,23 (indicadores bibliométricos considerados en este estudio), así como otros indicadores de reciente incorporación en JCR (factor de impacto de cinco años, Eigenfactor score y Article influence score) y que no han sido motivo de análisis en nuestro estudio.

Desde 1975, los FI de las diferentes revistas se publican anualmente en el JCR del SCI, cuyo análisis es importante para conocer la dinámica de las múltiples categorías de la ciencia. Del global de 171 categorías reconocidas, 63 se corresponden con el entorno de la Biomedicina y las Ciencias de la Salud y es el entorno que mayor dinámica de cambios experimenta cada año.

El FI es un indicador bibliométrico basado en el recuento de citas del SCI que se calcula, para cada revista, estableciendo la relación entre las citas que en un año determinado han recibido los trabajos publicados durante los dos años anteriores, y el total de artículos publicados en ella durante esos dos años. El motivo de coger dos años es que es el tiempo promedio a partir del que se calcula que un trabajo circula plenamente en la comunidad científica y puede ser utilizado y citado. El número de citas se divide entre el número de artículos publicados para corregir la ventaja potencial de los autores o las revistas que publican muchos trabajos, ya que estos tienen mayor probabilidad de ser citados. En la actualidad, disponer de FI se ha convertido en una especie de garantía de calidad editorial, pues para ello los editores se ven obligados a cumplir y a mantener unos estándares cualitativos y, además, supone un excelente atractivo para lograr que los autores envíen sus mejores manuscritos a la revista, lo que a su vez redunda en incrementar su calidad e impacto7,8,23.

Algunos resultados obtenidos en nuestro análisis del repertorio de JCR-SCI 2009 merecen un comentario más detenido.

  • Los indicadores bibliométricos expresados en el análisis global en Biomedicina y Ciencias de la Salud (tabla 1 para el subámbito de la MC y tabla 2 para el subámbito de las CV) son un claro exponente del ingente incremento de la investigación científica (que condiciona la “infoxicación”36, es decir, la intoxicación de información a la que estamos sometidos) y la dificultad que implica mantenerse actualizado en nuestro ámbito de estudio: en nuestro caso la Pediatría.
  • La vitalidad de JCR-SCI es ingente: al comparar el JCR-SCI en el año 2009 respecto al año 20069, el número de revistas totales volcadas ha pasado de 6166 a 7347 (incremento de un 19% en tres años), distribuidas en las 171 categorías. Esta vitalidad es superior en las 63 categorías de la Biomedicina y Ciencias de la Salud, en las que hemos enfocado el estudio:
    • En el subámbito de la MC (tabla 1) todas han aumentado el número de revistas (y por ende de artículos y citas), salvo Sport Sciences (con una revista menos) y Hematology y Neuroimaging (con el mismo número de revistas). El mayor incremento de revistas corresponde a las áreas de Oncology (38 revistas más), Nursing (33), Medicina General & Internal (29), Clinical Neurology (20) y Pediatrics (20).
    • En el subámbito de las CV (tabla 2) todas han aumentado el número de revistas, salvo Physiology (con tres revistas menos) y Microscopy (con el mismo número de revistas). El mayor incremento de revistas corresponde a las áreas de Pharmacology & Pharmacy (37 revistas más), Neurosciences (30) y Biochemistry & Molecular Biology (21).
  • Se detecta una marcada diferencia en los indicadores bibliométricos de las áreas temáticas en el subámbito de MC (donde se ubica Pediatrics) y de CV. Globalmente, el subámbito de CV presenta mayor número de revistas, artículos y citas, así como mayor FIM, FIC e IIC, que el subámbito de MC, lo cual solo es un reflejo de la diferente dinámica de publicación y citación entre “clínicos” y “básicos” en la ciencia.
  • La categoría Pediatrics ocupa una posición intermedia dentro de las 44 áreas temáticas del subámbito de MC en Biomedicina y Ciencias de la Salud en el año 2009 (tabla 1): noveno puesto en número de revistas, octavo en número de artículos y puesto 13 en número de citas. En el intervalo 2006 a 2009 se reconocen 20 revistas más en la categoría Pediatrics, uno de los mayores incrementos entre las categorías de MC. Se confirma la orientación de JCR-SCI hacia el mundo anglosajón (entre Estados Unidos y Gran Bretaña acaparan el 71% de las revistas en la categoría Pediatrics) y la confirmación del inglés como lingua franca en la comunicación científica (95% de las revistas en la categoría Pediatrics, siendo anecdótica la publicación en otro idioma: dos en alemán, una en croata, una en francés y una –Anales de Pediatría– en español).
  • Dentro de las 20 revistas con mayor FI (tabla 3), un gran número de ellas corresponde a revistas de revisión (que publican pocos artículos y, por tanto, bajo denominador): diez de ellas han publicado menos de 100 artículos en 2009. El mayor número de artículos (y también de citas) publicados en 2009 corresponde a las revistas Science (897), Nature (866), Cell (359), New Engl J Med (352) y Lancet (280), lo que sin duda habla de su mayor visibilidad y uso por la comunidad científica. La importancia de valorar distintos indicadores bibliométricos se refleja al comparar las tres revistas con mayor FI: en primer lugar, Ca-Cancer J Clin, cuyo FI es 87,925 (con un incremento progresivo en los últimos 5 años), pero solo ha publicado 23 artículos y recibido un total de 8528 citas; en segundo lugar Acta Crystallogr A cuyo FI es 49,926 (un sorprendente incremento, debido a que en los años previos su FI oscilaba entre 1 y 2), pero que ha publicado 48 artículos y ha recibido un total de 14 394; en tercer lugar New Engl J Med, cuyo FI es 47,050, pero ha publicado 352 artículos y ha recibido un total de 216 752 citas. Similares apreciaciones se obtiene al valorar las revistas con mayor FI en la categoría Pediatrics (tabla 4, que refleja aquellas del primer cuartil).
  • Solo encontramos una revista pediátrica española en JCR-SCI (Anales de Pediatría), de reciente inclusión y con primer FI de 0,363. Esto constituye, per se, un privilegio. Ahora bien, el FI inicial de Anales de Pediatría es bajo en el conjunto de SCI-JCR, tanto en el área de Pediatrics (puesto 89 sobre un total de 94 revistas; tabla 7), como en el conjunto de las revistas españolas en JCR-SCI (puesto 43 sobre un total de 54 revistas; tabla 8). En las tablas 8 y 9 se indican las diferentes revistas españolas incluidas este año en JCR-SCI. En las categorías de Biomedicina y Ciencias de la Salud (tabla 8) todas las nuevas incorporaciones lo hacen en el último cuartil (Q4) de su categoría, a excepción de Gac Sanit y J Investi Allerg Clin, ambas en el Q3 de sus categorías respectivas.

Posiblemente conviene detenernos en este último apartado y plantear algunas estrategias editoriales para mejorar el FI de las revistas científicas, en general, y las revistas pediátricas españolas, en particular:

  • Selección cuidadosa de manuscritos, con una revisión sistematizada (por pares y por expertos en metodología-estadística) que ayude a mejorar la calidad del artículo final. El impacto de una revista es avalado, principalmente, por la calidad e importancia de los artículos en ella publicados.
  • Optimización de los tiempos de valoración de los manuscritos y desarrollo de un sistema de gestión exclusivamente electrónico, con alarmas sobre límites de plazos. La calidad del peer-review depende del rigor y puntualidad de los revisores, quienes deben sentir el máximo respeto por parte del equipo editorial de la revista, consideración mínima a una esfuerzo tan importante que es realizado de forma gratuita.
  • Publicación de artículos rigurosos, relevantes y útiles para la práctica clínica, con especial interés por estudios originales con diseños potentes, revisiones de calidad (mejor valoradas las revisiones sistemáticas que las de autor), guías de práctica clínica, conferencias de consenso y/o informes técnicos de sociedades científicas, así como otros documentos fundamentados en la medicina basada en pruebas.
  • Ampliación de contenidos para abarcar todos los aspectos de las enfermedades pediátricas, así como también aspectos de formación, información e investigación aplicada. Contar para ello con la colaboración de las diferentes sociedades científicas de la Asociación Española de Pediatría.
  • Promoción especial de los artículos originales más relevantes (editoriales, notas de prensa, fast-track y publicación electrónica preimpresión), así como la idea de implementar premios de las sociedades científicas a los mejores artículos publicados.
  • Seguir apostando por revistas pediátricas en español de calidad, lo que no debe considerarse contrario a la idea de optar por intentar realizar una edición electrónica bilingüe en inglés (lingua franca de la ciencia) de todos o la mayor parte de los contenidos. Invertir en traductores médicos puede ser una de las estrategias más rentables, aunque aún hoy el lector de nuestro país prefiere leer en español que en inglés37.
  • Realizar el máximo esfuerzo en adecuarse a los estándares de calidad de las revistas científicas. Un requisito indispensable es la adopción (y actualización) de las recomendaciones técnicas y éticas del Comité Internacional de Editores de Revistas Médicas.
  • Desarrollo y actualización de la página web propia de la revista. La convivencia de la edición impresa y de la edición electrónica es un requisito casi imprescindible para conseguir la máxima visibilidad de los contenidos, que se incrementa de forma exponencial por medio de la edición electrónica.
  •  Aumento de la difusión, lo que se puede realizar por medio de varias estrategias: plantear distintas ediciones de la revista (impresa y electrónica, español e inglés); inclusión en las más prestigiosas bases de datos internacionales (PubMed, Embase, SCI-JCR, etc.) y nacionales (IME, IBECS, MEDES, etc.); y acceso libre, completo y gratuito a todos los artículos de la versión electrónica (formatos HTML y PDF, en español y en inglés).

La mayoría de las revistas son conocedoras de estas sugerencias y premisas en busca de un mejor FI, pero no todas las han llevado a cabo con el mismo rigor y/o rapidez38,39. Un buen ejemplo ha sido Anales de Pediatría, que ha llevado a cabo la gran mayoría de estas sugerencias y cuya traducción directa ha sido la reciente incorporación al repertorio de JCR-SCI. Aun así, queda camino por recorrer y mejorar para situarse en niveles adecuados (primeros cuartiles) dentro de las revistas de la categoría Pediatrics. En el repertorio de revistas médicas en español proporcionado por el estudio de Abad García et al.40 se obtiene un total de 360 revistas médicas españolas activas en el año 2004. De las 60 categorías consideradas como variable de especialidad médica se aprecia una distribución muy dispar en el número de revistas por especialidad: el mayor número de revistas corresponde a la especialidad de Psiquiatría (con 31 revistas), Odontología y Estomatología (19) y Pediatría y sus Áreas Específicas (18). El hecho de disponer de 18 revistas pediátricas en España es llamativo, pues va en contra de lo que podría considerarse una política de ahorro y concentración de esfuerzos. Esto último estaría más en consonancia con la necesidad de supervivencia y posicionamiento nacional e internacional mediante la concentración de trabajos de calidad científica en una sola revista o en un pequeño número de ellas; la situación contraria puede dar lugar a una gran dispersión de la información, a redundancias y ruido documental e incluso a la eventual publicación de artículos de poca calidad. Aun así, son varias las razones que pueden explicar el mantenimiento de varias revistas por especialidad: como órganos de expresión de sociedades científicas, como revistas de formación continuada complementarias a las que son vehículo de difusión de resultados de investigación, etc. En cualquier caso, un hecho parece claro en Pediatría: son precias menos revistas científicas y mejores, en cuya pervivencia debe primar la calidad e importancia de los artículos científicos. El camino al “impacto” es una meta deseable, si bien no será posible en todas las revistas, lo cual no deslegitima una publicación biomédica si se cumplen las otras dos premisas.

Debido a la necesidad de disponer de instrumentos cuantitativos de la productividad científica, el manejo del FI de las revistas biomédicas se ha extendido de tal manera que algunos colegas profesan una verdadera “impactolatría”, es decir, culto o adoración incontinente al FI como si se tratara de la panacea de la evaluación en ciencia. La impactolatría conlleva una práctica simplista en la que se presupone que el FI de la revista es indicativo de la calidad o importancia de la investigación científica concreta y, por extensión, de los autores de esta6,41. Dos variantes extremas de esta impactolatría son la “impactofilia” y la “impactofobia”, ninguna de las dos deseable. En la tabla 10 se enumeran algunos problemas y limitaciones del FI de las revistas en JCR-SCI.

Se conoce que como promedio un 15% de los artículos acapara el 50% de todas las citas; según esto, el FI de una revista viene determinado por una minoría de los trabajos que en ella se publican. De forma similar, aproximadamente la mitad de los documentos publicados en revistas biomédicas no son nunca citados posteriormente6,41. Es por ello que debe distinguirse entre el FI esperado y el FI observado: el hecho de que una investigación haya sido aceptada en una revista determinada, generalmente, ya es un indicador indirecto de su calidad; sin embargo, el impacto bibliográfico real (FI observado) vendrá determinado por las citas que posteriormente reciba el trabajo7.

Remarcamos la importancia de evaluar la ciencia (las revistas y a los científicos) sobre la base de indicadores cienciométricos multidimensionales utilizados con rigurosidad por especialistas de esta materia, y conocedores de sus ventajas y limitaciones. Incluso, el alcance del análisis de citas (incluido el concepto de FI) podría cambiar en los próximos años debido a la aparición de competidores del hasta ahora monopolio de Thompson-ISI; tal sería el caso de Google Scholar o de Scopus de Elsevier, iniciativas que ofrecen recuentos alternativos de citas que, lógicamente, no coinciden con los de la particular estrategia de Thompson-ISI. Y más allá aún, en el mundo “hipertextual” de la www, ya se empieza a utilizar el factor de impacto web42. Hay que estar atento a las revoluciones ya en marcha de las publicaciones biomédicas (la revolución del conocimiento, la revolución de la medicina basada en pruebas, la revolución de la red, la revolución del acceso abierto y la revolución de las bibliotecas, entre otras)39 y que tienen un punto común de encuentro en las nuevas tecnologías de información. De esta forma, a los clásicos indicadores bibliométricos deberemos ir adaptando en el futuro los indicadores cibermétricos.

Nuestro estudio confirma que las revistas biomédicas en Pediatría ocupan un lugar intermedio en JCR-SCI, tanto desde el punto de vista cuantitativo (94 revistas) como cualitativo (FI y otros indicadores bibliométricos). Celebramos la reciente inclusión de Anales de Pediatría en JCR-SCI, un buen principio. Pero queda bastante trabajo por delante para mejorar el impacto de las revistas pediátricas en español (máxime en un entorno de revistas anglosajonas y/o publicadas en inglés), labor en la que deben implicarse autores y lectores, así como directores y editores de las revistas.

Bibliografía

  1. Camí J. Evaluación de la investigación biomédica. Med Clin (Barc). 2001;117:510-13.
  2. López Piñero JM, Terrada ML. Los indicadores bibliométricos y la evaluación de la actividad médico-científica. (I) Usos y abusos de la bibliometría. Med Clin (Barc). 1992;98:64-8.
  3. López Piñero JM, Terrada ML. Los indicadores bibliométricos y la evaluación de la actividad médico-científica. (II) La comunicación científica en las distintas áreas de las ciencias médicas. Med Clin (Barc). 1992;98:101-6.
  4. López Piñero JM, Terrada ML. Los indicadores bibliométricos y la evaluación de la actividad médico-científica. (III) Los indicadores de producción, circulación y dispersión, consumo de la información y repercusión. Med Clin (Barc). 1992;98:142-8.
  5. López Piñero JM, Terrada ML. Los indicadores bibliométricos y la evaluación de la actividad médico-científica. (IV) La aplicación de los indicadores. Med Clin (Barc). 1992;98:384-8.
  6. Camí J. Impactolatría: diagnóstico y tratamiento. Med Clin (Barc). 1997;109:515-24.
  7. González de Dios J, Moya M, Mateos MA. Indicadores bibliométricos: características y limitaciones en el análisis de la actividad científica. An Esp Pediatr. 1997;47:235-44.
  8. Aleixandre R, Valderrama JC, González de Dios J, de Granda JI, Miguel A. El factor de impacto. Un polémico indicador de calidad científica. Rev Esp Econ Salud. 2004;3:242-9.
  9. González de Dios J. Valoración del nivel de calidad de la evidencia científica de Anales Españoles de Pediatría. An Esp Pediatr. 2001;54:380-9.
  10. Editorial. Anales Españoles de Pediatría. ¿Revista de investigación o formación? An Esp Pediatr. 1984;21:711-3.
  11. Bueno M. Una nueva época. An Esp Pediatr. 1994;40:1-2.
  12. Bueno M. Anales Españoles de Pediatría: Un balance satisfactorio y algunas sombras. An Esp Pediatr. 1995;42:1.
  13. Rodríguez Soriano J. Una nueva etapa. An Esp Pediatr. 1996;44:1.
  14. Rodríguez Soriano J, Moya Benavent M. Difusión de Anales en Latinoamérica. An Esp Pediatr. 1997;46:319.
  15. Rodríguez Soriano J. Anales y el factor de impacto. An Esp Pediatr. 1997;47:234.
  16. Delgado Rubio A. Gratitud al pasado y confianza en el futuro. An Esp Pediatr. 2000;52:1.
  17. González Pérez-Yarza E. Omega y alfa, preservar y prosperar. An Esp Pediatr. 2000;52:2.
  18. González Pérez-Yarza E. Realidades y deseos. An Esp Pediatr. 2001;55:1.
  19. Pérez-Yarza EG, Cabañas F, Moreno A. El factor impacto, objetivo estratégico. An Pediatr (Barc). 2003;58:1-2.
  20. Cabañas F, Moreno A, Pérez-Yarza EG. Investigación pediátrica y publicaciones científicas. An Pediatr (Barc). 2003;59:527-30.
  21. Cabañas F, Moreno A, Pérez-Yarza EG. Anales de Pediatría y el inicio de procedimientos para su inclusión en las revistas del Journal Citation Reports. An Pediatr (Barc). 2007;66:227-8.
  22. Pérez-Yarza EG, Cabañas González F, Moreno Galdó A. Anales de Pediatría: nuevos retos, nueva estructura. An Pediatr (Barc). 2008;69:499-500.
  23. Aleixandre Benavent R, Valderrama Zurián JC, González Alcaide G. El factor de impacto de las revistas científicas: limitaciones e indicadores alternativos. El profesional de la información. 2007;16:4-11.
  24. Camí J, Fernández MT, Gómez-Caridad I. La producción científica española en biomedicina y salud. Un estudio a través de Science Citation Index (1986-1989). Med Clin (Barc). 1993;101:721-31.
  25. Camí J, Zulueta MA, Fernández MT, Gómez I. Producción científica española en biomedicina y ciencias de la salud durante el periodo 1990-1993 (Science Citation Index y Social Citation Index) y comparación con el período 1986-1989. Med Clin (Barc). 1997;109:481-96.
  26. Camí J, Suñén E, Carbó JM, Coma L. Producción científica española en biomedicina y ciencias de la salud (1994-2000). Informe del Instituto de Salud Carlos III-Fondo de Investigación Sanitaria; 2002 [consultado el 19/10/2010]. Disponible en www.prbb.org/bac/PCE1994-02/mapa.pdf
  27. Camí J, Suñén-Piñol E, Méndez-Vásquez RI. Mapa bibliométrico de España 1994-2002: biomedicina y ciencias de la salud. Med Clin (Barc). 2005;124:93-101.
  28. Méndez-Vásquez RI, Suñén-Pinyol E, Cervelló R, Camí J. Mapa bibliométrico de España 1996-2004: biomedicina y ciencias de la salud. Med Clin (Barc). 2008;130:246-53.
  29. González de Dios J, Moya M. Estudio bibliométrico de Anales Españoles de Pediatría (Década 1984-1993) I: Análisis de los artículos publicados. An Esp Pediatr. 1995;42:2-10.
  30. González de Dios J, Moya M. Estudio bibliométrico de Anales Españoles de Pediatría (Década 1984-1993) II: Análisis de las referencias bibliográficas. An Esp Pediatr. 1995;42:11-8.
  31. Aleixandre Benavent R, Giménez Sánchez JV, Terrada Ferrandis ML, López Piñero JM. Análisis del consumo de información en la revista Anales Españoles de Pediatría. An Esp Pediatr. 1995;43:399-406.
  32. González de Dios J, Moya M. Evaluación del uso de procedimientos estadísticos en los artículos Originales de Anales Españoles de Pediatría: Comparación de dos períodos (1989-1990 y 1994-1995). An Esp Pediatr. 1996;45:351-60.
  33. García Río F, Mayoralas Alises S, Esparza Paz P, González Pérez-Yarza E. Análisis de la repercusión de Anales Españoles de Pediatría a través del Science Citation Index durante el periodo 1997-2001. An Pediatr (Barc). 2002;57:131-7.
  34. Pérez-Yarza EG, Cabañas F, Moreno A. Factor de impacto estimado 2003. An Pediatr (Barc). 2004;61:199-200.
  35. Aleixandre-Benavent R, Valderrama Zurián J, Castellano Gómez M, Simó Meléndez R, Navarro Molina C. Factor de impacto nacional e internacional de Anales de Pediatría. An Pediatr (Barc). 2004;61:201-6.
  36. González de Dios J. Búsqueda de información en Pediatría basada en la evidencia (I): “infoxicación” e Internet. Rev Esp Pediatr. 2003;59:246-58.
  37. González de Dios J, Flores A, González C, Gutiérrez JA. Qué revistas médicas españolas leen y cómo se informan los médicos de Atención Primaria. Aten Primaria (aceptado).
  38. González de Dios J, Pérez-Sempere A, Aleixandre R. Las publicaciones biomédicas en España a debate (I): estado de las revistas neurológicas. Rev Neurol. 2007;44:32-42.
  39. González de Dios J, Pérez-Sempere A, Aleixandre R. Las publicaciones biomédicas en España a debate (II): las “revoluciones” pendientes y su aplicación a las revistas neurológicas. Rev Neurol. 2007;44:101-12.
  40. Abad García MF, González Teruel A, Martínez Catalán C. Características de las revistas médicas españolas. 2004. El profesional de la información. 2005;14:380-90.
  41. Alfonso F, Bermejo J, Segovia J. Impactología, impactitis, impactoterapia. Rev Esp Cardiol. 2005;58:1239-45.
  42. González de Dios J, Aleixandre R. Evaluación de la investigación en Biomedicina y Ciencias de la Salud. Indicadores bibliométricos y cienciométricos. Bol Pediatr. 2007;47:92-110. 

Tabla 1. Categorías en el Journal Citation Reports-2009 en Biomedicina y Ciencias de la Salud: subámbito de la Medicina clínica

Tabla 1. Categorías en el Journal Citation Reports-2009 en Biomedicina y Ciencias de la Salud: subámbito de la Medicina clínica (continúa...)

Tabla 1. Categorías en el Journal Citation Reports-2009 en Biomedicina y Ciencias de la Salud: subámbito de la Medicina clínica (continúa...)

Tabla 1. Categorías en el Journal Citation Reports-2009 en Biomedicina y Ciencias de la Salud: subámbito de la Medicina clínica

Tabla 2. Categorías en el Journal Citation Reports-2009 en Biomedicina y Ciencias de la Salud: subámbito de las Ciencias de la Vida

Tabla 3. Indicadores bibliométricos de los las 20 revistas con mayor factor de impacto en Journal Citation Reports-Science Citation Index (2009)

Tabla 4. Indicadores bibliométricos de los las 20 revistas con mayor factor de impacto en Journal Citation Reports-Science Citation Index (2009)

Tabla 5. Indicadores bibliométricos de las revistas del segundo cuartil (Q2) en la categoría Pediatrics en Journal Citation Reports-Science Citation Index (2009)

Tabla 6. Indicadores bibliométricos de las revistas del tercer cuartil (Q3) en la categoría Pediatrics en Journal Citation Reports-Science Citation Index (2009)

Tabla 7. Indicadores bibliométricos de las revistas del cuarto cuartil (Q4) en la categoría Pediatrics en Journal Citation Reports-Science Citation Index (2009)

Tabla 8. Indicadores bibliométricos de las 32 revistas españolas sobre Biomedicina y Ciencias de la Salud en Journal Citation Reports-Science Citation Index (2009)

Tabla 9. Indicadores bibliométricos de las 27 revistas españolas en áreas distintas a la Biomedicina y Ciencias de la Salud en Journal Citation Reports-Science Citation Index (2009)

Tabla 10. Problemas y limitaciones del factor de impacto de las revistas científicas


Comentarios

Este artículo aún no tiene comentarios.

ISSN 2174-4106  Publicación Open Acess, incluida en DOAJ, sin cargo por publicación.

Política de Privacidad | Mapa Web | Copyright 2019 Lúa Ediciones 3.0 | Contacto