Mensaje Facultad de Ciencias Médicas Julio Trigo

Ver Mensaje:

RV: [e- 2402] RV: [Dircpi-l] Eigenfactor vs SJR: un cara a cara entre los 2 indicadores más poderosos

De: Dircpi-l [mailto:dircpi-l-bounces en listas.sld.cu] En nombre de José Enrique Alfonso Manzanet Enviado el: jueves, 18 de mayo de 2017 8:22 PM Para: 'Editores de Revistas Científicas del SNS'; editorial en listas.sld.cu; direcimed en listas.sld.cu; dircpi-L en listas.sld.cu; rededitores en listas.sld.cu; scielo-cuba en listas.sld.cu Asunto: [Dircpi-l] Eigenfactor vs SJR: un cara a cara entre los 2 indicadores más poderosos Publicado <https://scholarlykitchen.sspnet.org/2015/07/28/network-based-citation-metrics-eigenfactor-v> en The Scholarly Kitchen Network-based Citation Metrics: Eigenfactor vs. SJR ï‚· By <https://scholarlykitchen.sspnet.org/author/pmd8/> PHIL DAVIS ï‚· JUL 28, 2015 ¿La influencia de una revista se mide mejor por el número de citas que atrae o por las citas que atrae de otras revistas influyentes? Se describen aquí dos métricas basadas en la red de citación: Eigenfactor y SCImago Journal Rank (SJR), comparar sus diferencias y evaluar lo que agregan a nuestra comprensión de la literatura científica. Tanto Eigenfactor como SJR se basan en el número de citas que una revista recibe de otras revistas, ponderadas por su importancia, de modo que las citas de revistas importantes como Nature reciben más peso que los títulos menos importantes. Más adelante, se describe exactamente cómo una revista deriva su importancia de la red. En contraste, métricas como el Factor de Impacto no ponderan las citas: una citación vale una cita, cualquiera que sea la fuente. En este sentido, el Eigenfactor y el SJR se acercan a medir la importancia como un fenómeno social, donde las personas influyentes tienen más influencia sobre el curso de los negocios, la política, el entretenimiento y las artes. Para el Factor de Impacto, la importancia se compara con la popularidad. Eigenfactor y SJR se basan en el cálculo de algo llamado centralidad <https://en.wikipedia.org/wiki/Centrality> eigenvector <https://en.wikipedia.org/wiki/Centrality> , un concepto matemático que se desarrolló para entender las redes sociales y se aplicó por primera vez en la medición de la influencia de la revista a mediados de los años setenta. El PageRank de Google se basa en el mismo concepto. La centralidad del vector propio (Eigenvector centrality) se calcula recursivamente, de tal manera que los valores se transfieren de una revista a otra en la red hasta que se alcanza una solución de estado estacionario (también conocida como equilibrio). A menudo se utilizan 100 o más iteraciones antes de que los valores se vuelvan estables. Como un ecosistema herméticamente sellado, el valor no se crea ni se destruye, simplemente se mueve alrededor. Hay dos metáforas utilizadas para describir este proceso: el primero concibe el sistema como una red fluida, donde el agua drena de un estanque (revista) al siguiente mediante los tributarios de la citación. Con el tiempo, el agua comienza a acumularse en revistas de alta influencia, mientras que otras empiezan a drenarse. La otra metáfora concibe a un investigador que toma un paseo al azar de una revista a otra por medio de citas. Las revistas visitadas con mayor frecuencia por el investigador errante se consideran más influyentes. Sin embargo, ambos modelos se descomponen (matemáticamente y figurativamente) en la vida real. Usando la analogía del fluido, algunos estanques pueden estar desconectados de la mayor parte de la red de estanques; si solamente hay una corriente alimentando esta red en gran parte desconectada, el agua entrará, pero no se agotará. Después del tiempo, estos estanques pueden hincharse hasta convertirse en lagos inmensos, cuyo tamaño es asombrosamente desproporcionado a sus valores iniciales. Utilizando la analogía del paseo aleatorio, un investigador puede quedar atrapado errante en una colección altamente especializada de revistas que frecuentemente se citan entre sí, pero que rara vez citan revistas fuera de su camarilla. Antes de continuar en detalles y diferencias, permítanme resumir hasta ahora: Eigenfactor y SJR son ambas métricas que se basan en la computación, a través de la ponderación iterativa, la influencia de una revista basada en toda la red de citas. Se diferencian de las métricas tradicionales, como el Factor de Impacto, que simplemente calculan una puntuación de cita en bruto. En la práctica, la centralidad de vectores propios (eigenvector centrality ) se calcula sobre una matriz de adyacencia ( <http://mathworld.wolfram.com/AdjacencyMatrix.html> adjacency matrix) que enumera todas las revistas de la red y el número de citas que tuvieron lugar entre ellas. La mayoría de los valores de esta muy grande tabla son cero, pero algunos contendrán valores muy altos, representando grandes flujos de citas entre algunas revistas, por ejemplo, entre el NEJM, JAMA, The Lancet y BMJ. El resultado de la computación -una transferencia de valores ponderados de una revista a la siguiente con un centenar o más- representa la influencia de una revista, que a menudo se expresa como un porcentaje de la influencia total en la red. Por ejemplo, el Eigenfactor de la revista Nature en 2014 fue de 1,50, lo que significa que esta revista representó el 1,5% de la influencia total de toda la red de citas. En comparación, una revista especializada más pequeña, AJP-Renal Physiology, recibió un Eigenfactor de 0.028. En contraste, el Eigenfactor de PLOS ONE fue más grande que el de Nature (1.53) como resultado de su inmenso tamaño. Recuerde que Eigenfactor mide la influencia total en la red de citas, por lo que lo grande a menudo se traduce en gran influencia. Cuando el Eigenfactor es ajustado al número de artículos publicados en cada revista, esto se llama la Article Influence Score (Puntuación de la Influencia del Artículo). Esto es similar al SJR de SCImago. Por lo tanto, mientras que PLOS ONE tuvo un inmenso Eigenfactor, su puntaje de Influencia del Artículo fue de sólo 1,2 (cerca del rendimiento promedio), en comparación con el 21,9 para Nature y 1,1 para AJP-Renal Physiology. En 2015, Thomson Reuters (ahora Clarivate Analytics) comenzó a publicar un Eigenfactor normalizado (Normalized Eigenfactor) que expresa el Eigenfactor como un valor multiplicativo en lugar de un porcentaje. Una revista con un valor de 2 tiene el doble de influencia que la revista promedio de la red, cuyo valor sería uno. El Normalized Eigenfactor de Nature fue 167, PLOS ONE de 171, mientras que AJP-Renal Physiology de 3. Hay varias diferencias en el cálculo del Eigenfactor y SJR, lo que significa que no pueden ser utilizados indistintamente: 1. Tamaño de la red. Eigenfactor se basa en la red de citas de poco más de 11,000 revistas indexadas por Thomson Reuters, mientras que el SJR se basa en más de 21.000 revistas indexadas en la base de datos de Scopus. Diferentes redes de citas resultarán en diferentes valores eigen. 2. Ventana de citas. Eigenfactor se basa en las citas hechas en un año dado a los documentos publicados en los cinco años anteriores, mientras que el SJR utiliza una ventana de tres años. Los creadores de Eigenfactor sostienen que cinco años de datos reducen la volatilidad de su métrica de año en año, mientras que los creadores de la SJR argumentan que una ventana de tres años capta la cita máxima para la mayoría de los campos y es más sensible a la naturaleza cambiante de la literatura. 1. Autocitación. Eigenfactor elimina la auto-citación, mientras que SJR permite la auto-citación, pero la limita a no más de un tercio de todas las citas entrantes. Los creadores de Eigenfactor argumentan que la eliminación de la autocitación desincentiva los malos comportamientos de la referencia, mientras que los creadores de la SJR argumentan que la autocitación forma parte del comportamiento normal de la citación y desea capturarla. Existen otras pequeñas diferencias, como el factor de escala (una constante que define la cantidad de "evaporación" o "teletransporte") que tiene lugar en cada iteración. Si bien ambos grupos proporcionan una descripción completa de su algoritmo (Eigenfactor <http://www.jevinwest.org/Documents/JournalPseudocode_EF.pdf> aquí , SJR <http://www.scimagojr.com/SCImagoJournalRank.pdf> aquí ) es bastante claro que pocos de nosotros (editores, editores, autores) vamos a replicar su trabajo. De hecho, estos protocolos suponen que usted ya ha indexado decenas de miles de revistas publicando varios millones de documentos que enlistan decenas de millones de citas antes de comenzar a armar su matriz de adyacencia. Y no, Excel no tiene una macro simple para calcular valores propios (eigenvalues). Así, mientras que cada grupo es totalmente transparente en sus métodos, la enormidad y complejidad de la tarea impide que no seamos todos nosotros sino solamente los dos mayores indexadores, los únicos capaces de replicar sus resultados. Un editor de revista realmente no tiene más remedio que aceptar los números que le fueron proporcionados. Si ud. analiza los resultados de las revistas, notará que las revistas con el Factor de Impacto más alto también tienen la mayor Influencia del Artículo (Article Influence) y mayores puntuaciones de SJR, conduciéndonos a cuestionar si la popularidad en la ciencia realmente mide el mismo constructo subyacente como influencia. Massimo Francechet <http://www.sciencedirect.com/science/article/pii/S1751157709000698> informa que, para las ciencias biomédicas, las ciencias sociales y las geociencias, los Factores de Impacto de 5 años se correlacionan fuertemente con los Índices de Influencia del Artículo (Article Influence), pero difieren más en la física, la ciencia de materiales, la ciencia de la computación y la ingeniería. Para estos campos, las revistas pueden desempeñar bien una métrica pero pobremente en la otra. En otro <http://www.sciencedirect.com/science/article/pii/S1751157710000246> artículo centrado en el SJR, los autores señalaron algunos de los mayores cambios en el ranking de revistas, e informaron que los valores eigen (eigenvalues) tendieron a concentrarse en menos revistas (prestigiosas). Teniendo en cuenta cómo se calcula la métrica, esto no debería sorprender. En conclusión, el análisis de citas basado en redes puede ayudarnos a medir más de cerca la influencia científica. Sin embargo, el proceso es complejo, no es fácilmente replicable, más difícil de describir y, para la mayoría de las revistas, nos da el mismo resultado que muchos métodos más simples. Incluso si no se adoptan ampliamente para fines de presentación de informes, el Eigenfactor y SJR pueden utilizarse con fines de detección, como la identificación de <https://scholarlykitchen.sspnet.org/2012/04/10/emergence-of-a-citation-cartel/> cárteles de citación ( <https://scholarlykitchen.sspnet.org/2012/04/10/emergence-of-a-citation-cartel/> https://scholarlykitchen.sspnet.org/2012/04/10/emergence-of-a-citation-cartel/) y otras formas de colusión de citas que son muy difíciles de detectar utilizando métodos tradicionales de conteo, pero que pueden ser altamente visibles en el análisis basado en redes. 000009.html 000010.html 000011.html 000012.html 000013.html author.html date.html index.html subject.html thread.html Publicado <https://scholarlykitchen.sspnet.org/2015/07/28/network-based-citation-metrics-eigenfactor-v> en The Scholarly Kitchen Network-based Citation Metrics: Eigenfactor vs. SJR ï‚· By Phil Davis <https://scholarlykitchen.sspnet.org/author/pmd8/> ï‚· Jul 28, 2015 Is the influence of a journal best measured by the number of citations it attracts or by the citations it attracts from other influential journals? The purpose of this post is to describe, in plain English, two network-based citation metrics: Eigenfactor[1] and SCImago Journal Rank (SJR)[2], compare their differences, and evaluate what they add to our understanding of the scientific literature. Both Eigenfactor and SJR are based on the number of citations a journal receives from other journals, weighted by their importance, such that citations from important journals like Nature are given more weight than less important titles. Later in this post, I’ll describe exactly how a journal derives its importance from the network. In contrast, metrics like the Impact Factor do not weight citations: one citation is worth one citation, whatever the source. In this sense, the Eigenfactor and SJR get closer to measuring importance as a social phenomenon, where influential people hold more sway over the course of business, politics, entertainment and the arts. For the Impact Factor, importance is equated with popularity. Eigenfactor and SJR are both based on calculating something called eigenvector <https://en.wikipedia.org/wiki/Centrality> centrality, a mathematical concept that was developed to understand social networks and first applied to measuring journal influence in the mid-seventies. Google’s PageRank is based on the same concept. Eigenvector centrality is calculated recursively, such that values are transferred from one journal to another in the network until a steady-state solution (also known as an equilibrium) is reached. Often 100 or so iterations are used before values become stable. Like a hermetically sealed ecosystem, value is neither created nor destroyed, just moved around. There are two metaphors used to describe this process: The first conceives of the system as a fluid network, where water drains from one pond (journal) to the next along citation tributaries. Over time, water starts accumulating in journals of high influence while others begin to drain. The other metaphor conceives of a researcher taking a random walk from one journal to the next by way of citations. Journals visited more frequently by the wandering researcher are considered more influential. However, both of these models break down (mathematically and figuratively) in real life. Using the fluid analogy, some ponds may be disconnected from most of the network of ponds; if there is just one stream feeding this largely-disconnected network, water will flow in, but will not drain out. After time, these ponds may swell to immense lakes, whose size is staggeringly disproportionate to their starting values. Using the random walk analogy, a researcher may be trapped wandering among a highly specialized collection of journals that frequently cite each other but rarely cite journals outside of their clique. The eigenvector centrality algorithm can adjust for this problem by “evaporating” some of the water in each iteration and redistributing these values back to the network as rain. Similarly, the random walk analogy uses a “teleport” concept, where the researcher may be transported randomly to another journal in the system–think of Scotty transporting Captain Kirk back to the Enterprise before immediately beaming him down to another planet. Before I continue into details and differences, let me summarize thus far: Eigenfactor and SJR are both metrics that rely on computing, through iterative weighting, the influence of a journal based on the entire citation network. They differ from traditional metrics, like the Impact Factor, that simply compute a raw citation score. In practice, eigenvector centrality is calculated upon an adjacency <http://mathworld.wolfram.com/AdjacencyMatrix.html> matrix listing all of the journals in the network and the number of citations that took place between them. Most of the values in this very large table are zero, but some will contain very high values, representing large flows of citations between some journals, for instance, between the NEJM, JAMA, The Lancet, and BMJ. The result of the computation–a transfer of weighted values from one journal to the next over one hundred or so iterations–represents the influence of a journal, which is often expressed as a percentage of the total influence in the network. For example, Nature‘s 2014 Eigenfactor was 1.50, meaning that this one journal represented 1.5% of the total influence of the entire citation network. In comparison, a smaller, specialized journal, AJP-Renal Physiology, received an Eigenfactor of 0.028. In contrast, PLOS ONE’s Eigenfactor was larger than Nature’s (1.53) as a result of its immense size. Remember that Eigenfactor measures total influence in the citation network, so big often translates to big influence. When the Eigenfactor is adjusted for the number of papers published in each journal, it is called the Article Influence Score. This is similar to SCImago’s SJR. So, while PLOS ONE had an immense Eigenfactor, its Article Influence Score was just 1.2 (close to average performance), compared to 21.9 for Nature and 1.1 for AJP-Renal Physiology. In 2015, Thomson Reuters began publishing a Normalized Eigenfactor, which expresses the Eigenfactor as a multiplicative value rather than a percent. A journal with a value of 2 has twice as much influence as the average journal in the network, whose value would be one. Nature‘s Normalized Eigenfactor was 167, PLOS ONE was 171, while AJP-Renal Physiology was 3. There are several differences between how the Eigenfactor and SJR are both calculated, meaning they cannot be used interchangeably: 1. Size of the network. Eigenfactor is based on the citation network of just over 11,000 journals indexed by Thomson Reuters, whereas the SJR is based on over 21,000 journals indexed in the Scopus database. Different citation networks will result in different eigenvalues. 2. Citation window. Eigenfactor is based on citations made in a given year to papers published in the prior five years, while the SJR uses a three-year window. The creators of Eigenfactor argue that five years of data reduces the volatility of their metric from year to year, while the creators of the SJR argue that a three-year window captures peak citation for most fields and is more sensitive to the changing nature of the literature. 3. Self-citation. Eigenfactor eliminates self-citation, while SJR allows self-citation but limits it to no more than one-third of all incoming citations. The creators of Eigenfactor argue that eliminating self-citation disincentivizes bad referencing behavior, while the creators of the SJR argue that self-citation is part of normal citation behavior and wish to capture it. There are other small differences, such as the scaling factor (a constant that defines how much “evaporation”or “teleporting”) that takes place in each iteration. While both groups provide a full description of their algorithm (Eigenfactor here <http://www.jevinwest.org/Documents/JournalPseudocode_EF.pdf> ; SJR here <http://www.scimagojr.com/SCImagoJournalRank.pdf> ) it is pretty clear that few of us (publishers, editors, authors) are going to replicate their work. Indeed, these protocols assume that you’ve already indexed tens of thousands of journals publishing several million papers listing tens of millions of citations before you even begin to assemble your adjacency matrix. And no, Excel doesn’t have a simple macro for calculating eigenvalues. So while each group is fully transparent in its methods, the shear enormity and complexity of the task prevents all but the two largest indexers from replicating their results. A journal editor really has no recourse but to accept the numbers provided to him. If you scan performances of journals, you’ll notice that journals with the highest Impact Factor also have the highest Article Influence and SJR scores, leaving one to question whether popularity in science really measures the same underlying construct as influence. Writing in the Journal of Informetrics, Massimo Francechet reports <http://dx.doi.org/10.1016/j.joi.2009.08.001> that for the biomedical, social sciences, and geosciences, 5-yr Impact Factors correlate strongly with Article Influence Scores, but diverge more for physics, material sciences, computer sciences, and engineering. For these fields, journals may perform well one one metric but poorly on the other. In another paper <http://dx.doi.org/10.1016/j.joi.2010.03.002> focusing on the SJR, the authors noted some major changes in the ranking of journals, and reported that eigenvalues tended to concentrate in fewer (prestigious) journals. Considering how the metric is calculated, this should not be surprising. In conclusion, network-based citation analysis can help us more closely measure scientific influence. However, the process is complex, not easily replicable, harder to describe and, for most journals, gives us the same result as much simpler methods. Even if not widely adopted for reporting purposes, the Eigenfactor and SJR may be used for detection purposes, such as identifying citation cartels <https://scholarlykitchen.sspnet.org/2012/04/10/emergence-of-a-citation-cartel/> and other forms of citation collusion that are very difficult to detect using traditional counting methods, but may become highly visible using network-based analysis. Notes: 1. Eigenfactor (and Article Influence) are terms trademarked by the University of Washington. Eigenfactors and Article Influence scores are published in the Journal Citation Report (Thomson Reuters) each June and are posted freely on the Eigenfactor.org <http://eigenfactor.org/> website after a six-month embargo. To date, the University of Washington has not received any licensing revenue from Eigenfactor metrics. 2. The SCImago Journal & Country Rank is based on Scopus data (Elsevier) and made freely available from: http://www.scimagojr.com/

-- Este mensaje le ha llegado mediante el servicio de correo electronico que ofrece Infomed para respaldar el cumplimiento de las misiones del Sistema Nacional de Salud. La persona que envia este correo asume el compromiso de usar el servicio a tales fines y cumplir con las regulaciones establecidas

Infomed: http://www.sld.cu/ ------------ próxima parte ------------ Se ha borrado un adjunto en formato HTML... URL: <http://listas.red.sld.cu/pipermail/fcmjtrigo/attachments/20170603/4c693a84/attachment-0001.html> ------------ próxima parte ------------ An embedded and charset-unspecified text was scrubbed... Name: Datos adjuntos sin título 00172.txt URL: <http://listas.red.sld.cu/pipermail/fcmjtrigo/attachments/20170603/4c693a84/attachment-0002.txt> ------------ próxima parte ------------ An embedded and charset-unspecified text was scrubbed... Name: ATT00074.txt URL: <http://listas.red.sld.cu/pipermail/fcmjtrigo/attachments/20170603/4c693a84/attachment-0003.txt>