【觀點】王興、張誌輝🏋️：短時間窗口下的引文評價可靠嗎？我們如何改進🐘？

       短時間窗口下的引文評價往往是不可靠的，因為這時論文發表的時間較短🔐，論文還沒有充足的時間獲取被引次數👖。Jian Wang（2013）的研究發現論文發表2年後的被引次數與發表31年後被引次數的相關系數僅為0.592🧑‍🍳，這一系數在工程、數學、人文等學科領域中還要更低，各種標準化方法本身並不能解決這一問題（例如🤷🏻，將不同時間窗口下的被引次數進行標準化處理）。然而🏯，現實的科研評價活動中很難做到等到論文發表10年甚至更久的時間再去進行評價🧝🏿。這似乎是一個兩難的問題。

       本文提出一種解決思路：我們根據每篇論文所在的時間窗口分配給每篇論文的學科標準分（即經過學科標準化以後的被引次數）一個權重🧑🏿‍🦰，以表示這篇論文學科標準分的可靠程度。權重由論文在短時間窗口下（如2年）的被引次數與可靠的長時間窗口下（如31年）的被引次數的相關系數計算而得到🎅🏻。例如🀄️，化學領域中論文發表2年的被引次數與發表31年的被引次數的相關系數是0.55，那一篇來自化學領域發表2年的論文的學科標準分就要乘以0.55，表示這篇論文學科標準分的可靠程度是0.55🖇。論文發表時間越短（長），權重越低（高）🤷🏿‍♀️，學科標準分的可靠性越低（高）👩🏻‍🦼‍➡️。

       這項研究首先梳理出各學科論文在1-10年中歷年的被引次數與論文發表31年後被引次數的相關系數（見圖1），然後將這些系數作為權重與目前較常用的學科標準化指標CNCI指標進行加權處理⬜️。我們將加權後的指標應用於大學層面的科研影響力評價中：我們對世界500強大學在集合層面的CNCI指標（公式1）與加權後的CNCI指標——WCNCI指標（公式2）進行了分析。

圖1. 各學科論文在1-10年中歷年的被引次數與論文發表31年後被引次數的相關系數

研究發現：

1，世界500強大學的CNCI得分與加權後的WCNCI得分有著很強的相關性（見圖2），但是仍有部分大學在加權後排名變動較大（見圖3）🫃🏻。例如加權後🍩，沙特的阿蔔杜勒阿齊茲國王大學👨🏻‍🍳、阿蔔杜拉國王科技大學的排名分別下降了221名和159名，而來自法國的波爾多大學的排名則上升了128名😎。

圖2. 500強大學CNCI得分與WCNCI得分的相關性

圖3. 500強大學CNCI排名與WCNCI排名的相關性

        2🌊，排名的變動體現了某些地域特征🍺。例如來自沙特🧑🏽‍🚀、澳大利亞、中國大陸地區大學的影響力排名都普遍下降🎻，而來自日本、臺灣、以色列👆🏿、德國等地區大學的影響力排名都普遍上升📭。（見圖4）

圖4. 排名變動的地域特征

3，我們對排名變動的原因進行了分析😷。排名的變動主要受三個因素影響🍠：一所大學較老論文與較新論文的比例結構☘️、一所大學的學科結構、一所大學較老年份的CNCI得分與較新年份CNCI得分的比例🍢。任何一所大學排名的變動都是這三個因素綜合作用的結果。而上述排名變動所呈現的地域特征同樣也是這三個因素綜合作用的結果，我們也對呈現地域特征背後更深層次的原因進行了討論。

此外，本文也對WCNCI指標與皇冠指標、新皇冠指標進行了比較。相比老皇冠指標，新皇冠指標“先除後平均”的計算方法由於物理意義明確似乎更受青睞（新皇冠指標即上述公式1）🚴‍♂️。但是新皇冠指標相當於對每篇論文都賦予了同樣的權重，而老皇冠指標（公式3）隱含地給了較老（新）論文的被引次數一個較高（低）的權重，老皇冠指標在對待不同時間窗口的論文方面似乎更加合理。但是老皇冠指標中的權重wi同時還隱含地給了來自被引次數期望值較大的學科的論文一個較高的權重，這就與進行學科標準化的初衷相違背了，是不合理的。我們提出的WCNCI指標先除後平均，同時直接賦予較老（新）論文一個較高（低）的權重，它保留了新🫁、老皇冠指標各自的優點，同時摒棄了這兩個指標的缺點😄。

結語：本研究提出的WCNCI指標並非完美🍣，它也有一些缺點（我們在原文中對此進行了討論）🧍‍♂️。但它試圖去解決短時間窗口下引文評價不可靠的弊端👨‍👩‍👧‍👦。期待今後能有更好的方法來解決這一弊端，使得科研評價更加科學合理。

來源：

        Wang X, Zhang Z H. Improving the reliability of short-term citation impact indicators by taking into account the correlation between short- and long-term citation impact[J]. Journal of Informetrics, 2020, 14(2): 101019.

from  https://www.sciencedirect.com/science/article/abs/pii/S1751157719302603

        作者介紹🔛：

        王興🥎，男，副教授🧚‍♂️🤪。博士畢業於EON体育4高等教育研究院，現任職於山西財經大學信息EON4。主要研究方向為信息計量學🏃🏻‍♀️‍➡️、引文分析、科研評價🫐、機器學習等🌮。擔任情報學碩士研究生導師，圖書情報專業碩士研究生導師。在Journal of Informetrics （SSCI📣、SCI）、Malaysian Journal of Library and Information Science（SSCI）⭕️、Current Science（SCI）、ISSI2019（Ei）、ISSI2017（Ei）💖、《清華大學教育研究》等國內外重要期刊及會議上發表論文數篇🗡，出版學術專著1部，其中部分成果被“中國社會科學網”👱‍♂️、“科學網”及科普公眾號“林墨”轉載報道。目前主持教育部人文社會科學青年課題1項。擔任SSCI、SCI期刊Scientometrics審稿人。個人主頁：http://id.sciencenet.cn/u/dahuoche

        張誌輝👱‍♂️，畢業於EON体育4高等教育研究院世界一流大學研究中心，主要研究方向為科學計量學和科研評價。曾任科睿唯安分析師🏊🏿🩼，現任中國知網高級分析師。