期刊超越指數的發明人究竟是誰?
Free-Writon
一、導讀
每年的年末,牽動國內科研界神經的定時器總會響起,有的人興奮不已,有的人沮喪萬分,興奮的幸運兒為自己“投資”的某本新刊或潛力刊而激動;沮喪的人兒則各不相同,有的按照以往的經驗“押”了某本老刊,有的按照期刊宣傳的自我定位“賭”了某本新刊,但最終都以“跌停”示人,確實,一旦被劃入“跌”的行列,未來的一年里,期刊面臨稿源減少的風險大大增加。
沒錯,看到這里,大家心領神會又無奈的笑了笑,接著又不自主的查看最新的它是不是又有新變化——《中國科學院文獻情報中心期刊分區表》(以下簡稱“分區表”)。
最近,大家伙可能都或多或少知道了某些期刊被迅速“升區”的事件,也基本都了解新的分區表開始正式采用“期刊超越指數”來進行期刊的分區,不過,有幾個關鍵點大家似乎都忽視了,那就是:
1.“期刊超越指數”算法的提出者是誰?
2.這一指數的英文名稱是什么?
畢竟,提起影響因子,大伙兒通常都用IF來代替,也基本都了解IF代表的是impact factor,而IF概念的提出者是美國科學情報研究所(ISI)的創始人尤金?加菲爾德(Eugene Garfield),如圖1,最早的論文于1955年發表在Science上。
圖1?影響因子的提出(Science, 122(3159), 108-111.)
二、2018年的“紛爭”
2018年11月19日,中科院文獻情報中心的一條新聞發布,其中指出“我中心發布《中科院期刊分區表》學科體系預案(物理學領域)。這項工作是我中心的一項課題研究,起始于2004年,目的是為科研人員了解本領域學術期刊的影響力以及期刊評價工作提供參考。相關成果發布雖冠以“中科院”名義,但并未經授權,我們對此深表歉意,并將在以后的工作中予以改正。”
?多年以前的這次冠名爭議的導火索源自2018年11月9日發布的《2018年中科院期刊大類分區方法說明》(以下簡稱“分區方法說明”),其主要目的是:“不同學科期刊的影響因子得分存在量綱差異,歸一化這種差異是中科院期刊分區的基本思路。”即,通過在大類一級學科內生成二級學科,再根據二級學科的得分對一級學科進行歸一化處理,最后計算一級學科的期刊分區。
不過,這篇報道里的一個細節卻徹底激怒了物理學界,即:大類“物理與天體物理學”形成10個二級學科:物理綜合、粒子物理、凝聚態物理、激光與等離子物理、光學、數學物理、統計物理、聲學、量子信息、天文學和天體物理。其中,“核物理”消失不見,從而引發了前述的“紛爭”,據相關資料顯示,當時的這一學科分類招致國內物理學界的巨大反響。也就是從那時起,曾經以《XXXX年版中科院期刊分區》冠名的分區表改為了《XXXX年中國科學院文獻情報中心期刊分區表》,也就是從“中科院”變成了分區表的研制機構,不過,在2018年后至今的很多媒體報道中依舊以《中科院期刊分區表》指代“分區表”,而中國科學院文獻情報中心似乎也沒有發布進一步的聲明來更正這種不準確的行為。
不過,令人不解的是,某機構的下屬單位對外發布信息時,能否不經授權直接冠以“某機構XXXX”則是模糊的存在,這種現象在很多科技活動中經常遇到。
也就是從2018年末,一場期刊分區的改革即將誕生。?當時的分區方法說明里的很多關鍵性表述其實早就預示了未來“超越指數”的發展方向,即:“二級學科主要是根據期刊引用關系生成,二級學科間研究內容不同、引用行為有別,期刊的影響因子存在數值差異”。
簡而言之,就是將期刊發表論文的研究主題通過聚類分析后,在其所屬的二級學科內采用之前的大類分區法分區,最后把學科大類下的各二級學科包含的一區到四區期刊核算完畢后,分別匯總成為最終的大類分區。
這一改革的初衷是很好的,即彰顯了相同研究領域內期刊的差異化,杜絕了舊模式下直接按照期刊所屬的大類學科劃分的弊端。
但是,這一模式的一個核心弱點是“每本期刊只屬于一個大類,且只屬于一個二級學科”。
三、2019年的“升級”
2019年末,2019版分區表的發布預示著幾大重要改革的推出,其中,最關鍵的兩點為:
1)突出支持本土品牌期刊國際化的導向,形成了“中國SCI期刊評價方案”,即,調整提升中國期刊入選高區位的比例、擴大中國期刊入選基數(吸納中國ESCI期刊進入分區表評價范圍)和提升弱勢學科期刊分區結果等。
2)提出了“升級版方案”:旨在解決期刊學科體系劃分與學科發展以及融合趨勢的不相容問題。由于學科交叉在當代科研活動的趨勢愈發顯著,學科體系構建容易引發爭議。 “升級版方案”首先構建了論文層級的主題體系,然后分別計算每篇論文在所屬主題的影響力,最后匯總各期刊每篇論文分值,得到“期刊超越指數”,作為分區依據。
至此,新分區表的兩大關鍵改革浮出水面:扶持本土、采用超越指數。
正是因為當初依靠引證關系得出的“二級學科期刊分類法”造成的“核物理”被“粒子物理”吞并,從而促使分區表團隊改由期刊層面的學科分類轉向論文層面的研究主題影響力,即“主題歸一化的引證超越指數”。
那么,問題來了,期刊超越指數的英文表述是什么?最早提出者是誰?
四、期刊超越指數FNCSI
2017年,Journal of Informetrics上發表了一篇論文,這篇到目前僅僅被引用29次的論文卻掀開了國內期刊評價體系改革的浪潮,不過,該論文的作者并非來自國內,而是來自美國印第安納大學和以色列巴-伊蘭大學的三位學者。
圖2超越指數CSI的提出
該論文的摘要中寫道“Citation success index is the probability that a random paper in one?journal has more citations than a random paper in another journal (50% means the two?journals do equally well).”(CSI指數是一本期刊上隨機抽取的論文比另一本期刊上隨機抽取的論文有更多引用的概率(50%意味著兩本期刊做得一樣好))。
而期刊超越指數的含義是:隨機從一本期刊中選擇一篇論文,該論文的引用次數大于從其他期刊隨機抽取的一篇相同主題、相同文獻類型的論文引用數的概率。
根據上述對比,我們清楚的看到,分區表采用的“期刊超越指數”的算法本質來自于Journal of Informetrics?11 (2017) 223–231提出的CSI,而分區表則進一步融入了基于論文層級的主題來拓展這一算法的應用,即所謂主題歸一化的CSI指數,當筆者看到2017年這篇論文時,試著搜索相關論文找到了來自分區表團隊發布在預印本平臺arXiv的成果:
這篇論文中所說的Field Normalized Citation?Success Index (FNCSI)應該指代的就是我們廣泛采用的“期刊超越指數”的英文名稱及簡稱。
不過,筆者在分區表公眾號內檢索,常常見到“提出期刊超越指數”的表述,而在前不久的媒體采訪報道中,則又改稱“采用期刊超越指數”,而在很多媒體的報道中,又總表述為“首次提出期刊超越指數”,筆者以為,關于期刊超越指數的報道,應當采用類似如下的表述:“采用國外學者提出的citation success index算法,并進一步融合了論文主題層面的考量,最終形成了期刊超越指數(FNCSI)。”
特別需要指出的是,期刊超越指數的英文表述應當被標注在其介紹文本中,這有利于廣大學者更好、更全面的理解這一指數的內涵與外延。其實,Elsevier在2022年發表的一篇新聞報道中,就對分區表采用了如下的表述“As an evolving analysis tool, in 2019 the CAS Journal Ranking developed a new indicator to assess a journal’s impact: the Citation Success Index (CSI)”,其實,這篇報道直接采用CSI指數指代分區表采用的期刊超越指數也不嚴謹,更確切的表述應為FNCSI。
不過,分區表團隊確實也對CSI指數的發展有一定貢獻:
在上述2017年論文發表后,分區表團隊隨即發表了一篇Correspondence,即從對數正態分布的角度解釋了上述論文中出現的IF和CSI之間的特定關系現象。(In this work, we show that such a log-normal form is the cause for the specific relation between the IFs ratio and CSI.)
五、2022“分區調整鬧劇”
最后,我們來聊一聊前不久的分區調整鬧劇,從物質科學有關的期刊變動來看,材料和化學領域都有不小的變動,例如:
2升1:Nano Today、npj Materials Degradation;
4升2:Small Structures、Ecomat
4升3:Materials Today Sustainability
3升2:Liquid Crystals?Reviews、Progress in Natural Science-Materials International
2022年,這幾本期刊的年發文數分別為:Nano Today(264)、npj Materials Degradation(95)、Small Structures(132)、Ecomat(112)、Materials Today Sustainability(158)、Liquid Crystal Reviews(7)、Progress in Natural Science-Materials International(77),從以上數字我們發現,這些期刊都屬于發文較少的小型期刊,有的是比較知名的老牌期刊,有的是國內創辦的期刊,也有的是國際著名出版社出版的新刊,但發文數都不多。
那么,假如分區調整鬧劇不是出自于人為的故意為之,就可能預示著這一指數可能存在某些天然的瑕疵,例如,當期刊發文數較少時,很可能出現偏差。
此外,基于文章主題層面的期刊評價體系表面上是更加重視細分領域的聚類關系,表面上體現了期刊的多學科特征,但其實這也很可能會不利于未來的多學科深度融合,因為深度融合場景下,學科間“你中有我,我中有你”,人為采用算法聚類是否科學仍有待深入的學術探討,因為算法不一定真的揭示了某事物的實際發展狀態,算法得到結果的準確度高度依賴于對論文主題文本篩選過程的精確度,而這一計算模式的審核機制可能比單純依靠引證關系得到IF的計算模式難度更大,當初導致兩個重要物理學分支的學科歸屬紛爭其實就是例證。
實際上,越來越多的期刊正朝著學科泛化的道路發展,同很多年前的學科細分不同。當下,幾乎任何一個學科的發展都或多或少會借鑒其他學科的思維,例如,能源材料領域是物質科學旗下多個學科的深度交叉的產物,越來越多的傳統物理期刊正出版更多的與材料化學交叉的成果,一個最直接的例證就是前不久,美國物理學會出版社APS調整了旗下期刊投稿和發表中研究領域的分類,眾所周知,APS應該是眾多學術出版社中特別低調、傳統的代表,但面對傳統物理學同其他學科的不斷融合,最終也不得不與時俱進,因而,表面上的引證聚類可能多數論文依舊“物理”,但論文的內容里早就“材料化”,但卻無法體現在聚類分析里。
?影響因子最大的問題是平均化,容易被少數高被引文章左右,但是,當期刊發文數足夠多時,這個問題其實并不會影響對期刊的整體評價。相反,如果一本傳統細分領域的期刊發表的成果得到更多領域的引用和關注,高IF進一步證明了其影響力的提高。然而,當期刊發文數較少,或者即使發文量較多但學科歸屬較分散時,FNCSI是否會得到“畸形”的分區結論則是一個需要不斷論證的學術問題。
?其實,分區表團隊曾經在其文章中早就明確指出“爭議大的期刊,多為覆蓋主題多,既有表現高于平均水平的主題,也有表現低于平均水平的”,只不過后來幾乎很少提及罷了。
?當然,如果這種調整是人為而非算法偏差導致的,則又是另一個故事了,不過,由于缺少足夠的證據支撐,筆者在此不做評判,歡迎各位讀者提出新的見解。
六、分區表的影響力
分區表的影響力是個很有趣的話題,很多出版社的公眾號在介紹期刊時只標注IF和CiteScore,但也有少數幾個出版社特意標出了分區表的分區結果。至于國際各大出版社的期刊主頁,幾乎很難看到標注有分區表排名的信息。不過,很多年前,有一本期刊曾經在主頁顯眼的位置寫著“被分區表劃分為1區”的英文表述,這本期刊就是陶瓷領域的著名期刊Journal of the American Ceramic Society,不過,筆者當時并沒有截圖, 只能靠記憶回想了。
分區表真正的最大影響力應當是出版社如何應對國內學者的投稿“好惡”。2022年,Elsevier發表的報道中,有這么一張圖:
圖3 國內學者對不同期刊評價指標的看重程度 ??Elsevier
圖3顯示了分區表是國內學者在論文投稿挑選目標期刊時的首要考慮因素,而出版社為了應對這種情形,也提出了相應的應對措施:(見https://www.elsevier.com/connect/behind-the-rising-influence-of-chinese-research?)
1)花時間了解作者在中國的決策過程;
2)擴大您在中國的學術網絡,并與關鍵個人和社群建立長期關系;
3)確保編委會的組成反映了中國內容的重要性,以鼓勵投稿,使您的期刊真正具有國際合作性,能識別中國的新興趨勢,并擁有一批能夠很好地審閱論文的審稿人;
4)關注專門的中國作者投稿市場(認識到微信等社交媒體渠道的重要性),包括量身定制的作者研討會;
5)關注編輯和制作實踐,以吸引中國讀者,包括優先考慮出版速度的實踐,并在適當的情況下,融入語言編輯。
七、結語
分區表的迭代其實是文獻情報領域的多次學術嘗試,從學術角度而言,確實是一種新的思路,值得提倡。
然而,由于國內相當多機構都采用這一標準來評價研究人員的科研產出與績效,盡管幾乎所有人都知道,期刊排名和論文水平不是等號,但幾乎所有人都會因為發表了一篇1區期刊論文而歡喜不已,這一悖論的核心原因是因為它可能決定了學生能否畢業,老師能否養家糊口,機構能否拿到撥款。期刊排名早已演變為比大學排名更瘋狂的指數,無論學術界迭代出何種新的指數都絕對存在其各自致命的弱點,能更加公開、透明的向學術共同體公開這種弱點其實是期刊排名機構最大的社會責任。
?影響因子弊端很多,但,有一個優勢幾乎無可取代:算法簡便。
學過物理的都知道,經典的公式都具有簡潔、優雅的特點,而影響因子恰如其分的符合這一特質。更重要的是,公式的變量足夠少,即使容易被操控,但也很容易被發現,反過來卻能對期刊的不當行為進行約束。
著名經濟學定律Goodhart's law曾指出,“當一個政策變成目標時,它將不再是一個好的政策”,這可能是對各種期刊排名最好的注解吧。
本文由Free-Writon撰寫。
文章評論(0)