科研評價問題在于把無必然因果指標與其質量掛鉤


目前科研評價的問題在于,把與科研質量與沒有直接必然因果聯系的指標,作為評價科學研究質量的指標。

本來科研評價只有簡單兩條:基礎研究看在今后很多年甚至幾十,上百年研究所積累知識的影響力和傳播應用領域大;應用研究就看可以創造的經濟價值和國家安全價值。

科研評價制度本身對于基礎研究的研究者是極其殘酷的,因為他們的研究短期很難分清水平高低,古今中外這樣的事情數不勝數,愛因斯坦相對論開始也是飽受責難,準晶提出者也是一樣,不光是中國,這樣的悲苦劇不少,越是創新性高的越會出現這一問題。相對而言,對于基礎研究是評價需要一個特別困難和漫長的等待期。這也是很多基礎研究者處于現實無法被認可的困境的根本原因。

但國內創新焦慮,似乎都等不急,現在評價標準是高水平雜志意味著高水平論文,但這兩者之間并無必然聯系,只能說高水平雜志發表的論文好論文比例高一些;但是低劣論文也不在少數,包括Nature和Science等一系列這些一流雜志中,很多論文屬于博人眼球的流星論文(這是我美國教授朋友的觀點),不乏有錯誤和缺陷低價值的論文。 論文引用次數只是反映了研究的方法關注度或者使用度,但是這與科研水平是否有直接高低并無必然聯系,引用次數高的論文后來證明是錯誤的也有,最典型的的錳酸鋰電池論文引用達到幾千次超過很多諾獎論文,后來性能卻一直不穩定。引用論文次數也反映的表象,也只有長期使用后并且經過反復論證,才真正反應了研究的價值。

對于基礎研究是公正評價需要一個足夠長的時間和辯證反思才是更穩妥的方式,但是為了簡單和快速評價,現今中國的科研評價制度,卻是把這索引因子和引用次數與科研質量沒有必然聯系的指標,變成只要索引因子高引用次數高,當成就是高水平研究這樣的必然聯系。這是中國科研目前自欺欺人的最大問題,惡化整個科研環境,而且此風愈演愈烈。如果這兩者非要建立必然聯系,也應當是很多年后回過頭來篩查甄別分析其具體內容后,此時我們才能看出真正有價值的研究。

還有謬論認為高級別高因子雜志,審稿人水平高,所以論文水平就高,這次107篇論文撤稿事件,審稿造假,直接打臉這些人;實際情況是創新性高或者專業性強限制,一般審稿人的判斷是有局限的,即使高水平審稿人一時也看不出論文的缺陷,或拒絕好論文的情況很常見。

如果我們真的是在真心做科研,對于論文包括實驗研究,關心的應當是到底解決了何問題或者發現了何種新的知識。國內各種項目和人才計劃評價引進,大家不是介紹這個人提出何種理論和解決過什么問題,發現了什么現象和新知識,改進了何種方法或工藝,或者否定過什么舊理論和舊知識。而是在關心這人發表的雜志級別和索引因子,具體他的論文內容真實和正確與否,是否有缺陷,甚至都無人關心,當然很多行政管理人員根本看不懂這些論文,也判斷不出真假和好壞,本來需要同行評議,去掉了這一環節,這正是懶政的真切表現。人才計劃評價這樣做會對外行來說省事,但是這并不正確。

但是同行評議也不是完美的,實際是反而創新最強的論文,排除指標造假情況,可能開始同行評議會爭議很大,甚至是負面的,同行評議也有局限,還有國內糟糕的圈子潛規則,會使得本來相對較好的評價方式也是爭議很大。而且同行評議對于創新強的項目,一般很難達成共識。

所以唯一靠譜公正的評價方法,就是一個足夠長的時間和辯證反思的過程,來對研究內容進行同行評議。

我所研究的領域納米材料方面的論文索引因子很高,不乏錯誤的和有誤導性的論文比例更高。這些論文可以分為三類,一類很有創新性也很有價值,作者做了很多研究實驗工作,可惜這是少數。還有一類更多的是很有創新性,作者也做了很多工作,但是論述錯誤,未做深入研究分析;另一類更差一些,研究工作做的很少,完全是為了發論文和博眼球而發論文,其創新性和數據真實性也很可疑。第三類就不說了。但是第二類論文占了大多數,本來第二類的工作可以做得更好,但是國內科研評價制度的逼迫科研人員生存的要求,逼迫其把不成熟的結果發出來;而且馬上根據雜志和短期索引因子評價,而不是內容評價。但是內容評價需要很長時間,大家似乎都等不及的樣子。

這其中的教訓比如的釤鐵氮磁體研究,開始階段中國發了很多所謂高水平論文,顯示基礎研究領先,好不熱鬧,似乎大家都在同一起跑線上,日本同期也在做同樣研究,卻發高水平論文極少,但是過去20年后,釤鐵氮磁體日本有產品上市了,國內還在紙上談兵,而且大家現在都以日本研究為標桿了,我們論文研究都是言必稱與日本相比如何如何。這就可以看出務實與務虛的區別。如果日本科研管理結構也是以發所謂所謂高水平高索引論文為驅動評價,其科研人員得不到經費很難繼續其研究,肯定也無后續結果。

實際是這一基礎研究開始階段,大家都處于不完美狀態,需要打磨修補,需要一個磨練的過程,這其中變數很多,失敗可能性很大,有可能是看似好技術方案,后來發現有缺陷而夭折,或者新技術出現很快替代,這里面偶然性也很大。但是我們科研管理制度沒有給科研磨練者(實際這寫低頭低調做事的,他們是這個社會的中流砥柱和真正的精英),留出生存空間,而逼的科研人員為了計劃、帽子和經費迎合這種快餐評價方式,實際不去解決這一不完美技術的缺陷難點,卻在論文和研究課題申報中故意隱去缺陷和難點,這樣好得經費。這件事的后續長期惡果,最后肯定國內在前期不完美的技術難點上出了問題,釤鐵氮磁體研究國內就是有難點做不出來,因為難點需要花費更多時間去研究克服,一時半會看不出成績,而這樣國內就沒有了下文;而日本我們后來可以知道人家一直在低頭克服難點,而不是所謂發高水平論文和計算索引因子。

管理人員本身自身無判斷能力,而科研人員只好以自己在何種雜志發表了論文和索引因子,來忽悠了,實際管理人員沒有判斷力也很正常,真正創新性的科技開始時必然能做出正確判斷的人很少,即使技術科研人員自身圈子本身也是。

其余任何其他的評價方式都會有缺陷,包括很多人認為相對最公平的專業人員公開評審或者口碑評審,也會有專家本身水平和圈子文化潛規則大小的影響,特別有創新性的反而開始不受待見,因為大多數專家水平也達不到,高精尖的研究圈子太小,人情在中國難卻,評審水分也很大。

科研評價制度本身對于基礎研究的研究者是極其殘酷的,因為他們的研究短期很難分清水平高低,古今中外這樣的事情數不勝數。這才導致很多研究人員寫論文做科研為了迎合評價,拼湊出了SCI數量,索引因子,和高水平論文這樣的說辭,來證明自己的研究水平。這種話對于外行管理人員,是可以哄一時的,這也必然促成為了發表論文而發論文。此風氣一漲,因為基礎研究本身短期很難評價和其復雜性,大家已經麻木,本身為了探究科學技術問題寫論文發表論文的真正目的,變成了申報成果項目經費、評職稱,變成了數數字的游戲, 泡沫越來越大。這樣長此以往,不但毀掉了一代人,逼著一代人去務虛甚至造假,即使這些研究者一時得到實際利益,長期看是毀了這些人,因為人的一生精力和時間是有限的,現實是殘酷的,務虛就不能有時間務實。

或者國家是否應當對于基礎科研評價制度變得仁慈寬松一點,寬容一點。把科研經費拿出一部分來提高基礎研究者的待遇,取消職稱評定,一律按年限(可以破格,但也必須滿足研究結果數年后評價的要求),這樣降低大家為了生存和金錢利益去做科研的功利目的性,取消基礎科研大項目,分給更多創新性風險高的項目,限定一個上限,只要經費用于科研正途(符合財經法規和紀律),特別是經費少的基礎研究不要評審,只用報備,嚴格事后審計。而評審拖后至三到五年后同行評議。

基礎研究的論文延后三到五年評價或者十年同行評議再評價,這樣才可以用時間去沉淀科學研究,并分辨好壞,可以給研究者打磨完善時間,給同行評價一個成熟思考和做出正確判斷的時間。那么中國的科研評價制度才不會自欺欺人,才能日臻完善。

經過一定時間的沉淀和反思后的同行評議評價,才是對于科研評價的最終公正評價。

本文出自科學網蘇力宏老師博客,原文地址:科研評價問題在于把無必然因果指標與其質量掛鉤

材料牛編輯獲授權轉載。

分享到