Ushma Neill是紀(jì)念斯隆—凱特琳癌癥中心（MSKCC）科學(xué)教育與培訓(xùn)部門的副主席，她提出，決定頂級(jí)科研機(jī)構(gòu)做出雇傭和晉升，以及資金支持決議的一個(gè)問(wèn)題是：“候選人是否將會(huì)到達(dá)其所在領(lǐng)域的最前沿？”她表示，最重要的一點(diǎn)是這些科研組織需要能夠促進(jìn)科學(xué)向前發(fā)展的成員。她說(shuō)，一般而言，評(píng)估候選人潛力的方法，通常在很大程度上是出于“直覺(jué)”，但這種情況正在發(fā)生改變。
對(duì)學(xué)科的影響仍然主要是通過(guò)發(fā)表作品來(lái)衡量。盡管高校不會(huì)為雇傭或者晉升設(shè)置發(fā)表作品數(shù)量，因?yàn)閲?yán)格數(shù)量的限制并不能反映出作者的學(xué)術(shù)貢獻(xiàn)，也無(wú)法反映出發(fā)表作品是研究綜述還是原創(chuàng)發(fā)現(xiàn)。另外，不同領(lǐng)域因其工作形式不同也無(wú)法一概而論。有些領(lǐng)域看重同行評(píng)議和會(huì)議論文，有些則強(qiáng)調(diào)書籍和專著。非正式研討會(huì)議會(huì)提出每年目標(biāo)，比如博士后人員發(fā)表幾份，而正式成員要發(fā)表五份或者更多。然而，Neill指出，質(zhì)量遠(yuǎn)遠(yuǎn)要比數(shù)量更重要。一項(xiàng)綜合的、被廣泛征引的研究比起從一個(gè)單獨(dú)項(xiàng)目中摘下多篇次要文章更有價(jià)值。
丹麥哥本哈根大學(xué)理學(xué)院負(fù)責(zé)科研工作的副院長(zhǎng)Morten Pejrup說(shuō)，學(xué)術(shù)影響力還通過(guò)顧問(wèn)和同行推薦以及研究、指導(dǎo)和教學(xué)獎(jiǎng)項(xiàng)來(lái)衡量。但他說(shuō)，這些“老派的方法”可以輔之以新的工具。
超越傳統(tǒng)衡量方法
在對(duì)求職者進(jìn)行評(píng)估時(shí)，Pejrup會(huì)檢查Scopus，這是一個(gè)經(jīng)過(guò)同行評(píng)議的期刊文章、著作和會(huì)議記錄組成的訂閱數(shù)據(jù)庫(kù)系統(tǒng)。“你可以看到引用、期刊影響因子以及作者的排序，”他說(shuō)。“但你也可以看到，一個(gè)人是否總是與相同的人一起出版，或者是否為不同的群體做出過(guò)貢獻(xiàn)”。諸如Scopus或web of Science之類的出版物數(shù)據(jù)庫(kù)可以包括“h因子”和“m因子”等文獻(xiàn)統(tǒng)計(jì)學(xué)工具，這些工具結(jié)合了出版物和引用數(shù)量的測(cè)計(jì)方法來(lái)表征影響力大小。
哥本哈根大學(xué)理學(xué)院的高級(jí)執(zhí)行顧問(wèn)Trine Buhl Monty指出，衡量學(xué)術(shù)成果的趨勢(shì)在一定程度上是由資助者推動(dòng)的。例如，英國(guó)最近制定完成了《2014年科學(xué)研究卓越框架》（REF 2014），該決議旨在推進(jìn)大學(xué)的研究質(zhì)量及其對(duì)經(jīng)濟(jì)和社會(huì)的影響。除此之外，此項(xiàng)決議還有影響科研資金支持的功能。Buhl Monty說(shuō)，“地平線2020”（Horizon 2020）是歐盟最大的研究和創(chuàng)新資助項(xiàng)目，它強(qiáng)調(diào)與部門間伙伴合作關(guān)系以及開放科學(xué)相關(guān)的影響，以確保項(xiàng)目結(jié)束后仍會(huì)繼續(xù)發(fā)揮影響力。作為回應(yīng)，一些教師現(xiàn)在將產(chǎn)學(xué)研協(xié)作、開放獲取發(fā)表作品和開源軟件歸入“科研成果”。
華盛頓大學(xué)圣路易斯醫(yī)學(xué)院的圖書管理員Cathy Sarli專門從事科研影響力評(píng)估工作。除了出版物、引用量以及期刊影響因素（以兩年內(nèi)被引用于某一給定期刊所發(fā)表文章中的平均次數(shù)為計(jì)）之外，她的研究涉及多樣化評(píng)估。她說(shuō)，影響因素是在20世紀(jì)中期發(fā)展起來(lái)的，用來(lái)比較同行評(píng)議的期刊，而不是個(gè)別的研究者。“相關(guān)組織正在超越傳統(tǒng)的原始數(shù)據(jù)，”她說(shuō)。“他們正在利用其他指標(biāo)，開發(fā)自己的資源。”
一個(gè)例子是相對(duì)引文率（RCR），它是由美國(guó)國(guó)立衛(wèi)生研究院（NIH）最近開發(fā)的，用來(lái)衡量一篇文章的影響力。今年，NIH公布了計(jì)算這個(gè)指標(biāo)的免費(fèi)工具iCite。相對(duì)引文率可作為與同一領(lǐng)域其他論文進(jìn)行比較的指標(biāo)。這樣就可以在具有不同專業(yè)的科學(xué)家之間進(jìn)行比較，這種比較在分配內(nèi)部資源、任命主席和領(lǐng)導(dǎo)職位以及提供資金時(shí)，往往是必要的。這些決定可能需要比較“蘋果和橘子，有時(shí)是蘋果和西葫蘆，”Neill說(shuō)。
2015年，Neill和紀(jì)念斯隆—凱特琳癌癥中心的兩位同事發(fā)表了他們的方法，利用來(lái)自Scopus和其他來(lái)源的數(shù)據(jù)，對(duì)不同領(lǐng)域和不同階段的研究人員進(jìn)行考量。她解釋說(shuō)，“我們希望創(chuàng)造一個(gè)公平的競(jìng)爭(zhēng)環(huán)境，用來(lái)比較諸如結(jié)構(gòu)生物學(xué)家和外科醫(yī)生的生產(chǎn)力和影響力。”Neill指出了另一個(gè)追蹤學(xué)術(shù)生產(chǎn)力的潮流引導(dǎo)者：紐約大學(xué)Langone醫(yī)學(xué)中心。
研發(fā)儀表板和數(shù)據(jù)集系統(tǒng)
紐約大學(xué)Langone醫(yī)學(xué)中心用以追蹤學(xué)術(shù)及臨床績(jī)效的儀表板系統(tǒng)開始于2007年任命Robert Grossman為院長(zhǎng)兼CEO。Grossman想要標(biāo)準(zhǔn)化的報(bào)告來(lái)指導(dǎo)戰(zhàn)略決策。紐約大學(xué)Langone醫(yī)學(xué)中心的信息技術(shù)團(tuán)隊(duì)構(gòu)建了一個(gè)系統(tǒng)，該系統(tǒng)可以顯示來(lái)自整個(gè)組織的數(shù)據(jù)。圖形顯示了臨床評(píng)估、科研績(jī)效、教學(xué)統(tǒng)計(jì)數(shù)據(jù)以及資金支持情況。負(fù)責(zé)科研實(shí)體及戰(zhàn)略的副總裁Laura Ahlborn表示，對(duì)于衡量基礎(chǔ)研究，儀表板系統(tǒng)提供四個(gè)方面的指標(biāo)：資助、出版物、創(chuàng)新(如專利)和效率(例如，每位全職員工的生產(chǎn)率)。管理者使用儀表板來(lái)跟蹤各部門的業(yè)績(jī)，以及每一位成員。
“我們使用儀表板指標(biāo)來(lái)制定戰(zhàn)略決策，確定我們的優(yōu)勢(shì)和劣勢(shì)，并指導(dǎo)我們把時(shí)間和資源投入何處，”紐約大學(xué)Langone醫(yī)學(xué)中心負(fù)責(zé)科學(xué)研究工作的高級(jí)副主席兼副院長(zhǎng)、該中心的首席科學(xué)官Dafna Bar-Sagi表示。“儀表板顯示出一段時(shí)間內(nèi)的表現(xiàn)，所以它對(duì)監(jiān)測(cè)教師的職業(yè)軌跡也很有用，并可據(jù)此向他們提供建議。”
Ahlborn和Bar-Sagi強(qiáng)調(diào)儀表板系統(tǒng)是與人的判斷力結(jié)合使用的。“學(xué)術(shù)上的努力不能嚴(yán)格地以數(shù)字來(lái)衡量，”Bar-Sagi說(shuō)。“因此，儀表板系統(tǒng)是成員和領(lǐng)導(dǎo)之間進(jìn)行持續(xù)交流的諸種要素之一。”
兩人都表示，人們對(duì)衡量學(xué)術(shù)影響力的工具很感興趣，而且他們經(jīng)常劃定范圍要求提供有關(guān)儀表板系統(tǒng)的信息。毋庸置疑，這需要做大量工作。設(shè)置儀表板系統(tǒng)需要對(duì)基礎(chǔ)結(jié)構(gòu)進(jìn)行初始投資，并就收集哪些數(shù)據(jù)以及系統(tǒng)如何相互通信作出決定。儀表板不斷更新，包括添加“相對(duì)引文率”作為衡量指標(biāo)。Ahlborn說(shuō)，開發(fā)和維護(hù)這個(gè)資源是可行的，因?yàn)榧~約大學(xué)Langone醫(yī)學(xué)中心擁有一種量化、精確、數(shù)據(jù)驅(qū)動(dòng)的決策文化。
追蹤受訓(xùn)人員
從2006年開始，丹麥政府決定增加投入以擴(kuò)大其大學(xué)博士生的招收。學(xué)校使用了增長(zhǎng)數(shù)據(jù)（其中大部分是自生成報(bào)告數(shù)據(jù)）來(lái)追蹤他們的畢業(yè)生是如何在教育、研究、政府和其他部門找到工作的。鑒于公眾對(duì)利用納稅人的資金讓非丹麥人接受教育的關(guān)注，這些大學(xué)還要知道國(guó)際學(xué)生去了哪里，以及他們得到了什么工作。
“我們必須透明，向決策者和納稅人展示我們正在生產(chǎn)的產(chǎn)品，”Pejrup說(shuō)。“理科占了大學(xué)預(yù)算的40%。”Pejrup的部門現(xiàn)在已經(jīng)編制了兩份實(shí)質(zhì)性報(bào)告，其中載有關(guān)于碩士和博士畢業(yè)生的縱向數(shù)據(jù)：他們從事的工作、他們工作所在國(guó)家以及他們的工資。例如，通過(guò)說(shuō)明該國(guó)是否正在為國(guó)內(nèi)和國(guó)際就業(yè)市場(chǎng)培訓(xùn)適當(dāng)數(shù)量的博士人才，來(lái)為研究生課程安排、培訓(xùn)戰(zhàn)略和政策制定提供信息。
Buhl Monty說(shuō)，這些報(bào)告還有助于通過(guò)展示學(xué)術(shù)界以外的職業(yè)選擇來(lái)為博士生提供指導(dǎo)。對(duì)于想做教員的學(xué)生來(lái)說(shuō)，這些數(shù)據(jù)可以指明去到另一個(gè)國(guó)家找到工作的重要性。“它向?qū)W生展示了什么是可能的，”她說(shuō)，“并以此來(lái)調(diào)整他們的預(yù)期。”
Pejrup還在實(shí)施一項(xiàng)他評(píng)估科學(xué)貢獻(xiàn)的措施，并希望使其得到廣泛傳播。“更多的大財(cái)團(tuán)正在制作出版物，”他說(shuō)，“例如在物理學(xué)或基因組學(xué)合作方面。除非有人是第一作者，最后作者，或通訊作者，否則很難知道他們貢獻(xiàn)了什么。”在生物信息學(xué)等領(lǐng)域，發(fā)表作品可以有很長(zhǎng)的作者名單。需要知道是誰(shuí)做了最重要的工作，以此來(lái)對(duì)每一位協(xié)作者進(jìn)行評(píng)估。
Pejrup希望看到對(duì)科研貢獻(xiàn)的描述在學(xué)術(shù)報(bào)告中變得更加標(biāo)準(zhǔn)化。他一開始就要求博士論文中插入出版文獻(xiàn)作為章節(jié)，并涵括學(xué)生對(duì)文獻(xiàn)所作出的綜述。“許多期刊現(xiàn)在需要這種描述，”Pejrup說(shuō)。“將其作為公開信息，有助于人們對(duì)作者的工作進(jìn)行評(píng)價(jià)。”
個(gè)別科學(xué)家也在開發(fā)自己的績(jī)效測(cè)量指標(biāo)。在華盛頓大學(xué)水產(chǎn)和漁業(yè)科學(xué)學(xué)院，Trevor Branch副教授創(chuàng)建了一個(gè)數(shù)據(jù)庫(kù)，其中包含了他所在領(lǐng)域中被引用最多的論文。它包括一個(gè)測(cè)量標(biāo)準(zhǔn)，用于評(píng)估個(gè)人對(duì)在與多位作者進(jìn)行合作研究中所作出的貢獻(xiàn)。這個(gè)計(jì)算并不是自動(dòng)進(jìn)行的，但已經(jīng)在2016年的概念驗(yàn)證論文中進(jìn)行了測(cè)試。Branch說(shuō)數(shù)據(jù)庫(kù)主要是一種愛(ài)好，但他認(rèn)為它在戰(zhàn)略上很有用。“我是一個(gè)建模師和數(shù)據(jù)分析師，”他說(shuō)。“這個(gè)數(shù)據(jù)庫(kù)能幫我了解大局——我在哪里可以發(fā)揮最大的作用，哪些領(lǐng)域是別人感興趣的，我應(yīng)該做什么，我應(yīng)該在哪里發(fā)論文？”
聯(lián)合信息圖像和社交媒體
開羅美國(guó)大學(xué)生物信息學(xué)和基因組學(xué)副教授Ahmed Moustaf表示，為你個(gè)人的研究系統(tǒng)添加測(cè)量指標(biāo)是很簡(jiǎn)單的。在他的2013年任期檔案中就包括來(lái)自Impactstory的數(shù)據(jù)，這是一個(gè)基于網(wǎng)絡(luò)的工具，用于評(píng)估科研成果的承擔(dān)份額以及引用情況。在其在線履歷中的發(fā)表作品清單，采用Altmetric這一數(shù)字科學(xué)公司的彩色甜甜圈圖表形式，顯示出他所發(fā)表成果的傳播情況。這些評(píng)估舉措反映出了公共傳播與公眾參與，資助者和機(jī)構(gòu)現(xiàn)在將這一領(lǐng)域也納入學(xué)術(shù)成果評(píng)估體系之中。
Moustafa認(rèn)為，這些信息豐富了他的檔案材料。“這很受歡迎，”他表示。“我的評(píng)審委員會(huì)在把我的終身教職申請(qǐng)?zhí)峤唤o院系和學(xué)校的時(shí)候使用它。報(bào)告介紹了我在科學(xué)界的研究情況，并對(duì)我的工作做出了全球知名度以及重要性方面的評(píng)估。”
Moustafa說(shuō)，設(shè)置Impactstory和Altmetric這些工具不需要花費(fèi)太多時(shí)間和精力，而且更新是自動(dòng)的。他還利用這些信息向潛在的合作者做自我介紹。他指出，其所在的生命科學(xué)領(lǐng)域中，資助提議將Altmetrics或Impactstory以及其他創(chuàng)造力評(píng)估系統(tǒng)所提供的信息作為衡量標(biāo)準(zhǔn)的情況并不罕見(jiàn)。
Branch已將社交媒體活動(dòng)納入到其資助申請(qǐng)的參與計(jì)劃中，而報(bào)告卻反應(yīng)出評(píng)審人員意見(jiàn)的毀譽(yù)參半。他說(shuō)，推廣和參與可以通過(guò)多種方式進(jìn)行。一些人可能會(huì)傾向于使用社交媒體與社區(qū)互動(dòng)，但其他人可能更喜歡公共活動(dòng)、博客或其他方法。“要了解什么類型的科學(xué)推廣方式對(duì)你有用，”他說(shuō)。但是，當(dāng)你有機(jī)會(huì)推動(dòng)工作進(jìn)展時(shí)，在適當(dāng)?shù)胤接幸粋�(gè)接觸渠道會(huì)很有幫助。
當(dāng)Branch的學(xué)生Cole Monnahan在2014年發(fā)表了一份關(guān)于藍(lán)鯨的研究報(bào)告時(shí)，他們知道公眾會(huì)感興趣，所以Branch在社交媒體賬號(hào)上宣傳了這一報(bào)告。“這簡(jiǎn)直是一飛沖天，”他說(shuō)，結(jié)果是獲得了一次BBC專訪，又被其他新聞媒體采用報(bào)道。由此實(shí)現(xiàn)了面向更多公眾的傳播，但這種方法之所以有效，是因?yàn)檫@個(gè)主題是關(guān)于大型海洋哺乳動(dòng)物。“同一位學(xué)生發(fā)出一份關(guān)于統(tǒng)計(jì)方法的論文，可能會(huì)對(duì)這一領(lǐng)域產(chǎn)生更大的影響，”Branch說(shuō)，“但它不會(huì)有那么大的新聞價(jià)值。”
正確使用評(píng)估工具：始終將其置于相關(guān)信息之中
隨著學(xué)術(shù)績(jī)效評(píng)估工具的更新?lián)Q代，專家們強(qiáng)調(diào)，數(shù)量指標(biāo)只是科學(xué)影響真正發(fā)生作用的一部分。“這些測(cè)量方法從來(lái)不是在真空中使用的，”Neill表示。“它們?cè)黾恿送扑]信、教學(xué)經(jīng)驗(yàn)、科研經(jīng)費(fèi)申請(qǐng)成功率以及機(jī)構(gòu)服務(wù)情況。”一份真實(shí)的發(fā)表成果概況可能會(huì)得到候選人面試，Pejrup指出，但是被面試者對(duì)研究目標(biāo)進(jìn)行描述的能力以及談話中的印象才是真正重要的。
Sarli同樣認(rèn)為，數(shù)字和圖表是很有說(shuō)服力的，但應(yīng)該始終結(jié)合其他相關(guān)情況一起考量。當(dāng)使用文獻(xiàn)計(jì)量學(xué)或其他表征指數(shù)時(shí)，她建議提供一份關(guān)于評(píng)估工具及其局限性的描述。她說(shuō)，定量指標(biāo)應(yīng)該始終是關(guān)于你的科學(xué)影響力表征的一部分。“對(duì)于衡量績(jī)效、質(zhì)量或影響力，單獨(dú)一項(xiàng)指標(biāo)是不夠的，”她說(shuō)。“不要單單用數(shù)字來(lái)講述你的故事。”■
Chris Tachibana是美國(guó)西雅圖和丹麥哥本哈根專題科學(xué)作家。
DOI: 10.1126/science.opms.r1700173
鳴謝：“原文由美國(guó)科學(xué)促進(jìn)會(huì)（www.aaas.org）發(fā)布在2017年2月10日《科學(xué)》雜志”。官方英文版請(qǐng)見(jiàn)http://www.sciencemag.org/features/2017/02/new-tools-measuring-academic-performance。