摘要:[研究目的]科學合理的人文社科學術著作評價指標體系能夠為優秀成果評選、職稱評定、項目評審及人才評價等學術評價活動提供理論依據與方法參考。[研究方法]以高等學校科學研究優秀成果獎(人文社會科學)第3屆至第7屆獲著作獎的27個學科的2175本著作為對象,做指標特征分析。綜合考慮各項原則,遴選出5個一級、11個二級、28個三級評價指標,并進行學科分類。使用專家調查法、層次分析法、熵權法確定不同學科分類指標權重,完成評價指標體系的構建。以申報第8屆高等學校科學研究優秀成果獎(人文社會科學)中的人文類、社科類和綜合類的577本著作為實驗數據,對指標體系進行了實證驗證。[研究結論]哲學、社會學實證結果與實際獲獎情況比較一致,管理學則與實際獲獎相關性不高。從學科屬性、數據源等方面分析了原因,提出應加強書評數據庫建設和著作全文本分析。

　　關鍵詞:人文社科;學術著作;指標體系;補充計量學

　　0引言

　　學術著作作為學術成果的重要形式之一,具有信息量大、專業性強、學術影響力持久等特點,凝聚了著者多年的學術積淀。相比論文評價,關于學術著作評價,無論在評價理論,還是評價方法研究方面均較為薄弱,難以適應和滿足包括代表作評價在內的各類學術評價現實需求。以往學術著作的評價均以同行評議為主,甚至將同行評價作為唯一的評價方法。但同行評議具有難以克服的專家主觀性、專家知識的局限性、評價時間的制約性等缺陷。

　　隨著網絡和信息技術的發展,學術文獻撰寫、編審、出版、存儲、傳播整個流程的數字化成為發展趨勢。由于技術手段的進步,圖書綜合評價的部分指標(如下載量、閱讀量、引用率、評價數等)更易于獲取,使得在網絡條件下基于定量評價的基礎更為可靠。與此同時,各類定量評價模型的逐步成熟,也為學術著作的科學評價帶來了契機。電子圖書館、網上書店的發展及評價系統的建立也為學術著作評價研究提供了新的思路。因此,導入符合學術著作特點的基于多源多維數據的評價指標,科學合理地將其與同行評議相結合已經成為著作評價的方法論基礎和方向。

　　1文獻回顧

　　現階段國內外關于著作評價的研究主要集中在評價數據、基礎數據庫、評價指標、評價體系、評價模型等這幾個方面。著作評價的基礎數據庫研究方面,國外學者從GoogleBookSearch、Springer圖書引用角度進行的評價研究較多,湯森路透集團也推出了圖書引文索引(BKCI);國內的讀秀學術搜索網站從2011年開始發布“圖書被引用情況報告冶,并按高被引圖書的類別、作者、出版社等進行分類;蘇新寧教授團隊基于CSSCI引文數據。

　　開展并完成了《中國人文社會科學圖書學術影響力報告》;中國圖書評論學會和南京大學合作建設的“中文學術圖書引文索引冶(CBKCI)項目也取得了階段性成果;中國科學文獻計量評價研究中心研制的《中國高被引圖書年報》(2016版)已發布;百度學術亦能實現對學術專著引用數據的獲取[1-4]。國外在著作評價的指標與模型研究方面,WhiteHowardD提出了librication指標,即某本書被納為館藏的圖書館的數量,ZuccalaA驗證了該指標在學術著作評價中的適用性[5-6]。

　　JuanGorraiz提出在線書評可以作為圖書評價的指標之一,ZuccalaA,ZhangCheng鄄zhi等人先后使用不同評論平臺的讀者書評進行了圖書影響力評價研究[7-9]。KoushaK、ThelwallM提出并證實了許多評價期刊論文的Altmetric指標可用于評價圖書,如:Googlebookcitations(谷歌圖書引文)、Libcitations(館藏)、Onlinereviews(在線書評)、Pub鄄lisherprestige(出版者聲望)等[10-12]。Torres-SalinasD使用文獻計量學軟件證實了涵蓋圖書館館藏、瀏覽量、下載量及引用量等18個補充計量指標與傳統計量指標的互補性[13]。國內在著作評價的指標與模型研究方面,葉繼元教授及其團隊提出“形式評價、內容評價、效用評價冶三維全評價法[14]。李雁翎提出作者、出版社、圖書館、銷售和網絡輿情五維圖書綜合評價體系[15]。

　　張玉利用層次分析法構建了包括引用、網絡書評、圖書利用,基金、獲獎等指標的科技圖書學術影響力評價體系[16]。姜春林以資源形式指標、影響形式指標、引用價值指標、圖書館館藏指標、網絡利用指標構建了人文社科著作影響力評價指標體系[17]。王偉以圖書館藏、圖書引用、圖書獲獎、著者學術成就等指標構建了人文社會科學外譯圖書評價指標體系,并利用熵權法進行了實證分析[18]。

　　從已有文獻來看,國內外對學術著作的定性評價多采用書評和專家評價法;書評作為同行評議的依據在國外得到了一定認可。國內以客觀數據為依據的定量評價得到較多關注,其中應用最廣的是引文分析法。目前對于著作評價主要集中于書評分析、書目分析和引文分析,較多依賴單個指標和單維度評價,基于多維度的著作綜合評價研究相對較少。

　　2指標體系構建

　　2.1構建原則

　　隨著人文社會科學研究范圍日益擴大,影響研究成果的因素愈加復雜,給學術專著評價工作帶來更大挑戰。以更加科學、客觀、公正地對人文社會科學研究成果進行評價是當前的緊要之需。為保證學術專著評價的結果更具科學性、合理性與公正性,所構建的評價指標體系需遵循科學性原則,數據透明原則,可比、可操作、可量化原則等。

　　2.2指標選取

　　通過閱讀統計大量文獻總結現有著作評價方法及指標,發現現有的著作評價方法大致分為形式層面評價方法和內容層面評價方法,形式層面評價方法主要為文獻計量學和補充計量學(Altmet鄄rics)兩大類,文獻計量學的主要評價指標大致包括獲獎情況、基金資助情況、引用情況、傳統使用情況(如館藏量、銷量、再版次數等)等,補充計量學的主要評價指標大致包括社交媒體的提及次數、評論數,電子文庫的下載量、瀏覽量等;內容層面評價方法主要為引用內容分析法和著作內容綜合評價法,引用內容分析法的主要評價指標大致包括引用位置、引用篇幅等,著作內容綜合評價法的主要評價指標大致包括書評、媒體宣傳、閱讀推廣、銷售平臺導讀等。

　　總體來講,形式層面評價雖具有易于操作、可量化、效率高等優勢,但同時也存在忽視著作內容、核心價值、知識貢獻評價的缺陷;相反內容層面評價方法,雖然從著作內容出發,一定程度上能揭示著作的核心價值和知識貢獻,但存在主觀性強、可操作性不強、費時費力等缺陷,兩類評價方法各有優缺點且呈互補關系。

　　我們在對人文社科著作進行評價時,既要注重利用領域專家的專業知識對著作內容質量和學術價值進行評判,也要力求用客觀數據來刻畫著作影響力。基于對上述形式及內容指標的理論可靠性、可量化性、可獲得性、時效性等多方面考量,綜合選取了包含形式評價與內容評價指標在內的著作外部資源、著作被引、基金與獎勵、書評、著作利用五個一級指標。每個一級指標下設不同的二級指標,二級指標下設三級指標,最終構建的人文社科學術著作評價指標體系。

　　2.3指標賦權

　　本文對人文社科學術著作進行了學科分類。根據不同指標的學科差異,結合專家調查法和層次分析法,確定不同學科分類評價指標的主觀權重。利用熵權法確定各學科分類評價指標的客觀權重,最后綜合主客觀權重值得到最終組合權重。

　　2.3.1學科分類

　　任何一本著作都有其特定的研究內容及所屬學科,不同學科類別的著作在研究內容及特性上存在巨大差異,難以用統一標準進行衡量與評估,但是同一類別內的不同學科由于其具有相似的知識屬性和研究范式往往呈現相似的學科特征。以高校人文社科獎第三屆至第七屆獲論文著作獎的27個學科的2175本著作為獲獎著作指標特征分析的實驗樣本數據。本文綜合考慮國家標準學科分類、人才培養學科目錄、人文社科獎獲獎著作的中圖分類,將高校人文社科獎受理范圍設置的28個學科分為人文類,社科類、綜合類三大類進行分類分析。

　　3實證驗證

　　3.1數據來源與數據處理

　　第八屆高等學校科學研究優秀成果獎(人文社會科學)于2019年1月開始申報,受理范圍為2014-2017年,受理學科為27個。根據其審核結果公示,共計有9405項申報成果符合申報要求。本文以哲學(206項)、社會學(88項)、管理學(324項),去除英文著作16項,多卷本25項,剩余哲學(179項)、社會學(83項)、管理學(315項)共577項申報成果為本文實證對象。

　　以申報著作的名稱、著者、出版年份及出版社作為源數據,從中國國家數字圖書館及中央宣傳部出版物數據中心上獲取該著作的ISBN號,從CSSCI上獲取該著作的被引次數;使用IS鄄BN號為源數據從讀秀數據庫上獲取該著作的館藏數量、總被引次數、被圖書引用次數,并獲取該著作的豆瓣評論、當當圖書評論以及暢想之星電子圖書館的閱讀、薦購、下載、收藏次數。并以前期對期刊書評、報紙書評的數據集為數據庫,獲取該著作的報紙書評和期刊書評數據。

　　3.2實證驗證

　　以哲學、社會學、管理學作為人文類學科、社會類學科和綜合類學科的代表,根據構建好的指標體系和標準化后的樣本數據計算綜合評分并排序,預測可能獲獎的著作。本研究將利用本指標體系計算出的各學科申報成果綜合得分排名前20%左右的申報成果記為擬定獲獎成果,前2%記為一等獎,將排名前3%-12%記為二等獎,將排名前13%-17%記為三等獎,其后將根據本體系得出的獲獎名單與實際獲獎名單對照分析,以證實本體系的有效性與可行性。

　　3.2.1人文類著作評價指標體系驗證結果

　　第八屆高校人文社科獎的申報項目中哲學類中文單行本著作成果共計179項,根據本指標體系預測獲獎著作30本,其中一等獎4本,二等獎17本,三等獎9本,評獎辦根據其評審辦法評審獲獎30本,其中一等獎3本,二等獎18本,三等獎9本,預測獲獎著作與實際獲獎著作對照如表6所示,其中是否獲獎預測與實際一致的共計14本,獲獎等級預測與實際一致的共計9本,預測獲獎著作的綜合評價結果與著作實際獲獎結果具有較高的相關性,個別著作的預測評價結果與實際獲獎結果差異較大,這與人文社科學術成果獎評審過程中可能出現的主觀傾向與人為平衡現象有關。

　　從綜合評價結果來看,根據本評價指標體系獲得的人文類著作排名結果及預測獲獎結果與實際獲獎結果之間相關度較高,具有合理性。獲得一等獎的《仁學本體論》其綜合評分也穩居第一位,其它兩本獲得一等獎的論著其綜合排名分別處于第37、54位,也處于較高排名,獲得二等獎的論著其綜合排名大部分處于70位之前,只有個別處于100位以上,這與論著的研究主題及著作類型均有一定的關系。獲得三等獎的論著其排序也均在80位之前,無異常數值。

　　從綜合評價結果來看,根據本指標體系得到的綜合類著作排名結果及預測獲獎結果與實際獲獎結果之間并無顯著相關性,著作獲獎評審更加著重于其應用價值,獲得一等獎的《中國土地和礦產資源有效供給與高效配置機制研究》、《土地整治規劃設計研究》、《扶貧開發與區域發展———我國特困地區的貧困與扶貧策略研究》等其研究主題都與現下社會迫切待解決的熱點問題息息相關,且對于國家相關部門解決相關問題具有一定的參考借鑒作用;獲得二等獎的《中國農村養老保險體系框架與適度水平》、《中國社會保障稅稅收設計研究》、《基于博弈論和CGE模型的碳稅政策研究》、《企業創新生態系統論》等學術著作、其研究問題多為社會或是企業管理長期關注問題,且為這些問題的解決提供了適當的參考建議。

　　4結論與討論

　　人文類與社科類學術著作綜合排序及預測獲獎結果與實際獲獎結果一致性較高。當然也有些不一致的地方,其原因是多方面的。首先,由于著作的類型不同,部分著作由于被指定為教材或教輔讀物,其圖書利用率可能會受此影響;其次,由于著作的研究主題不同,被引或被利用的頻率與其研究主題是否為熱門主題有很大關系,但不可否認非熱點研究話題的學術價值與社會價值;再次,由于不同著作的出版時間不同,部分指標可能會受時間因素的影響。例如出版較早的著作在參評時比出版較晚的著作更具優勢。

　　不過體系中添加年均被引來平衡這一差異,且著作評審時間一般都過了著作被引高峰。如第八屆申報時間為2019年,參評成果范圍為2014-2017年出版的著作,而被引高峰一般發生在其出版的第二年;此外,由于指標體系中的多數指標數據是來自搜索引擎的搜索結果,偶然出現的錯檢、漏檢現象可能會對評價結果有一定的影響。

　　由于學者的工作單位不是一成不變,本研究中雖然在智能采集后進行了人工辨別,但是難免會有紕漏;最后,學術著作獲獎與否一定程度上受到人為因素的干擾,如不同科研機構之間獲獎數額的平衡以及著者學術地位的影響等。總體來說,本研究所構建的評價指標體系對人文類和社科類學術著作評審具有一定的合理性與可操作性,可以作為著作類學術成果獎項評審時的參考依據,并經過不斷的實踐檢驗而逐步完善,以降低僅依賴專家評審的時間成本及經濟成本,提高評獎過程的客觀性。

　　綜合類學術著作綜合排序及預測獲獎結果與實際獲獎結果相關性不高,其主要原因在于綜合類學術著作偏向于應用型的學術著作更多,在此類著作評審時,可將決策建議被采納作為主要評審指標,本文由于數據采集難度大并未添加這一指標。在綜合類學術著作評審時可由申報者提供是否有決策建議被采納的相關佐證材料。

　　本指標體系的評審結果可為此類著作評審提供參考作用,幫助評判著作的學術影響力及部分社會影響力。學術評價是一項高度復雜和有挑戰性的工作,任何評價方法都不可能十全十美。學術著作評價的關鍵除了構建科學合理的評價方法體系,還需要構建與評價方法相適應的評價治理體系。在著作評價治理體系中直接或間接存在多種顯在和潛在的委托代理關系。

　　如高校人事部門與評聘委員會、文獻數據提供者、學會協會、出版社就是委托代理關系。委托代理關系的存在與運行或者需要建立一套正式制度,通過制度契約來保障雙方責任的履行,如著作評價的正式文件;或者通過潛在的非正式的心理契約來履約,如專家聲譽和第三方機構獨立性。為降低評價“交易成本冶,避免“合謀冶,有必要建立信息公開和監督機制;為了實現評價的公信力,有必要建立結果公示機制、反饋機制、爭議投訴機制。在評價治理體系的建構中,要注意發揮專家同行評議和科學計量評價方法各自優勢。

　　專門的書評書目數據庫對于著作評價體系完善有著積極的推動作用,我國需要盡快推動專業機構或者數字企業建立包括報紙書評、期刊書評、社交媒體書評、著作序跋在內的專業書評索引庫,以更好地支撐學術研究、服務學術評價和科研管理。國內可借鑒美國BookReviewDigest和TechnicalBookReviewIndex綜合類和專業類書評索引建設經驗,依托有影響力的數據公司及學術評價機構建立我國的專業書評數據庫和索引庫。

　　當前國內外部分學者正致力于基于全文本分析的引文指標的研究,試圖使用技術手段使學術評價中關于內容評價更加可視化,即通過施引文獻全文數據的獲取、引用信息識別、引用語境識別、引文指標計算等方式,分析被引文獻在施引文獻中的引用次數、引用位置及引用語境等,從而分析被引文獻在施引文獻中的作用,但是這一方法多用于論文評價。由于著作體量大及技術手段限制,較少被用于著作評價。隨著技術手段的跟進,此類指標的加入將使學術著作評價指標體系得以進一步完善。

　　參考文獻：

　　[1]蘇新寧.中國人文社會科學圖書影響力評價報告[R]北京:中國社會科學出版社,2012.

　　[2]中國科學文獻計量評價研究中心.中國高被引圖書年報(2016)[R].北京:《中國學術期刊(光盤版)》電子雜志社有限公司,2016.

　　[3]薛志紅.中文人文社會科學優質圖書資源統計與應用分析———基于CBKCI(1992—2012年)來源圖書數據[J].科技與出版,2018,37(8):158-163.

　　[4]北京世紀讀秀技術有限公司.圖書被引用情況報告(2020)[R].北京:北京世紀讀秀技術有限公司,2020.

　　[5]WhiteHowardD,BoellSebastianK,YuHairong.Libcitations:Ameasureforcomparativeassessmentofbookpublicationsinthehumanitiesandsocialsciences[J].JournaloftheAmericanSoci鄄 etyforInformationScience&Technology,2009,60(6):1083-1096.

　　[6]WhiteHD,ZuccalaAA.Libcitations,worldcat,culturalimpact,andfame[J].JournaloftheAssociationforInformationScienceandTechnology,2018,69(12):1502-1512.

　　[7]GorraizJuan,GumpenbergerChristian,PurnellPhilipJ.Thepow鄄erofbookreviews:asimpleandtransparentenhancementap鄄proachforbookcitationindexes[J].Scientometrics,2014,98(2):841-852.

　　[8]ZuccalaAA,VerleysenFrederikT,CornacchiaRoberto,etal.Altmetricsforthehumanities:comparinggoodreadsreaderratingswithcitationstohistorybooks[J].AslibJournalofInformationManagement,2015,67(3):320-336.

　　[9]QingqingZhou,ChengzhiZhang.Measuringbookimpactviacontent-levelacademicreviewmining[J].ELECTRONICLI鄄BRARY,2020,38(1):138-154.

　　作者：姜春林郭琪琴張光耀