【編譯：Andy & Judy】
對學術界研究動態的分析繼續進行，這次將深入研究由Ex Libris委託Alterline研究機構對美國、英國和澳大利亞研究人員和研究辦公室負責人進行的詳細調查。我們已經回顧了研究辦公室的主要優先事項、COVID-19對研究人員的影響以及開放近取在研究中的作用。這次將看看定義和衡量學術研究影響力的挑戰。
正如一位在英國的大學教師所述：「影響力是一種間接且模糊的東西。為了獲得資金，我必須報告影響力，但我討厭這樣做，並認為這是一種受到限制的工作。」
當然，那位教師並不孤單。71％的研究人員表示，他們「總是」或「有時」必須向資助方報告其研究的影響。同樣，有51％的研究辦公室成員表示，他們在過去三年中必須向資助者或政府機構報告研究發展數據。對於許多公共或私人贊助機構來說，影響力是衡量其「投資回報率」的依據，並可能影響未來的財務資助。
研究人員對傳統研究影響指標的挫敗感
如何衡量研究的影響力已經成為一個日益複雜的問題。傳統上，發表研究的學術引文數量是主要的----但不是唯一的----衡量標準。即使在今天，根據調查資料，90%的研究人員都是通過引文來衡量影響力。然而，研究人員還將其他幾種更現代的參與形式列為影響力衡量標準。這些包括直接瀏覽兒量（34%）、傳統媒體提及量（30%）、社交媒體提及量（29%），以及公共政策檔和政府法規中的引用（16%）。
研究人員表示對必須依賴學術出版的引用和其他指標感到沮喪，在學術出版引用量較少的領域更是如此，如人文藝術領域。此外，許多人認為，目前的衡量標準僅提供了一個狹窄的視角，沒有考慮到研究對整個社會的現實影響。推動社會變革的因素包括對政府政策、法規、專利、與企業合作的影響，以及對當地社區計劃的影響等。
研究辦公室試圖尋找一致的方法來衡量影響力
研究辦公室的任務中，經常幫助研究人員監測其工作的影響。38％的資深研究辦公室人員認為，這是該單位的主要優先事項之一。此舉將是提高大學聲望的部分因素，而大學聲望是研究辦公室第二重要的目標。
與研究人員一樣，美國、英國和澳大利亞的研究辦公室成員將引文作為衡量影響力的重要指標（佔63％）。但是，有50％的受訪者將期刊影響因子僅列為第二重要的KPI。此外，他們對於公共政策文件和法規（38％）、社交媒體（19％）和直接瀏覽量（13％）作為研究影響力指標上，與研究人員存在很大分歧。這些相互矛盾的回答表明，隨著研究人員和研究辦公室為適應環境、要求和技術的變化，缺乏一致的衡量標準。
正如一位美國大學教師所述，「有很多不同的數字-h指數、影響因子、媒體提及率等。每個人統計的東西都不一樣，不同的期刊在不同的統計中。這是非常不標準的。」即使研究辦公室決定將期刊或媒體提及率納入影響評估，也沒有明確的標準確定哪些出版物在這方面是有價值的。是應該基於發行量、聲望、專業性、知名度還是其他標準？
衡量研究影響力的未來
研究辦公室和研究人員發現，短期內準確評估研究影響指標並將其與個別出版物掛鉤存在著挑戰。在許多情況下，尤其是公共政策和法規，這種影響只有經過很長一段時間才能真正顯現出來。
由於能夠參與研究的管道和受眾比以往任何時候都多，證明研究工作的真正影響力變得越來越困難。儘管如此，證明研究影響力的壓力並未因此變得簡單。雖然引文仍然是最受歡迎的選擇，但越來越多意見將引文視為必要之惡，某種臆測。
提高影響力指標品質和準確性的方法之一是促進跨機構、跨學科的合作，以確認該研究在全球的真正影響力。這包括該研究在創新技術、產品和程序的直接應用，以及將其用作新穎理論，社會行為變化和方法論的基礎。在機構內部，如果研究人員和研究辦公室人員之間在數據和資源共享方面加強合作，可以獲得更好的影響力指標。
在英國和澳大利亞，政府機構（英國的「研究卓越架構」和澳大利亞的「卓越研究」）已經開發出一套用以長期評估研究品質的系統，並認識到研究影響力往往要透過多年的時間來實現，旨在反映研究對經濟、文化、公共政策、健康、環境和生活質量的廣泛影響。儘管不盡完美，但這些影響力架構可以指出努力的方向。
儘管大多數研究人員都希望將所有時間都花在研究上，但是追蹤其影響力和其他管理職責的需求卻佔用了很多時間。在我們的下一次報告中，我們將看到這對於研究機構和圖書館來說可能是一個重要的機會，可以介入並減輕這種負擔。有關研究人員和研究機構如何看待其機構義務的影響的更多訊息，請在此處閱讀完整的Ex Libris-Alterline研究。
資料出處：Guzman, D. (2020). Measuring Research Impact: Limitations and Opportunities.
張貼留言