최근들어 부쩍 대학이나 연구소, 나아가 우리나라 과학기술 발전을 측정하는 잣대로 SCI 논문수가 자주 인용되고 있다. 이는 다른 어떤 평가지표보다 SCI 논문편수가 객관적이고 공정하다고 널리 인식된 때문이다.

그렇다면 교수나 학생 수 등을 무시하고, 단순히 대학 전체의 SCI 논문 총수 비교만으로 세계 대학 랭킹 40위로 보도된 서울대와, 상대적으로 SCI 논문 총수가 적어 세계 165위라고 이번 국감에서 질타 당한 KAIST에 대한 평가는 과연 정당한 것인가? 무엇보다도 대부분의 세계 명문대 평가에도 적용되지 않는 SCI 잣대 하나만으로 전공별, 학교별 특성을 무시하고 연구성과를 평가하는 것이 적절한 것인가?

일단, SCI 논문수로 대표되는 새로운 과학기술 평가 제도는 대체적으로 우리 나라 과학기술계의 풍토를 바꾸는데는 큰 기여를 한 것으로 인정받고 있다.  1980년대 말에 도입되어 1990년대 중반에 자리잡기 시작한 이 제도는 학연, 지연, 그리고 연륜에 의하여 좌지우지되던 기존의 평가 관행을 타파하는 일등공신 역할을 했다. 이에 따라 90년대 중반 이후부터는 젊고 유능한 연구자들이 이전에는 상상할 수도 없던 연구비를 수주하여 활발한 연구결과를 쏟아내기도 하였다. 특히 정부 관계부처가 이러한 평가시스템이 객관적이고 뒷말이 없다고 인식하면서 나름대로 정착돼가고 있다.

하지만, 이러한 긍정적인 요소에도 불구하고, 이제 더 이상 SCI 논문수에 국내 과학기술계 평가를 맡길 수 없는 조짐이 여기저기서 나타나고 있다.

첫째, 지난 5년간 SCI 게재 논문의 양이 급격하게 늘었다고는 하나, 논문의 질적수준을 나타내는 인용지수는 답보 상태에 머물고 있는 것으로 나타나고 있다. 이는 논문수의 증가가 연구성과의 질 향상으로 이어지고 있지 않음을 반증한다.

둘째, SCI 논문은 미국의 과학기술 관련 학술지 평가기관인 ISI에서 논문 통계를 위하여 만든 목록에 불과하며, 여기에는 해당분야의 권위있는 학술지가 모두 반영되는 것도 아니란 사실이다. 예컨대 세계 최고의 전자공학분야 IEEE 학술지 일부가 SCI 목록에 누락되어, 이보다 훨씬 못한 SCI 등재 학술지를 찾아 논문을 게재하는 우스꽝스러운 일이 지금 한국에서 벌어지고 있다.

셋째, 심지어는 결코 세계 최고 수준이라고 할 수 없는 국내 학술지가 SCI에 다수 등재되어 SCI 논문편수에 대한 신뢰성을 더욱 의심케 하고 있다. ISI가 급격히 불어난 한국의 SCI 논문 게재 추세를 반영하여 국내 학술지를 포함시켜 주었다는데, SCI의 신빙성에 의문을 던지지 않을 수 없는 대목이다.

넷째, 앞서 서울대와 KAIST의 비교에서 드러났듯이 학교 규모(학생수, 교수 수)를 무시하고 SCI 논문 총수만 비교하는 것은 아무 의미도 없으며, 설사 교수 1인당 SCI 논문수를 비교한다고 하더라도 SCI 게재의 난이도가 학과나 전공마다 천차만별이기 때문에 큰 의미가 없다. 게다가 기초과학과 공학, 의학에 따라 논문이 중요한 분야도 있고, 논문보다는 특허나 기술보고서가 중요한 분야도 있다.

한편 SCI 논문 실적 경쟁을 위해 여러 가지 편법을 동원하는 일도 발생하고 있다.
예를 들면 한 개의 성과를 쪼개어 여러 편으로 내거나, 연구하지도 않았는데 이름을 끼워넣는 일이 다반사로 일어나고 있다. 또한 기술보호를 위해 발표하면 안될 중요한 연구결과라도 달리 평가할 방법이 없다보니 논문으로 발표하는 문제도 발생하고 있다.

또한 논문게재 외의 활동을 상대적으로 홀대하다보니, 특허나 저술활동, 대학/대학원 교육, 산업현장위주 연구를 소홀히 하는 부작용도 심하다. 즉, SCI 논문에 의한 평가는 나름대로 평가의 객관성은 살렸을지 모르지만 실속이 없는 것이다. 

이러한 구조적 문제를 해결하기 위한 한 방안은 특허, 논문, 서적출판, 기술보고서, 학교 교육, 산업현장지원, 과학기술 사회봉사활동 등의 다양한 활동을 평가할 수 있는 표준화된 평가제도를 마련하여 운영하는 것이다.  우선 SCI 보다 더 객관적인 논문 평가 시스템을 자체적으로 개발할 필요가 있다. 다음 각 분야별 활동을 정량화 할 수 있는 기준을 설정하는 것이다.

무엇보다도, 더 이상 SCI 논문수라는 유일한 잣대로, 다양하고 복잡한 과학기술 활동을 측정할 수는 없다는 인식 확산이 시급하다.