>(2) 평가 시스템 개선방안
>
>가. 현 시스템의 문제점
>
>1. 표준화된 평가 방법이 없다. 연구과제 발주 부처와 기관에 따라 평가 항목과 기준, 평가 방법이 모두 다르며, 평가 결과를 수치화하는 곳이 있는가 하면, 좋다/나쁘다 라던가 성공/실패로 단순 분류하는 경우도 있고, 심지어 결과보고서를 제출받을 뿐 평가하지 않는 경우도 허다하다. 한마디로, 거액의 연구개발비 투자에 대해 시제품을 제외하고 유일한 ‘유형 결과물’인 결과 보고서가 제대로 평가되지 못하고 있으며, 내실 있는 보고를 하지 않고 대충 때우기식 보고만 해도 되기 때문에 국가 과학기술 역량과 경험 축적의 역할을 하지 못하고 있다.

>2. 객관적 평가가 이루어지지 않는다. 평가단에 속한 전문가는 평가위원인 동시에 다른 과제의 평가대상이다. 내가 남을 나쁘게 평가하면 그것이 부메랑이 되어 돌아온다는 것을 뻔히 알면서 공정하고 객관적인 평가가 이루어질 수 없다.
>
>3. 평가 결과가 다음 연구과제 수주에 별 영향을 미치지 않는다. 제대로 된 평가가 이루어지지 않고, 과제 발주 기관에 따라 다른 기준에 의해 평가하다 보니 호환성이 결여되어 다음번 신규 과제 응모시 거의 영향을 미치지 못한다. 연구 과제 수행 성과보다 대인관계나 정치적 고려가 더 크게 영향을 미치는 후진국형 시스템이다.
>
>4. 연구개발 내용보다 결과에 치중한다. 정부 예산에 의한 연구과제 성공률이 단연 세계 1위이다. 이는 우리나라의 연구개발 수준이 선진국에 비해 높거나 연구원들이 초인적인 힘을 발휘했기 때문이 아니라, 성공할 만한 일만 하거나 어떻게든 성공한 것으로 포장하는 경우가 많기 때문이다.  연구 과정과 내용, 수행 기간동안 얻은 성과를 무시하고 애초의 목표를 달성했느냐만 보기 때문에, 실패할 경우 연구책임자의 부담감이 무척 크다. 그러다보니 많은 연구책임자들이 ‘달성할 수 있는 목표’만을 설정하게 되고, 심한 경우 이미 달성된 결과를 목표치로 제시하여 과제를 수주하는 경우도 발생한다. 실패사례에서 원인을 분석하고 성공으로 재창조될 수 있도록 하는 제도적 장치가 필요하다. 
>
>5. 연구 결과보다 행정처리를 더 중시하는 비상식적인 상황이다. 연구 내용과 결과, 그 의의는 해당 분야 전문가가 아니라면 심도있게 파악하기 어렵다. 그러나 행정 서류와 회계 정산은 그렇지 않다. 결과 보고서보다 꼼꼼히 조사되는 것이 정산 보고서이고, 지적사항 발생 건수도 훨씬 더 많다. 이것은 본말이 전도될 것이라고밖에 말할 수 없다. 
>
>6. SCI 논문 수, 특허 출원 개수 등 단순 수치화된 양적 평가기준은 부작용이 많다. 논문의 양보다는 질(인용지수라던가)을 따지고 특허의 비중을 높이되 단순히 개수로 평가하기보다는 실제 적용 가능성과 경쟁력으로 평가해야 한다.
>
>
>
>나. 개선방안
>
>1. 현재 국가과학기술위원회 산하로 되어 있는 평가기구(사실상 과기부가 장악)를 유관 부처와 독립적으로 일할 수 있는 기구로 확대 개편한다. 필요에 따라 연구 예산 중앙 제어 기구와 통합, 설치한다.

--> Agency를 말씀하시는 거군요. 근데 이미 이와 유사한 STEPI, KISTEP같은 기관이 있다고 하는 분들이 있는데, 조금 성격이 다른 것이 일단 이런 부서들은 관련 부처 산하기관으로 기능하며 해당부처 관료들의 업무를 대행하는 역할을 하고 있을 뿐, 특정 분야의 집중 육성이라는 임무를 받고 책임을 지는 것이 아니라는 것이 큰 차이점입니다. 예컨대 항공우주분야 Agency라면 정부로부터 '2010년까지 선진국 5위 수준의 성층권 플랫폼 개발 능력을 5000억원을 들여 갖출 것'이라는 식의 임무(mission)를 부여받고, 이를 단계별로 감독 받아야 합니다. 하지만, 지금 위 기관들은 이런 식의 임무를 받는 것이 아니라, '국가기술지도 작성을 담당해달라'는 식의 지시된 행정업무를 하고 있는 것이 큰 문제입니다. Agency는 향후 우리나라가 해당분야에서 어떻게 국제경쟁력을 유지할지에 대한 기획을 하고 소요 예산을 판단하고 과제를 만들어서 정부와 국회의 승인을 받을 정도가 되어야 합니다. 그런 후 연구소, 대학, 기업에 과제를 나눠주고 평가해서 정부와 국회에게 책임을 지고 약속한 임무를 수행해야 합니다. 그렇게 못하거나 예산을 낭비하면 책임을 추궁받게 되는 것이고요.


>2. 상기 기구엔 다양한 분야의 석박사급 인력을 다수 신규 채용하여 전업 평가역으로 일하게 함으로써 과학기술계/학계 내부에서 서로 평가하는 고리를 끊는다. 평가역은 감사관과 비슷한 지위를 부여하여 외적 요인에 흔들리지 않고 평가할 수 있도록 한다.

--> 평가역은 당연히 감사관과 같은 지위, 아니 더 높은 책임과 권한이 따르는 지위가 됩니다. 다만, 평가역이 상대하는 사람들 역시 해당분야의 전문가인 연구원, 교수, 이공계 기업가들이기 때문에, 이들을 평가하는 우월적 지위를 유지하기 위해서는 Agency 요원 자체가 우수인력으로 충원되지 않으면 안됩니다. 또한 박사학위나 이에 버금가는 경력이 요구되는 것은 기본이고, 새로운 연구과제 발굴이나 기획, 연구관리에 남다른 재능이 있어야 합니다. 무엇보다도 일정한 경험이 필요하기 때문에 학교를 막 졸업한 박사보다는 일정한 현장 경력을 가진 박사급(=박사나 동급의 경력직 석사, 기술사 등) 전문인력이 더 선호됩니다. 선진형 이공계 인력관리 시스템은 관리자(Manager)그룹과 전문가(Specialist)그룹으로 이원화되는데, 평가역에는 관리자 그룹이 다수, 전문가 그룹이 소수 필요한 것이 특징입니다. 일반 연구개발 수행기관인 연구소, 학교, 기업과는 다른 인력구조입니다. 이런 세부적인 것까지 섬세하게 조율되어야 Agency 체제가 잘 정착될 수 있습니다.

>3. 국가 과학기술 연구과제 평가 기준을 표준화하며, 수치화하여 연구책임자마다 누적되도록 관리한다. 연구개발시스템 업그레이드방안(1)에서 언급한 ‘연구 결과 보고서 데이터베이스화’와 연동, 평가 결과를 영구 보존한다.

--> 이는 반드시 이루어져야 할 부분입니다. 신용사회라는 것이 이런 것인데, 평생을 DB가 따라다니기 때문에 매번의 연구에 최선을 다할 수 밖에 없습니다. 우리나라에서 시행하면 당장에는 부조리와 비리 발생의 소지는 크군요. 그래도 해야 합니다. 시행하면서 고쳐나가야 합니다.

>4. 신규 과제 응모시 발주처는 반드시 누적된 평가 결과를 조회하여, 수행 책임자 선정시 최우선으로 반영한다. 단, 신진 연구인력의 경우 예외조항을 둔다.

>5. 실패한 과제에 대해 평가상의 불이익을 주지 않으며, 실패 원인을 분석한 보고서를 평가하고, 실패사례들을 별도로 관리하여 발전의 거름이 되도록 한다.

--> 연구과정이 훌륭하면 실패한 과제에 평가상 불이익을 주지 않고, 과제관리에 실패한 경우 불이익을 줘야 합니다. 나아가 실패할 가능성이 적은 과제는 수주를 주지 않고, 모험적이고 도전적인 과제에 대해 발주를 내주는 정책 패러다임 전환이 필요합니다. 선진국에서는 모든 연구결과에 시행착오(=과정상의 실패) 내용을 상세히 기록하도록 하고 있고, 이로써 교훈(The lessons we learned)을 얻는 것을 연구개발의 중요한 결과물 중 하나로 봅니다.

>6. 논문, 특허출원 개수보다는 그 질로서 평가하며, 그 외에 다양한 긍정적 평가 기준을 새로 만들어 적용한다.(예를 들어 과학기술 대중화에 기여한 정도, 신진 인력 양성 성과, 산업화 접근성, 선도 기술 가치성, 독창성등)

--> 평가 체제를 '연구'와 '개발'로 구분하여 기초과학과 원천기술 분야가 주를 이루는 연구(기초연구, 응용연구)분야에 있어서는, 논문이나 보고서의 내용, 인력양성, 대중에 대한 기여 등을 높이 평가하고, 제품개발이나 첨단기술 분야가 주를 이루는 개발(제품개발, 기술개발)분야에 있어서는, 특허와 실용성, 경제기여 등을 중시하는 체제로 이원화 하는 것이 바람직하다고 봅니다. 물론, 그 중간 성격의 경우 다른 기준을 적용할 수도 있겠죠. 바로 이러한 전문적인 평가업무를 서류 중심의 행정관료에게 맡기니까 지금처럼 SCI중심의 획일적인 (객관성 하나는 확실히 담보할 수 있다는 이유로) 평가체계가 등장하여 온 과학기술계가 몸살을 앓는 폐단이 나오게 되는 것입니다.  이는 이런 업무의 성격을 아주 잘 이해하고 있는 전문가(=이공계 전문관료, 또는 관리집단)에게 맡겨야 하는 것입니다.