에너지기술평가원, 온라인 메타평가로 R&D 평가제도 혁신

글쓴이
내일의에너지
등록일
2019-05-22 10:50
조회
93회
추천
0건
댓글
0건
에너지기술평가원에서는 평가의 전문성과 공정성을 높이기 위해 온라인 메타순환평가를 도입했습니다. 온라인 방식 도입으로 지역적으로 멀거나 시간이 부족해서 참여가 힘들었던 전문가분들의 평가 참여가 늘어났고, 메타순환 방식 도입으로 피평가자의 만족도(공정성, 신뢰성)도 높아졌습니다.
자세한 내용은 임춘택 원장님의 기고문(아래)으로 대신하겠습니다. 과학기술인분들께서도 많은 관심 가져주시고, 에기평 평가에 참여해주시면 감사하겠습니다.

==========
우리 기관이 연구관리 평가체계 개선을 추진하고 있다. 1년여 준비 해온 온라인 메타순환평가 제도다. 연구과제를 선정할 때 파워포인트 발표평가 대신에 저널 논문심사처럼 과제 제안서를 온라인으로 암맹평가한다. 과제 제안자가 평가결과에 대해 답변하고 반박하는 것도 온라인으로 한다. 모여서 회의할 필요가 없어 평가위원 섭외가 쉬워졌다. 그동안 전국에 산재한 연구관리 전담기관에 평가하러 가려면 하루종일 걸려 우수 평가위원 참여가 저조했다. 평가 전문성에 대한 불만이 높고 평가결과 불복이 많은 이유다.

사실 온라인평가는 새로운 것이 아니다. 이 제도의 핵심은 평가위원도 평가받는 메타평가 부분이다. 해당분야 권위자인 평가단장이 평가위원을 평가한다. 평가단장은 평가위원을 오래 역임해 경험이 풍부하고 평가점수 평균이 높은 전문가 중에서 선임한다. 그동안 평가위원은 무소불위라서 자질이 부족하거나 편파적이어도 하소연 할 데가 없었다. 공정성을 이유로 무작위로 평가위원을 선임하는 데 따른 부작용이기도 했다. 이제 바로 옆방 동료라도 기피하지 않고 평가할 수 있다. 평가위원도 평가를 받게 되니 제안자를 잘 안다고 좋게 평가할 수 없다. 평가위원이 받는 누적 평점이 어느 이하가 되면 부적격자로 분류되어 차후 평가에서 제외된다.

평가과정을 소개하면, 먼저 평가위원이 제안서를 검토해서 제안자에게 보낸다. 예비점수와 함께 평가의견을 받은 제안자는 답변서를 작성한다. 평가위원은 타 평가위원의 평가의견과 제안자의 답변을 보고 자신의 평가점수를 정한다. 일종의 델파이 평가다. 평가단장은 평가위원과 제안자가 주고받은 내용을 보고 평가위원의 전문성, 공정성, 성실성을 평가한다. 제안자, 평가위원, 평가단장간 익명성이 보장되는 완전 암맹평가다.

이 제도의 묘미는 순환평가 부분이다. 평가단장이 평가를 공평하게 주관했는지 전담기관이 평가한다. 마지막으로, 전담기관이 평가를 공정하게 관리했는지, 평가위원은 잘 선정했는지를 제안자가 평가한다. 즉, 제안자-평가위원-평가단장-전담기관-제안자간 4단계 순환평가다. 이제 모두가 서로 평가받는 평등한 평가체계가 됐다. 강의평가로 수업의 질이 향상되고 학생과 교수간 간극이 줄어든 것과 같은 효과다.

이 제도는 우리 기관이 자체개발해서 국내에 처음 도입했지만, 국제전기전자학회(IEEE)의 논문심사방식과 미국 에너지고등연구국(ARPA-E), 싱가포르, 노르웨이 연구관리기관의 온라인평가방식을 참고했다.

작년 12월에 16개 과제에 시범적용하고 올해 3월에는 94개 과제에 확대 적용했는데, 반응이 좋다. 평가위원 응신률이 2배로 올라갔고, 우수 평가위원 비율이 크게 증가했다. 그동안 부족한 전문성을 상쇄하려고 평가위원 수를 8~10명으로 했는데, 이제 절반이어도 된다. 평가위원의 과제당 검토시간도 큰 폭으로 늘었다. 대면평가에서는 15~20분이었지만 온라인평가에서는 2시간으로 6~8배가 됐다. 평가서류, 장소 임차비, 출장비 지급이 없어져 비용이 41% 절감된다. 연간 15억 원에 상당한다. 평가 공정성에 대한 만족도가 90%로 괜찮다. 이의제기 비율도 절반 이하로 낮아졌다. 평가결과를 제안자에게 공개하고 충분히 소명할 기회를 준 때문이다. 다만, 전담기관에 대한 평점은 과제에 선정된 경우는 91점인데 탈락한 경우는 75점으로 16점 차이가 난다. 이만큼 제안자의 전담기관 평가에 편파성이 있다고 해석된다.

지난 4.17일에 과학기술기획평가원, 산업기술평가관리원, 연구재단 등 15개 전담기관장이 모인 연구관리혁신협의회에서 이 평가제도를 소개했다. 전담기관장들 호응이 좋아 시행결과를 공유하기로 했다. 대면평가가 아니다보니 대리답변 문제가 대두되었다. 제안자 본인인증과 서약과정을 거치도록 한 이유다.

평가는 궁극의 권력이다. 선거라는 평가제도 때문에 권력의 정점에 있는 정치인들도 국민을 두려워한다. 그런데, 국가 연구개발 평가는 전담기관의 고유영역으로서 견제없는 권력이었다. 대학, 정출연, 기업 위에 조용히 군림해왔다. 이제 디지털 민주주의 시대에 맞게 평가권력을 모든 참여자들에게 돌려줘야 한다. 그게 국가연구개발비 20조원 시대에 연구효율을 높이는 지름길이다.

(전기신문 기고 출처 http://www.electimes.com/article.php?aid=1558320706179309025 )

[이 게시물은 sysop님에 의해 2019-05-22 20:20:33 자유게시판에서 이동 됨]

목록


펀글토론방

게시판 리스트
번호 제목 글쓴이 등록일 조회 추천
7607 10억의 회유를 마다한 새글 리영희 06-22 20 0
7606 점쟁이 같은 조선일보 헤드라인 제목 시간 06-01 104 1
열람중 에너지기술평가원, 온라인 메타평가로 R&D 평가제도 혁신 내일의에너지 05-22 94 0
7604 과기정책 전문가의 글을 비판하는 생명과학자들의 브릭에 메인에 올라온글 리영희 03-04 216 0
7603 직장 내 괴롭힘/왕따 - 약한 사람을 도와줘라, 모른 척 말고 리영희 01-19 407 0
7602 어느 판사의 얼굴 - 대기업에 아부하는 판사의 메시지 시간 11-28 533 0
7601 한국반도체의 뿌리 강기동박사 기사를 접하고... 공유합니다 댓글 4 저녁있는 11-26 627 0
7600 바이오에피스를 통해 본 기업문화 리영희 11-02 414 0
7599 나라가 아주 폭망하는 구만 댓글 10 지나가다 06-06 2160 1
7598 과학기술인공제회, 美파생상품 손댔다 1600억 날려 지나가다 06-06 1022 0
7597 젠더폭력 방지법 및 성평등 정책 또, 군가산점부활 관련해서 댓글 20 민지혜 05-01 1037 0
7596 삼성전자가 생각하는 미래경영자 댓글 2 PhotonTransfer 03-29 1534 0
7595 한국기업과 미국기업의 개발과정의 차이.. 사실인가요? 댓글 1 박막 03-11 1085 0
7594 펜스와 신조의 방문에... 댓글 1 시간 02-03 942 0
7593 극우개신교 세력 중심, 서북청년단 부활 주장 댓글 1 Talez 01-06 1046 0
7592 삼수 사수 하더라도 서울대 가세요 댓글 6 으어 10-27 3548 0
7591 저항 안받고 전류 흐르는 '바일 금속'.. 2013년 첫 발견, 최근 성질 규명까지 진실저너머 10-05 1587 0
7590 반도체 유해물질에 의한 백혈병은 예견되었다. - 시사인 - 시간 09-30 1154 0
7589 대....박.... 댓글 1 whiteblow 09-24 1312 0
7588 알라딘의 충기 램프 댓글 1 지나가다 08-12 1307 0


랜덤글로 점프
과학기술인이 한국의 미래를 만듭니다.
© 2002 - 2015 scieng.net
모바일 버전으로 보기