에너지기술평가원, 온라인 메타평가로 R&D 평가제도 혁신
- 글쓴이
- 내일의에너지
- 등록일
- 2019-05-22 10:50
- 조회
- 2,336회
- 추천
- 0건
- 댓글
- 0건
관련링크
에너지기술평가원에서는 평가의 전문성과 공정성을 높이기 위해 온라인 메타순환평가를 도입했습니다. 온라인 방식 도입으로 지역적으로 멀거나 시간이 부족해서 참여가 힘들었던 전문가분들의 평가 참여가 늘어났고, 메타순환 방식 도입으로 피평가자의 만족도(공정성, 신뢰성)도 높아졌습니다.
자세한 내용은 임춘택 원장님의 기고문(아래)으로 대신하겠습니다. 과학기술인분들께서도 많은 관심 가져주시고, 에기평 평가에 참여해주시면 감사하겠습니다.
==========
우리 기관이 연구관리 평가체계 개선을 추진하고 있다. 1년여 준비 해온 온라인 메타순환평가 제도다. 연구과제를 선정할 때 파워포인트 발표평가 대신에 저널 논문심사처럼 과제 제안서를 온라인으로 암맹평가한다. 과제 제안자가 평가결과에 대해 답변하고 반박하는 것도 온라인으로 한다. 모여서 회의할 필요가 없어 평가위원 섭외가 쉬워졌다. 그동안 전국에 산재한 연구관리 전담기관에 평가하러 가려면 하루종일 걸려 우수 평가위원 참여가 저조했다. 평가 전문성에 대한 불만이 높고 평가결과 불복이 많은 이유다.
사실 온라인평가는 새로운 것이 아니다. 이 제도의 핵심은 평가위원도 평가받는 메타평가 부분이다. 해당분야 권위자인 평가단장이 평가위원을 평가한다. 평가단장은 평가위원을 오래 역임해 경험이 풍부하고 평가점수 평균이 높은 전문가 중에서 선임한다. 그동안 평가위원은 무소불위라서 자질이 부족하거나 편파적이어도 하소연 할 데가 없었다. 공정성을 이유로 무작위로 평가위원을 선임하는 데 따른 부작용이기도 했다. 이제 바로 옆방 동료라도 기피하지 않고 평가할 수 있다. 평가위원도 평가를 받게 되니 제안자를 잘 안다고 좋게 평가할 수 없다. 평가위원이 받는 누적 평점이 어느 이하가 되면 부적격자로 분류되어 차후 평가에서 제외된다.
평가과정을 소개하면, 먼저 평가위원이 제안서를 검토해서 제안자에게 보낸다. 예비점수와 함께 평가의견을 받은 제안자는 답변서를 작성한다. 평가위원은 타 평가위원의 평가의견과 제안자의 답변을 보고 자신의 평가점수를 정한다. 일종의 델파이 평가다. 평가단장은 평가위원과 제안자가 주고받은 내용을 보고 평가위원의 전문성, 공정성, 성실성을 평가한다. 제안자, 평가위원, 평가단장간 익명성이 보장되는 완전 암맹평가다.
이 제도의 묘미는 순환평가 부분이다. 평가단장이 평가를 공평하게 주관했는지 전담기관이 평가한다. 마지막으로, 전담기관이 평가를 공정하게 관리했는지, 평가위원은 잘 선정했는지를 제안자가 평가한다. 즉, 제안자-평가위원-평가단장-전담기관-제안자간 4단계 순환평가다. 이제 모두가 서로 평가받는 평등한 평가체계가 됐다. 강의평가로 수업의 질이 향상되고 학생과 교수간 간극이 줄어든 것과 같은 효과다.
이 제도는 우리 기관이 자체개발해서 국내에 처음 도입했지만, 국제전기전자학회(IEEE)의 논문심사방식과 미국 에너지고등연구국(ARPA-E), 싱가포르, 노르웨이 연구관리기관의 온라인평가방식을 참고했다.
작년 12월에 16개 과제에 시범적용하고 올해 3월에는 94개 과제에 확대 적용했는데, 반응이 좋다. 평가위원 응신률이 2배로 올라갔고, 우수 평가위원 비율이 크게 증가했다. 그동안 부족한 전문성을 상쇄하려고 평가위원 수를 8~10명으로 했는데, 이제 절반이어도 된다. 평가위원의 과제당 검토시간도 큰 폭으로 늘었다. 대면평가에서는 15~20분이었지만 온라인평가에서는 2시간으로 6~8배가 됐다. 평가서류, 장소 임차비, 출장비 지급이 없어져 비용이 41% 절감된다. 연간 15억 원에 상당한다. 평가 공정성에 대한 만족도가 90%로 괜찮다. 이의제기 비율도 절반 이하로 낮아졌다. 평가결과를 제안자에게 공개하고 충분히 소명할 기회를 준 때문이다. 다만, 전담기관에 대한 평점은 과제에 선정된 경우는 91점인데 탈락한 경우는 75점으로 16점 차이가 난다. 이만큼 제안자의 전담기관 평가에 편파성이 있다고 해석된다.
지난 4.17일에 과학기술기획평가원, 산업기술평가관리원, 연구재단 등 15개 전담기관장이 모인 연구관리혁신협의회에서 이 평가제도를 소개했다. 전담기관장들 호응이 좋아 시행결과를 공유하기로 했다. 대면평가가 아니다보니 대리답변 문제가 대두되었다. 제안자 본인인증과 서약과정을 거치도록 한 이유다.
평가는 궁극의 권력이다. 선거라는 평가제도 때문에 권력의 정점에 있는 정치인들도 국민을 두려워한다. 그런데, 국가 연구개발 평가는 전담기관의 고유영역으로서 견제없는 권력이었다. 대학, 정출연, 기업 위에 조용히 군림해왔다. 이제 디지털 민주주의 시대에 맞게 평가권력을 모든 참여자들에게 돌려줘야 한다. 그게 국가연구개발비 20조원 시대에 연구효율을 높이는 지름길이다.
(전기신문 기고 출처 http://www.electimes.com/article.php?aid=1558320706179309025 )
[이 게시물은 sysop님에 의해 2019-05-22 20:20:33 자유게시판에서 이동 됨]
자세한 내용은 임춘택 원장님의 기고문(아래)으로 대신하겠습니다. 과학기술인분들께서도 많은 관심 가져주시고, 에기평 평가에 참여해주시면 감사하겠습니다.
==========
우리 기관이 연구관리 평가체계 개선을 추진하고 있다. 1년여 준비 해온 온라인 메타순환평가 제도다. 연구과제를 선정할 때 파워포인트 발표평가 대신에 저널 논문심사처럼 과제 제안서를 온라인으로 암맹평가한다. 과제 제안자가 평가결과에 대해 답변하고 반박하는 것도 온라인으로 한다. 모여서 회의할 필요가 없어 평가위원 섭외가 쉬워졌다. 그동안 전국에 산재한 연구관리 전담기관에 평가하러 가려면 하루종일 걸려 우수 평가위원 참여가 저조했다. 평가 전문성에 대한 불만이 높고 평가결과 불복이 많은 이유다.
사실 온라인평가는 새로운 것이 아니다. 이 제도의 핵심은 평가위원도 평가받는 메타평가 부분이다. 해당분야 권위자인 평가단장이 평가위원을 평가한다. 평가단장은 평가위원을 오래 역임해 경험이 풍부하고 평가점수 평균이 높은 전문가 중에서 선임한다. 그동안 평가위원은 무소불위라서 자질이 부족하거나 편파적이어도 하소연 할 데가 없었다. 공정성을 이유로 무작위로 평가위원을 선임하는 데 따른 부작용이기도 했다. 이제 바로 옆방 동료라도 기피하지 않고 평가할 수 있다. 평가위원도 평가를 받게 되니 제안자를 잘 안다고 좋게 평가할 수 없다. 평가위원이 받는 누적 평점이 어느 이하가 되면 부적격자로 분류되어 차후 평가에서 제외된다.
평가과정을 소개하면, 먼저 평가위원이 제안서를 검토해서 제안자에게 보낸다. 예비점수와 함께 평가의견을 받은 제안자는 답변서를 작성한다. 평가위원은 타 평가위원의 평가의견과 제안자의 답변을 보고 자신의 평가점수를 정한다. 일종의 델파이 평가다. 평가단장은 평가위원과 제안자가 주고받은 내용을 보고 평가위원의 전문성, 공정성, 성실성을 평가한다. 제안자, 평가위원, 평가단장간 익명성이 보장되는 완전 암맹평가다.
이 제도의 묘미는 순환평가 부분이다. 평가단장이 평가를 공평하게 주관했는지 전담기관이 평가한다. 마지막으로, 전담기관이 평가를 공정하게 관리했는지, 평가위원은 잘 선정했는지를 제안자가 평가한다. 즉, 제안자-평가위원-평가단장-전담기관-제안자간 4단계 순환평가다. 이제 모두가 서로 평가받는 평등한 평가체계가 됐다. 강의평가로 수업의 질이 향상되고 학생과 교수간 간극이 줄어든 것과 같은 효과다.
이 제도는 우리 기관이 자체개발해서 국내에 처음 도입했지만, 국제전기전자학회(IEEE)의 논문심사방식과 미국 에너지고등연구국(ARPA-E), 싱가포르, 노르웨이 연구관리기관의 온라인평가방식을 참고했다.
작년 12월에 16개 과제에 시범적용하고 올해 3월에는 94개 과제에 확대 적용했는데, 반응이 좋다. 평가위원 응신률이 2배로 올라갔고, 우수 평가위원 비율이 크게 증가했다. 그동안 부족한 전문성을 상쇄하려고 평가위원 수를 8~10명으로 했는데, 이제 절반이어도 된다. 평가위원의 과제당 검토시간도 큰 폭으로 늘었다. 대면평가에서는 15~20분이었지만 온라인평가에서는 2시간으로 6~8배가 됐다. 평가서류, 장소 임차비, 출장비 지급이 없어져 비용이 41% 절감된다. 연간 15억 원에 상당한다. 평가 공정성에 대한 만족도가 90%로 괜찮다. 이의제기 비율도 절반 이하로 낮아졌다. 평가결과를 제안자에게 공개하고 충분히 소명할 기회를 준 때문이다. 다만, 전담기관에 대한 평점은 과제에 선정된 경우는 91점인데 탈락한 경우는 75점으로 16점 차이가 난다. 이만큼 제안자의 전담기관 평가에 편파성이 있다고 해석된다.
지난 4.17일에 과학기술기획평가원, 산업기술평가관리원, 연구재단 등 15개 전담기관장이 모인 연구관리혁신협의회에서 이 평가제도를 소개했다. 전담기관장들 호응이 좋아 시행결과를 공유하기로 했다. 대면평가가 아니다보니 대리답변 문제가 대두되었다. 제안자 본인인증과 서약과정을 거치도록 한 이유다.
평가는 궁극의 권력이다. 선거라는 평가제도 때문에 권력의 정점에 있는 정치인들도 국민을 두려워한다. 그런데, 국가 연구개발 평가는 전담기관의 고유영역으로서 견제없는 권력이었다. 대학, 정출연, 기업 위에 조용히 군림해왔다. 이제 디지털 민주주의 시대에 맞게 평가권력을 모든 참여자들에게 돌려줘야 한다. 그게 국가연구개발비 20조원 시대에 연구효율을 높이는 지름길이다.
(전기신문 기고 출처 http://www.electimes.com/article.php?aid=1558320706179309025 )
[이 게시물은 sysop님에 의해 2019-05-22 20:20:33 자유게시판에서 이동 됨]
