이름  조준호 (2004/04/15, Hit : 1660, Vote : 46) 
 
제목  NSF 방문기
 
 

앞서 회원게시판을 통해서 워싱턴 D.C.에 다녀왔다고 말씀드렸습니다.
이번 여행은 National Science Foundation (NSF) 방문이 목적이었습니다.
이번 방문을 통해 NSF의 panel review 시스템에 대해서 많이 배울수 있었습니다.
백문이 불여일견이란 말이 생각나더군요.
경험을 공유하고자 이렇게 글을 씁니다.

Stafford I이라는 빌딩이 NSF의 main건물입니다. 겉으로 보기엔 주위의 사무실 건물들과 같은데 들어가자 마자 신분증을 제시하고 방문뱃지를 받도록 되어 있더군요. 방문기간 동안 건물을 들고 날 때는 이 명찰을 착용해야 한다는군요. 이틀 동안의 방문이라 이틀짜리 입건물사증(?)으로 명찰을 발급받았습니다.

비가 오는 통에 지하 주차장을 통해 panel review가 열리는 옆건물인 Stafford II로 갔습니다. Stafford II 건물 1층에는 한국인이 운영하는 일식집이 있습니다. 점심때는 스시부페를 하는데 한 12불 정도하더군요. 웬 횡재냐 하면서 세접시나 먹었더니 배가 터질 듯 했습니다. 나이가 나이인 만큼 밥통의 탄성계수가 줄어들어서 이젠 부페식당은 자제해야 할 듯 합니다.

32편의 연구 제안서를 놓고 13명 정도의 panel들이 할당되었더군요. 각 panel reviewer별로 약 8편이 책임할당 되어서, 워싱턴으로 미팅을 오기 전에 자기가 한 review결과를 internet을 통해 upload하게 되어 있습니다. 다 같이 모여서 하는 일은, 책임 할당 받은 사람들이 대면하여 각자의 review결과를 설명하고 이견이 있을 때 조율하여 최대한 객관적이 review결과가 나오도록 하는 것입니다. 만약 연구제안자와 4년이내에 공동연구를 하였거나 advisor, thesis student, 등의 관계이면 철저히 COI(conflict of interest)에 의해 리뷰과정에서 배제됩니다. 처음부터 책임할당되지 않을 뿐 아니라 토론시 토론장 밖에서 기다려야 합니다.

요즘 NSF의 자금사정이 안좋아서 32편중에 약 X편정도만 지원될거라고 하더군요. 나머지 XX명의 제안자들은 막말로 빠꾸먹는거죠. 32편중에 약 27편 정도가 약 세개의 주제로 분류가 되더군요. 즉, 같은 주제의 경쟁 프로포잘이 당장 8편이라는 거죠. 이중에 가장 우수(Excellent)로 분류되어야 일단 희망이 생기는 겁니다. 그러고도 빠꾸먹을수 있는 거죠. 토론을 들어보니 개판인 제안서도 한두편있어서 금방 논외의 대상이 되었지만, 대부분의 경우 심혈을 기울여 작성한 제안서다 보니 리뷰어들도 순위를 정하는데 갑론을박이 대단하더군요. 리뷰어들도 그 분야에서 좀 한다는 사람들이라 자기가 높게 평가한 제안서가 다른이에게서 낮게 평가되면 마치 자기가 쓴 제안서인냥 열정적으로 변호를 하더군요. 간혹 목소리가 올라가기도 하고 얼굴이 벌게지기도 합디다.

이틀에 걸쳐 이런 토론을 하여 결론을 내더군요. 결론이 나면 scribe가 summary를 작성하는데, 연구비를 지원받을 몇 편을 제외하고는 잔인하게 Not competitive라고 요약문에 쓰더군요. 저러면 제안자가 상처(?)받지 않느냐고 했더니 다들 시스템이 이렇게 돌아간다는 것을 알기 때문에 괘념치 않는다하더군요. 리뷰어들의 비판을 바탕으로 제안자들은 다음번을 위해 더 좋은 제안서를 준비하겠죠. 

리뷰과정을 통해서 리뷰어들도 많이 배우는 것 같습니다. 사실 여행경비를 NSF가 부담합니다만 자기에게 도움이 안되면 누가 이런 일 하고 싶겠습니까? 대충 눈치를 보니 다들, 한편으로 NSF를 위해 봉사하고 한편으로는 잘 쓴 제안서들을 통해 누가 어떤 연구를 앞으로 어떻게 하겠구나 정탐해 가는 것 같더군요. 이들 리뷰어들은 제안서에 실린 내용으로는 절대 연구하면 안되므로 정히 하고 싶으면 그 다음 단계연구를 할 수 밖에 없습니다. 이들이 다 자기 연구실로 돌아가서 다음번 연구비를 따기위해 그 다음 단계의 연구 제안서를 작성할 것이라 생각하니, 왜 미국이 계속 과학기술 분야에서 앞서나가는지 이해가 가더군요.

제안서를 받고, 리뷰를 하고, 연구비를 할당하고 하는 NSF의 활동이, 단지 국민의 세금인 연구비를 누가 얼마를 타가느냐를 정하는 것만이 목적이 아니었습니다. 가장 설득력있고 promising한 제안서가 자금지원을 받고 그 돈으로 제안자가 학생을 고용해 그런 연구를 하고, 그동안 또 실패한 제안자들은 권토중래 다음 연구를 제안하고 제안하고, 리뷰를 하면서 다음단계 연구를 구상하고... 이렇게해서 미국의 과학기술은 세계에서 1위인가 봅니다. 물론 평가도 사람이 하는 일이라 교묘하게 쓰인 나쁜 제안서가 높게 평가되는 것 등의 문제가 없지는 않지만, 우수한 시스템이라는 판단이 들었습니다. 이번 방문을 통해 선진시스템을 보고 참 많이 깨달았습니다. 미국이 다시 한번 두려워졌습니다.






 
 

 
 
배성원 (2004-04-16 11:16:01) 
 
한국에서 저런 proposal review는 어떻게 진행되는지 그 현장의 모습을 알려 주실 회원은 안 계신가요? 나쁜면을 보여달라는 것이 아니라 선정이 이루어지는 절차와 과정과 그속의 철학을 담담하게 써 주십사..... 
 
 
 
준형 (2004-04-16 21:43:02) 
 
작년에 제 지도교수가 냈던 NSF Career 같은 경우엔 "추천" 을 받았지만, 돈이 없어서 지원이 안 돼었던 경우도 있었습니다. 다행이 올해는 추천도 받고, 돈도 받아서 다들 즐거워 하고 있지 만요^^ 
 
 
 
John (2004-04-18 15:39:02) 
 
배성원님, 제가 그 일을 해봤기 때문에 생생한 현장의 모습을 알려드릴 수 있는데, 법적인 문제가 발생할까봐요. 명예훼손으로 건다든지 하는 것 말입니다. 조준호님의 NSF 방문기의 내용에 비하면 결국 상당 부분이 매우 부정적이기 때문이죠. 
 
 
 
김덕양 (2004-04-18 23:18:01) 
 
John 님 가명으로 해서 소설이랍시고 써주시면 안될까요? ^^ 
 
 
 
소요유 (2004-04-20 08:44:17) 
 
제 분야는 제안서 (proposal)이 전부라고 말할 수 있는 분야 입니다. 왜냐하면 연구장비를 설치하는 것도 운영하는 것도 개인 혹는 연구소 하나가 감당하기에는 무리이기 때문입니다. 허블망원경을 생각해 보시면 알겁니다.

저는 일년에 연구제안서만 5~10편 씁니다. 그중 1/3은 국내에 나머지는 국제적인 시설에 말이죠. 그 중에 제가 리뷰어에 참여하는 것이 두어건 됩니다.

보통 국제적인 시설의 연구제안서 경쟁률이 5:1 ~ 15:1이 됩니다. 허블망원경의 경우에 대략 10:1 정도입니다. 
 
 
 
소요유 (2004-04-20 08:53:22) 
 
보통 좋은 연구시설의 경우 연구제안서 쓰기와 리뷰는 잘 나간다는 네이쳐 논문 투고와 리뷰 저리가라 일 겁니다. 개인적인 경험으로는 연구제안서 한편 쓰기가 괜찮은 논문 한편 쓰기보다 어렵습니다.

국제적인 시설의 연구제안서 리뷰는 논문 리뷰와 마찬가지로 레퍼리들의 코멘트가 붙어 옵니다. 자기가 왜 떨어졌는지 아니면 무엇을 보완해야 할 것인지에 대한 코멘트가 붙어 통보됩니다.

대개 결과에 만족스럽지 않으면 욕하는 것은 만국 공통이더군요. 그러나 그 떨어진다는 것을 순순히 받아들이고 다음을 준비하더군요.

한편 대학원 교육 과정과 학회 혹은 학계 차원, 각 연구소 차원에서 실무적인 워크샵을 개최하고 이러한 기회를 통해서 프로포잘 작성과 같은 실질적인 교육이 이루어 지고 있습니다.

왜냐하면 프로포잘 작성 자체가 연구의 일부이기 때문입니다. 이러한 것을 우리 교육에서는 간과하고 있지만 결과를 내고 논문을 투고하는 것 만큼 아주 중요한 연구활동입니다. 
 
 
 
소요유 (2004-04-20 09:02:12) 
 
국내 실정은 상당히 부정적입니다. KOSEF의 경우는 리뷰어 풀이 있어서 경우에 따라서 저나 제 주위 사람들이 레퍼리로 선정되는 경우가 많습니다.

우선 (저도 그렇지만) 우리나라 사람의 경우는 '실패'에 대하여 인정하지 않으려는 경향이 큽니다. 따라서 리뷰어들은 냉정하고 냉철하게 판정하는 것을 꺼리는 경향이 있습니다.

두번째로 학연 혹은 지연이 "아주 크게" 작용합니다. 즉 연구제안서 외적인 평가인 개인에 대한 평가가 함께 이루어지기 때문에 결과에 불복할 가능성이 높습니다. 왜냐하면 왜 제외되었는가를 '점수' 이외에 명확하게 제시하지 못할 가능성이 높습니다.

셋째, 그렇다보니 토론에 의한 평가보다 리뷰라는 것이 존재할 수 없고, 평가자에게 서면 '설문'을 주고 점수를 메기게 해서 일렬로 세우는 방식을 선호하게 됩니다. 그래서 가장 중요한 리뷰라는 행위가 우리 사회에 뿌리내릴 수 없습니다.

그 결과 연구제안서 작성과 평가 및 선정 자체가 연구활동의 일부로 받아 들이기 보다는 그냥 "행정 잡일" 정도라 치부하게 되는 결과를 낳게 되어 연구활동의 상당부분이 상실된 상태라고 할 수 있습니다. 
 
 
 
소요유 (2004-04-20 09:06:15) 
 
프로포잘 작성자나 심사자 모두 연구활동이 아닌 '행정 잡일' 이라고 여기는 한 발전은 좀더 멀어질 것입니다.

이러한 연구제안서 심사 및 선정 프로세스에서 제안자의 개인적인 성향을 전혀 무시할 수 없지만 위와 같이 행정 잡일 정도로 남는한 연구제안서 심사가 연구 계획 자체에 대한 심사라기 보다는 제안자에 대한 심사가 될 겁니다. 
 
 
 
조준호 (2004-04-24 05:29:35) 
 
제안된 프로젝트를 평가 기준이 단지 제안된 연구 활동만인 것은 아닙니다. 제안서 요건으로 그동안 NSF의 펀드로 연구한 결과물로 리스트를 만들게 하므로, 패널들이 제안자의 소위말하는 track record와 이번에 제안되는 활동을 동시에 심사하더군요. 그러니까 어떤 면에서는 과거의 행적(?)과 미래의 가능성을 한꺼번에 심사한다고 할까요? 
 
 
 
김태억 (2004-05-08 21:14:01) 
 
저는 NSF에 가본적은 없지만 웹사이트는 자주 이용합니다. 저는 전공이 경제학이므로 정책자료와 통계자료를 주로 보는 편입니다. 일단 부러운게 통계자료가 아주 확실하다는 것입니다. 1953년부터 2004년까지 통계, 기업 서베이, 서베이 근거한 정책연구 자료가 가득하더군요. 우리나라 기관들중에 한국의 현실에 대한 것만 놓고보더라도 이 정도 데이타베이스를 구축한데가 있을까요? 제가 접근했던 과기연이나 어디를 봐도 비교가 안될 정도입니다. 게다가 연구 프로젝트 하나를 선정한다고 해도 프로젝트 선정을 위한 기초 정책연구가 대단합니다. 이 기초정책 연구는 과학이론의 발전, 기술혁신 촉진 및 확산, 사회정치적인 효과 모든 면을 고려한 기반위에서 나온 것이지요. 그네들 정책연구 자료 읽으면 앞으로도 미국이 세계를 지배할수 밖에 없다는 생각이 저절로 듭니다. 그만큼 대단하단 얘기죠. 그네들에 견주어 본다면 우리나라는 아예 과학기술정책이 없는것처럼 보여집니다. 산자부나 과기부에서 나오는 정책들 보면 레토릭은 화려합니다. 클러스터 구축, 동북아 허브 등등요. 근데 그거 정책자료 읽어보면 말도 안되는 얘기들이 너무 많습니다. 희망사항들이 논거로 뒤바뀐 것도 많고, 말 안되는 부분은 예산책정으로 대충 넘어갑니다. 그러니 정책이 추진돼도 남는게 별로 없고, 돈은 들이붓지만 여전히 이공계 실업이니 이런 현상들이 해결되지 않는 것이지요. 글 적다보니 부정적인 얘기만 늘어놨는데 언제 한번 NSF 시스템과 우리나라 과기정책을 비교하는 글을 올려보도록 하겠습니다.

근데 저는 기본적으로 산자부 기술정책이 지금보다 더 강화되고 과기부 역할은 좀 줄어들어야 한다고 보는편인데 여러분들은 어떤 생각을 하시는지 모르겠습니다. 즉, 과기부는 과학 및 교육에 산자부는 산업기술에 특화되어야 하고 대부분의 기술정책은 산업정책과의 연관속에서 입안 집행되어야 한다고 생각 합니다. 근데 이 경계가 모호하다 보니까 돈은 돈대로 들고 효과는 없는 상황이 발생한다고 보거든요. 게다가 기술정책이 전면에 나서야만 이공계 문제를 해결하는 것은 물론이고 교육-연구인력-효율적인 인력활용이 가능하다고 보기 때문입니다. 이공계 배출이 되어도 이를 수요하는 곳, 활용할 수 있는 기업역량 혹은 기업활동 조건이 안된다면 문제해결이 근본적으로 이루어지기 힘들기 때문인 것이죠.

우리나라 과학기술정책의 근본적인 방향을 놓고 활발한 토론이 이루어질 수 있었으면 좋겠습니다. 저 역시 다양한 토론주제들 제기해 보도록 하겠습니다. 
 
 
 
손채화 (2004-05-24 17:37:15) 
 
"산자부 기술정책이 지금보다 더 강화되고 과기부 역할은 좀 줄어들어야 한다고 보는편인데 "

한편으로는 찬성이지만 한편으로는 반대입니다. 우리나라의 특성상 기술이 바로 상업화되어 돈을 벌어야 한다는 데는 찬성입니다만 한편으로는 그로인한 기초학문 및 기술개발의 위축이 걱정되기 때문입니다. 이미 다 죽었지만... 산자부의 입김이 커지게 되면 연구소 아마 다 죽어갈지도 모르지요. 업체랑 같이 연구한다는 것, 특히 대기업이랑은 거의 불가능합니다. 할 수 있는 연구기관 몇개 안될 겁니다. 산업기술은 회사가 훨씬 앞서가므로,.., 따라서 기초기술 및 과학에도 적절한 관심과 노력이 함께 주어져야 한다고 봅니다. 그러지 않으면 정말 기술은 사오기만 하면 된다는 식으로 되어버려서 더이상 과학기술자들의 필요가 없어질지도 모릅니다. 
 

2004년 4월 15일 과학기술 정책/칼럼 게시판에서

http://www.scieng.net/zero/view.php?id=science&page=1&category=&sn=off&ss=on&sc=on&keyword=&select_arrange=headnum&desc=asc&no=715