우리 정부는 1980년대까지는 연구과제를 중심으로 평가를 실시하였으나, 1990년대 이후 국가R&D사업이 확대‧다양화되면서 사업과 기관에 대한 평가제도를 도입했다. 2005년도에는 앞서 설명한 바와 같이, 성과평가법 제정 후, 이를 근거로 국가R&D사업과 연구기관에 대한 평가방법과 절차를 성과 중심으로 전환하였고, 연구수행주체가 사전에 성과목표와 성과지표를 제시하고, 이를 토대로 성과목표달성여부 중심으로 성과평가하는 제도를 도입하였다. 2005년 성과평가법 제정과 함께「1차 및 2차 기본계획」이 시행 중에 있고, 현재「3차 기본계획」이 공식적으로 발표되었다. 본 기본계획은 향후 5년간 추진하고자 하는 성과평가의 기본방향을 담고 있으며, ‘과학기술의 질적 성장과 창의적 연구개발을 촉진하는 성과평가’를 목표로 하고 있다.

<연구개발성과평가기본계획 및 국가R&D사업 패러다임>

미국, 일본, EU의 국가R&D 투자 상위국들과 우리나라의 평가제도를 비교해보면, 4개국이 공통적으로 R&D의 효율성과 효과성의 극대화를 위해 성과평가를 위한 근거 법령과 실시계획 등을 제정하여 실시하고 있음을 확인할 수 있다. 다음은 주요국들의 국가R&D 평가체계를 항목별로 요약한 비교표이다. 주요국의 이슈별 시사점을 살펴보면, 사업 특성에 따른 맞춤형 평가, 상위 정책과 분야 중심의 평가, 평가의 자율성과 질적 평가의 강화 등으로 요약할 수 있다.

<연구개발성과평가기본계획 및 국가R&D사업 패러다임>

(참고자료:이길우 외, KISTEP, 2013)

3. 국가R&D사업에서 성과분석의 중요성 대두 

국가R&D사업에서 ‘연구성과’는 법률^* 상 “연구개발 활동을 통하여 창출되는 특허, 논문 등 과학기술적 성과와 그 밖에 유·무형의 경제·사회·문화적 성과“로 규정된다. 연구성과는 크게 산출(Output)과 효과(Impact)로 크게 분류하고, 효과(Impact)는 다시 영향을 또 다시 과학기술적 영향, 경제적 영향, 사회적 영향, 정책적 영향 등으로 재분류한다. 성과가 창출되는 시점과 활용단계에 따라 분류하기도 하는데, 예산 지원을 통해 직접적으로 창출되는 논문, 특허, 시제품 등의 성과는  1차적 성과,1차 성과가 발전하여 새로운 유형으로 성과로 창출되는 기술이전, 사업화, 로열티 등을 2차적 성과로 구분하기도 한다.

*「국가연구개발사업등의 성과평가 및성과관리에 관한 법률」제2조제8호에 근거

<R&D사업의 투입, 산출 성과 및 효과>

(참고자료:연구재단, 2013)

우리 정부는 2005년도 성과평가법의 제정과 선진국의 R&D 패러다임 변화에 따라, 2010년 이후 사업의 결과, 즉 질적 성과 중심의 성과평가를 더욱 강화하고 있다. 특히 2014년도부터는 성과평가 대상사업에 대해 사업결과에 대한 성과분석을 의무화하였고, 정량적 성과목표달성도와 성과의 질적 우수성에 전체 100점 만점 중 70점을 배점하는 등 성과의 창출과 함께 성과의 질적 우수성에 대한 증명을 강화하고 있다.

실제로 2015년 이전까지는, 가중치를 부여한 특허와 논문의 성과지표로의 활용을 허여하였으나, 2015년도, 즉 2016년도 국가R&D사업 성과평가부터는 단순 건수 또는 지수로 표현된 성과지표는 불허한다고 공식 발표하였다. 따라서 2016년도부터 국가R&D사업에서는 미래부에서 권고하는 성과지표, 즉 특허 관련 성과지표는 K-PEG 또는 SMART 점수, 논문 관련 성과지표는 mrnIF(표준화된 순위보정영향력지수) 또는 논문 피인용도지수를 활용해야 한다. 논문 피인용도지수에 대해서는 공식적으로는 사용가능하다고 미래부는 밝히고 있지만, 연도가 지나면 자연적으로 쌓이는 포인트와 같다는 해석과 함께 비공식적으로는 성과지표로의 활용 지양을 권고하고 있다.

국가R&D사업을 측정하고 분석하는 방법은 계량화 정도에 따라 정량적 방법, 정성적 방법, 준정량적방법으로 구분하고, 성과유형에 따라서는 기술적, 경제적, 사회적, 종합심층분석으로 구분한다. 기술적 성과분석에 있어서 기본적인 추이, 추세분석은 자료포락분석(DEA)을 활용하는데 통상적으로 효율성 분석 방법으로 잘 알려져 있다. 또한 효과분석에는 IF(Imfact Factor) 등이 활용되지만, 실제로 측정방법이나 결과에 대한 신뢰성 문제로 사실 상 경제적 분석방법과 함께 공인되지는 못하고 있는 실정이다. 자사의 경우는 지난해에 보건복지부 사업에 대한 성과분석 연구를 수행하면서, 사업화지수를 개발하고 2차원 딜로이트 분석 방법을 국가R&D사업 최초 적용함으로써, 성과분석 방법에 대해 긍정적인 평가를 받은 바 있다.

<국가R&D사업 성과분석 방법>

*볼드체는 특허법인 다래의 고유한 성과분석 방법을 의미함

사업의 성과분석 결과는 통상 진행 중인 사업의 계속여부를 평가하는데 활용된다. 특히 중장기사업의 성과분석 방법은 사업성과의 성과의 효율성 및 영향요인 분석을 위해 자료포락분석(DEA), 기술효율성분석 방법이 사용된다. 중장기사업은 투입되는 시간과 예산의 규모가 거대하기 때문에, 해당 사업의 성과측정과 분석은 일정기간 이후 진행하고, 분석결과에 따라 사업의 연속성에 대한 의사결정을 수립한다. 국가R&D사업의 사업결과에 대한 성과분석은 2013년도 신 정부 출범 이후, 연구성과에 대한 체계적 관리뿐만 아니라, 기술이전 사업화 창업 등의 성과 확산이 중요한 이슈가 되면서 그 중요성이 더욱 부각되고 있다.

4. 맺음말 

국가R&D사업은 매년 60조원으로 예산과 사업 규모가 확대되고 있고, 우리 정부는 투자 효율성과 효과성 측정을 위해 국가R&D사업 성과평가를 강화하고 있다. 최근 5년간 국가R&D사업 성과평가는 성과목표 및 지표체계 정립, 성과분석의 필수적 도입, 질적 우수성과의 도출 견인 등의 뚜렷한 성과를 낳았지만, 단위사업이 아닌 세부사업 중심의 평가, 과도한 성과목표‧지표 관리 및 점검, 유사업무의 중복 등으로 연구자와 관리자의 업무 과중 등 애로사항이 가시화되기도 했다. 또한 성과분석의 경우에서는 질적 성과지표의 설정과 성과분석을 요구하고 있지만, 사실상 이론적으로 활용할 수 있는 성과분석 방법(론)의 적용으로는 분명히 사업 결과분석에 한계가 있을 수 있다.  

국가R&D사업 성과평가에서 현재 중요한 쟁점이 되고 있는 ‘관리 효율성 중심의 평가’와 ‘연구자 중심의 평가’의 문제는 굉장히 중요하고 민감한 사안이 아닐 수 없다. 사실 상 우리 정부는 2010년도를 기점으로 그 이전에는 ‘연구자 중심의 평가’로 시행했다고 볼 수 있다. 그 근거를 보면 성과평가 점수가 사업 대부분이 80점에서 90점 사이로, 대부분 자체평가 점수가 최종점수로 확정이 되었다. 그러나 2010년도 이후부터는 ‘상대평가’ 등의 도입과 평가강화로 평가점수 90점 이상을 획득한 사업이 2015년도 현재까지 단 하나의 사업도 존재하지 않는다. 

미래부는 '3차 기본계획‘ 발표를 통해, 2010년도 이전의 평가 기조로의 선회를 공식 선언했다. 물론 과거로의 회귀가 아닌 발전적 전략 수립을 통한 선회를 의미한다고 생각한다. 그러나 현재 연구자들은 정부는 ’상‘보다 ’벌‘에 무게를 둔다고 토로하고 있고, 또 한편에서는 연구비 횡령과 남용에 대한 기사기 심심치 않게 보도되고 있다. 따라서, ‘관리 효율성 중심의 평가’와 ‘연구자 중심의 평가’의 장단점에 대한 검토가 선행되어야 하고, 연구자, 관리자, 정책결정자가 모두가 공감하고 수용할 수 있는 정책 마련을 위한 지속적인 작업이 실행되어야 할 것이다.