국가R&D사업 성과평가 제도에 관한 소고
- 조회수
- 202
- 작성일
- 2015.04.13
국가R&D사업 성과평가 제도에 관한 소고
* IMD(스위스 국제경영개발원)에서 1989년부터 매년 상반기에 세계 60개 국가를 대상으로 발표하는 국가경쟁력 순위
<공공연구기관 보유기술>
연도 | 누적보유기술(건) | 누적보유기술 평균(건) | 신규보유기술(건) | 신규보유기술 평균(건) |
2007 | 55,758 | 293.5 | 12,675 | 70.4 |
2008 | 66,720 | 274.6 | 14,470 | 59.8 |
2009 | 73,967 | 348.9 | 15,247 | 80.7 |
2010 | 87,367 | 373.4 | 18,439 | 88.2 |
2011 | 116,439 | 475.3 | 19,995 | 81.3 |
2012 | 190,280 | 728.2 | 24,661 | 94.9 |
(참고자료:기술이전사업화 조사분석 자료집, 한국산업기술진흥원, 2013)
그러나 우리나라는 경제 규모 대비 R&D 투자 규모에서 선진국 수준에 근접하고 있는 실정이나, R&D 투자 절대 규모가 선진국에 비해 열세이고, 기술수준 또한 선진국에 비해 뒤쳐져 있는 것으로 확인되었다. 미래부의 총 10대 분야에 대한 주요 5개국 간 기술수준 평가 결과, 2012년도 기준으로 우리나라는 전체 4위에 해당하고 기술격차는 4.7년 늦은 것으로 나타났다.
<2012년 10대 분야별최고기술 보유국 대비 기술수준및 기술격차>
기술수준 분야 | 미국 | EU | 일본 | 한국 | 중국 | |||||
기술 수준(%) | 기술 격차(년) | 기술 수준(%) | 기술 격차(년) | 기술 수준(%) | 기술 격차(년) | 기술 수준(%) | 기술 격차(년) | 기술 수준(%) | 기술 격차(년) | |
정보전자통신 | 100.0 | 0.0 | 90.1 | 1.9 | 90.8 | 1.6 | 82.2 | 2.9 | 67.5 | 5.3 |
의료 | 100.0 | 0.0 | 93.2 | 1.5 | 90.8 | 1.9 | 77.6 | 4.1 | 65.1 | 6.0 |
바이오 | 100.0 | 0.0 | 94.6 | 1.5 | 94.1 | 1.9 | 77.3 | 5.0 | 65.9 | 7.5 |
기계제조공정 | 100.0 | 0.0 | 97.1 | 0.9 | 96.2 | 1.1 | 82.2 | 3.8 | 68.8 | 6.1 |
에너자자원극한기술 | 100.0 | 0.0 | 96.1 | 0.9 | 93.6 | 1.5 | 77.4 | 4.8 | 68.6 | 6.1 |
항공우주 | 100.0 | 0.0 | 93.0 | 2.8 | 84.4 | 5.0 | 66.8 | 10.4 | 78.3 | 5.9 |
환경지구해양 | 100.0 | 0.0 | 98.7 | 0.5 | 95.9 | 1.3 | 77.2 | 5.4 | 63.2 | 8.3 |
나노소재 | 100.0 | 0.0 | 93.6 | 1.7 | 96.0 | 1.1 | 67.7 | 4.5 | 69.0 | 5.7 |
건설교통 | 100.0 | 0.0 | 97.5 | 0.8 | 97.7 | 0.7 | 79.0 | 4.7 | 66.5 | 7.5 |
재난재해안전 | 100.0 | 0.0 | 90.2 | 2.7 | 93.4 | 2.1 | 72.0 | 6.3 | 62.8 | 8.2 |
전략기술 전체 | 100.0 | 0.0 | 94.5 | 1.4 | 93.4 | 1.6 | 77.8 | 4.7 | 67.0 | 6.6 |
(참고자료:최한림, 2013)
R&D를 통해 창출된 기술개발 성과를 사업화하는 역량도 또한 취약한 상태이며, 특히 막대한 연구비가 투자된 공공연구사업을 통해 창출될 연구성과가 민간으로 이전되어 경제적 효과를 창출하는 데는 다소 미흡한 점으로 지적되고 있다. 공공연구기관의 기술보유건수를 살펴보면, 2012년도 누적 기술보유건수는 190,280건이고 당해연도 기술이전 6,676건으로, 전년도에 비해 28.6% 증가한 것으로 나타났다. 그러나 연구결과에 따르면 당해연도 기술이전율을 기준으로 했였을 때, 국내 대학, 공공연구소의 기술이전율 27.1%는 미국 대학, 연구소의 기술이전율인 36.9% 보다 낮고, 캐나다의 26.1%, EU의 23.8% 보다는 다소 높은 것으로 나타났다.
<공공연구기관 기술이전 현황>
구분 | 기술보유현황 | 기술이전현황 | 기술이전율 | |||
누적(건) | 2012년(건) | 누적(건) | 2012년(건) | 누적(%) | 2012년(%) | |
전체 | 190, 280 | 24,661 | 35,299 | 6,676 | 18.6 | 27.1 |
공공연구소 | 127,040 | 12,179 | 23,351 | 4,245 | 18.4 | 34.9 |
대학 | 63,240 | 14,482 | 1,948 | 2,431 | 18.9 | 19.5 |
(참고자료:박경순, 2013)
즉, R&D투자의 국내총생산 대비 연구개발비 비중은 선진국 수준을 상회하는 수준이나 총 연구개발비는 미흡한 실정이다. 따라서, 총 연구개발비의 투자의 규모의 개선뿐만 아니라 연구개발비의 투자의 효율성을 제고하기 위한 기술개발 성과 창출과, 창출 성과의 기술이전 및 사업화 촉진을 위한 관리와 시행이 시급한 상황이다.이에 우리 정부는 R&D 예산 증가와 R&D 투자 효율성 제고에 대한 과제를 해결하기 위해, ‘투자 효율성 중심’에서 ‘성과의 창출 및 활용’ 중심으로 국가R&D에 대한 패러다임을 전환하였고, 2005년도에 국가연구개발 성과평가법 제정을 통해 성과중심의 평가를 실시하고 있다.
우리 정부는 1980년대까지는 연구과제를 중심으로 평가를 실시하였으나, 1990년대 이후 국가R&D사업이 확대‧다양화되면서 사업과 기관에 대한 평가제도를 도입했다. 2005년도에는 앞서 설명한 바와 같이, 성과평가법 제정 후, 이를 근거로 국가R&D사업과 연구기관에 대한 평가방법과 절차를 성과 중심으로 전환하였고, 연구수행주체가 사전에 성과목표와 성과지표를 제시하고, 이를 토대로 성과목표달성여부 중심으로 성과평가하는 제도를 도입하였다. 2005년 성과평가법 제정과 함께「1차 및 2차 기본계획」이 시행 중에 있고, 현재「3차 기본계획」이 공식적으로 발표되었다. 본 기본계획은 향후 5년간 추진하고자 하는 성과평가의 기본방향을 담고 있으며, ‘과학기술의 질적 성장과 창의적 연구개발을 촉진하는 성과평가’를 목표로 하고 있다.
<연구개발성과평가기본계획 및 국가R&D사업 패러다임>
1차 기본계획 (2006~2010) |
| 2차 기본계획 (2011~2015) |
| 3차 기본계획 (2016~2020) |
‧부처 자율성에 기반을 둔 평가 ‧심층분석적 평가를 통해 구체적 대안 제시 ‧계량적 지표를 활용한 객관적 평가 | ⇒ | ‧참여확대를 통한 열린 평가 ‧R&D 정책평가를 통한 선순환적결과 활용 ‧질적 성과제고를 위한 평가 | ⇒ | ‧연구자중심 평가추진 ‧질 중심의 평가강화 ‧평가의 자율성 확대 ‧정책,투자,예산과의 연계 ‧평가의 투명, 신뢰성 제고 |
미국, 일본, EU의 국가R&D 투자 상위국들과 우리나라의 평가제도를 비교해보면, 4개국이 공통적으로 R&D의 효율성과 효과성의 극대화를 위해 성과평가를 위한 근거 법령과 실시계획 등을 제정하여 실시하고 있음을 확인할 수 있다. 다음은 주요국들의 국가R&D 평가체계를 항목별로 요약한 비교표이다. 주요국의 이슈별 시사점을 살펴보면, 사업 특성에 따른 맞춤형 평가, 상위 정책과 분야 중심의 평가, 평가의 자율성과 질적 평가의 강화 등으로 요약할 수 있다.
<연구개발성과평가기본계획 및 국가R&D사업 패러다임>
구분 | 한국 | 미국 | 일본 | EU |
관련 법령 및 지침 | 연구성과평가법 (2011), 성과평가기본계획 (2011-2015) | GPRA 현대화법 (2010), OMB Circular A-11Part6(2012) | 과학기술기본법 (1995), 국가연구개발평가 대강적지침(2012) | 유럽연합재정법 (2000), 유럽위원회 평가기준권고안 (2007) |
평가주체 | 국가과학기술위원회 각부처연구기관 | 관리예산처(OMB), 각연방기관 | 종합과학기술회의 각성省), 연구개발법인 | 유럽위원회 연구혁신총국 각총국(DG) |
평가대상 | 연구개발사업 연구기관 | 중장기전략계획 연차성과계획 | 연구개발 프로그램 연구개발 과제 연구개발 기관 연구자 업적 | 연구개발 과제 연구개발 기관 연구자 업적 FP 프로그램 FP 서브프로그램 FP 과제 |
평가유형 | 자체평가 상위평가 특정평가 추적평가 | 중점목표 성과검토 (분기수시보고, 전략목표 성과검토 (연차보고) | 사전평가 중간ㆍ사후평가 추적평가 특정평 | 사전평가 중간평가 최종평가 추적평가 |
평가관점 | 성과지표 장기적 파급효과 R&D 정책평가 R&D 사업군 평가 | 연방정부 중점목표 성과계획 기관 전략계획 성과계획 | 산출지표, 결과지표 정책평가의 관점 국제적 수준향상 | 전략목표 산출지표 결과지표 파급효과 |
평가결과활용 | 예산조정 및 배분에 반영 R&D계획의 수정 연구자의 포상 | 의회 보고 OMB의 검토 전략계획의 수정 | 프로그램과제의 개선ㆍ중지 R&D 시책수립 및 운영에 참고 | 프로그램의 운영개선 부실사업에 대한 예산조정 |
특징 | 국과위의 자체평가지침 표준 성과지표 제시 | 각기관의 정책 및 프로그램의 연계 평가 | 각성 및 연구기관의 자체평가지침에 따라 실시 | 프로그램 프로젝트 별로 관련 총국이 실시 |
(참고자료:이길우 외, KISTEP, 2013)
3. 국가R&D사업에서 성과분석의 중요성 대두
국가R&D사업에서 ‘연구성과’는 법률* 상 “연구개발 활동을 통하여 창출되는 특허, 논문 등 과학기술적 성과와 그 밖에 유·무형의 경제·사회·문화적 성과“로 규정된다. 연구성과는 크게 산출(Output)과 효과(Impact)로 크게 분류하고, 효과(Impact)는 다시 영향을 또 다시 과학기술적 영향, 경제적 영향, 사회적 영향, 정책적 영향 등으로 재분류한다. 성과가 창출되는 시점과 활용단계에 따라 분류하기도 하는데, 예산 지원을 통해 직접적으로 창출되는 논문, 특허, 시제품 등의 성과는 1차적 성과,1차 성과가 발전하여 새로운 유형으로 성과로 창출되는 기술이전, 사업화, 로열티 등을 2차적 성과로 구분하기도 한다.
*「국가연구개발사업등의 성과평가 및성과관리에 관한 법률」제2조제8호에 근거
<R&D사업의 투입, 산출 성과 및 효과>
(참고자료:연구재단, 2013)
우리 정부는 2005년도 성과평가법의 제정과 선진국의 R&D 패러다임 변화에 따라, 2010년 이후 사업의 결과, 즉 질적 성과 중심의 성과평가를 더욱 강화하고 있다. 특히 2014년도부터는 성과평가 대상사업에 대해 사업결과에 대한 성과분석을 의무화하였고, 정량적 성과목표달성도와 성과의 질적 우수성에 전체 100점 만점 중 70점을 배점하는 등 성과의 창출과 함께 성과의 질적 우수성에 대한 증명을 강화하고 있다.
평가부문 | 평가 지표 | 배점(점) | ||
일반 | 국방 | 시설 장비 | ||
계획 | •성과목표·성과지표는 적절한가?(성과목표·지표 사전 점검 결과와 연동) •사업내용이 목표에 적합하게 구성되었는가? | -
10 | -
10 | -
10 |
관리 | •환경변화에따라 사업 관리가이루어졌는가? * [다부처 공동사업] 부처간 협업의 적절성 | 10 | 10 | 10 |
성과 | •성과 목표는 달성하였는가? •성과는 우수한가? - 사업의효과성, 대표 성과의탁월성, 성과의 확산성등 •종합적 성과분석의 결과, 사업 효과가 있었는가? | 70 | 55 | 40 |
환류 | •평가결과를 사업 개선에 반영하였는가? | 10 | 10 | 10 |
집행 | •사업이 계획대로 추진되고 있는가? •사업을 정기적으로 모니터링하고 개선하고 있는가? | - | 15 | 30 |
실제로 2015년 이전까지는, 가중치를 부여한 특허와 논문의 성과지표로의 활용을 허여하였으나, 2015년도, 즉 2016년도 국가R&D사업 성과평가부터는 단순 건수 또는 지수로 표현된 성과지표는 불허한다고 공식 발표하였다. 따라서 2016년도부터 국가R&D사업에서는 미래부에서 권고하는 성과지표, 즉 특허 관련 성과지표는 K-PEG 또는 SMART 점수, 논문 관련 성과지표는 mrnIF(표준화된 순위보정영향력지수) 또는 논문 피인용도지수를 활용해야 한다. 논문 피인용도지수에 대해서는 공식적으로는 사용가능하다고 미래부는 밝히고 있지만, 연도가 지나면 자연적으로 쌓이는 포인트와 같다는 해석과 함께 비공식적으로는 성과지표로의 활용 지양을 권고하고 있다.
국가R&D사업을 측정하고 분석하는 방법은 계량화 정도에 따라 정량적 방법, 정성적 방법, 준정량적방법으로 구분하고, 성과유형에 따라서는 기술적, 경제적, 사회적, 종합심층분석으로 구분한다. 기술적 성과분석에 있어서 기본적인 추이, 추세분석은 자료포락분석(DEA)을 활용하는데 통상적으로 효율성 분석 방법으로 잘 알려져 있다. 또한 효과분석에는 IF(Imfact Factor) 등이 활용되지만, 실제로 측정방법이나 결과에 대한 신뢰성 문제로 사실 상 경제적 분석방법과 함께 공인되지는 못하고 있는 실정이다. 자사의 경우는 지난해에 보건복지부 사업에 대한 성과분석 연구를 수행하면서, 사업화지수를 개발하고 2차원 딜로이트 분석 방법을 국가R&D사업 최초 적용함으로써, 성과분석 방법에 대해 긍정적인 평가를 받은 바 있다.
<국가R&D사업 성과분석 방법>
성과유형 | 성과항목 | 분석방법 |
기술적 성과분석 | 특허 | 특허활동지수, 특허당 인용지수,기술영향력 지수, AIMS+평가(patentActivity, Intensity, Market-power, Strength) |
논문 | 추이(DEA),비율, 기여도 분석 | |
경제적 성과분석 | 경제성 분석 | 산업연관분석, B/C, 순현재가치법(NVP), IPR, BCR 등 |
사업화 | 사업화지수 개발 및 적용 | |
매출액 등 | 추이, 비율, 기여도 분석 | |
사회적 파급효과 분석 | 추가투자 | 추이, 비율, 기여도 분석 |
고용창출 | 추이, 비율, 기여도 분석 | |
종합 심층분석 | 연도별 시계열 추이분석 | 각 성과항목별로 연도별 시계열추이 분석 |
성과 네트워크 분석 | 기술개발 및 사업화성과의 연관 분석 | |
성과 활용도 및 영향요인 분석 | 단계별 성과 활용 영향요인 분석 | |
2차원 딜로이트 분석 | 딜로이트사에서 제안한 기술‧시장 분석 |
*볼드체는 특허법인 다래의 고유한 성과분석 방법을 의미함
사업의 성과분석 결과는 통상 진행 중인 사업의 계속여부를 평가하는데 활용된다. 특히 중장기사업의 성과분석 방법은 사업성과의 성과의 효율성 및 영향요인 분석을 위해 자료포락분석(DEA), 기술효율성분석 방법이 사용된다. 중장기사업은 투입되는 시간과 예산의 규모가 거대하기 때문에, 해당 사업의 성과측정과 분석은 일정기간 이후 진행하고, 분석결과에 따라 사업의 연속성에 대한 의사결정을 수립한다. 국가R&D사업의 사업결과에 대한 성과분석은 2013년도 신 정부 출범 이후, 연구성과에 대한 체계적 관리뿐만 아니라, 기술이전 사업화 창업 등의 성과 확산이 중요한 이슈가 되면서 그 중요성이 더욱 부각되고 있다.
4. 맺음말
국가R&D사업은 매년 60조원으로 예산과 사업 규모가 확대되고 있고, 우리 정부는 투자 효율성과 효과성 측정을 위해 국가R&D사업 성과평가를 강화하고 있다. 최근 5년간 국가R&D사업 성과평가는 성과목표 및 지표체계 정립, 성과분석의 필수적 도입, 질적 우수성과의 도출 견인 등의 뚜렷한 성과를 낳았지만, 단위사업이 아닌 세부사업 중심의 평가, 과도한 성과목표‧지표 관리 및 점검, 유사업무의 중복 등으로 연구자와 관리자의 업무 과중 등 애로사항이 가시화되기도 했다. 또한 성과분석의 경우에서는 질적 성과지표의 설정과 성과분석을 요구하고 있지만, 사실상 이론적으로 활용할 수 있는 성과분석 방법(론)의 적용으로는 분명히 사업 결과분석에 한계가 있을 수 있다.
국가R&D사업 성과평가에서 현재 중요한 쟁점이 되고 있는 ‘관리 효율성 중심의 평가’와 ‘연구자 중심의 평가’의 문제는 굉장히 중요하고 민감한 사안이 아닐 수 없다. 사실 상 우리 정부는 2010년도를 기점으로 그 이전에는 ‘연구자 중심의 평가’로 시행했다고 볼 수 있다. 그 근거를 보면 성과평가 점수가 사업 대부분이 80점에서 90점 사이로, 대부분 자체평가 점수가 최종점수로 확정이 되었다. 그러나 2010년도 이후부터는 ‘상대평가’ 등의 도입과 평가강화로 평가점수 90점 이상을 획득한 사업이 2015년도 현재까지 단 하나의 사업도 존재하지 않는다.
미래부는 '3차 기본계획‘ 발표를 통해, 2010년도 이전의 평가 기조로의 선회를 공식 선언했다. 물론 과거로의 회귀가 아닌 발전적 전략 수립을 통한 선회를 의미한다고 생각한다. 그러나 현재 연구자들은 정부는 ’상‘보다 ’벌‘에 무게를 둔다고 토로하고 있고, 또 한편에서는 연구비 횡령과 남용에 대한 기사기 심심치 않게 보도되고 있다. 따라서, ‘관리 효율성 중심의 평가’와 ‘연구자 중심의 평가’의 장단점에 대한 검토가 선행되어야 하고, 연구자, 관리자, 정책결정자가 모두가 공감하고 수용할 수 있는 정책 마련을 위한 지속적인 작업이 실행되어야 할 것이다.
공동저자 배순구 변리사 ‧ 안정은 책임연구원