제목: 제26회 열린정책위원회 정기세미나
일시: 2019년 8월 3일 15~18시
장소: 서울 공항철도 서울역 지하 3층 AREX 4호 회의실
주관: ESC 열린정책위원회
작성: 전현우
참석자 수: 총 17명
발표 제목: 문제학술지 무엇이 문제인가? : SCOPUS 게재 현황과 앞으로의 연구 방향을 중심으로
연사: 박진서 (한국과학기술정보연구원 미래기술분석센터)
1 배경.
본래 미래기술분석센터는 논문과 특허 데이터를 활용해 정량지표를 개발하는 것을 주요 임무로 하는 조직이다. 하지만 2018년 7월 뉴스타파의 보도 이전까지는 한국인들이 그렇게 문제 저널에 깊이 발을 담그고 있는지는 잘 몰랐다. 충격을 받고 2018년 11월부터 2019년 4월까지 데이터 처리 능력이 뛰어난 동료들과 연구를 진행했다. 이를 위해 문제학술지의 규정에 대한 논의를 검토하는 한편, ‘Beall’리스트를 기준으로 SCOPUS의 논문 데이터 약 4000만 건을 검토, 한국 학자들의 문제학술지 논문 수에 대한 정량적 측정을 시도해 보았다. 안타깝게도 지금까지, 반응이 가장 필요한 학계조차 과총의 성명서 이외에는 공식적인 반응이 없었고, 따라서 이 연구는 중요한 기여를 할 것이다.
2 문제학술지란 무엇인가?
문제를 지시하기 위해 쓰이는 말인 ‘부실(학술활동, 학술지)’라는 말부터 문제가 있다. 국외에서는 이름부터 논의의 대상이었으나, 이렇게 모호한 말이 사태 기술을 위해 쓰인다는 것 부터가 문제를 악화시키는 데 기여하는 듯하다. 용어법을 떠나면, 이미 상당히 자세한 기준인 ‘Beall criteria’와 여기에 따른 학술지 목록이 제안되어 있으며, 여러 제안들을 확인 가능하다. 그러나 한국에서는 결국 뉴스타파 이외의 작업이 발표되지 않은 실정이다. 국민의 세금을 낭비하는 외국 출장 같은 것을 잡는 것이 문제였지, 학술지를 평가하는 기준에 대한 논의는 안중에 없었다.
(잠시 토론: 학회의 증식은, 마치 스포츠 리그의 증식처럼 오히려 학계의 규모 팽창과 질적 향상을 도모할 수 있는 기반이 될 수 있지 않느냐는 질문이 제기되었다. 하지만 지금의 상황은 다르다는 반론이 이어졌다. 비유하자면 리그만 많아지고 팀과 선수의 숫자는 제자리걸음인 상태다. 사람들에 대한 정당한 보상구조를 만들어주는 데 집중하는 시스템 정착과는 거리가 먼 방향으로 보인다. )
중요한 블랙리스트 작성 시도가 바로 ‘Beall 리스트’이다. 안타깝게도 협박에 원작자는 블로그 문을 닫았지만 이후 뜻있는 익명 학자들이 계속 작업을 수행중이다. 심지어 http://kscien.org/ 같이 이라크에서 활동하는 그룹도 있다. Cabel의 경우에는 화이트리스트 작성 작업도 병행중이다. 물론 한국은 뉴스타파만이 제시하고 있다. 논란을 피하고자 하는 한국 학계의 현실이 반영된 모습으로 추정된다.
화이트리스트를 국가가 관리한 중요한 사례가 공교롭게도 한국이다. 국외 저널의 경우 SCI, SCOPUS에 위임한 형태이며, 국내의 경우 KCI 등재가 바로 화이트리스트다. 그러나 Beall은 오히려 화이트리스트 지정이 위험하다고 지적한다. 화이트리스트의 선별 과정이 실패할 경우, 오히려 개제는 쉽고 보상은 많은 저널을 만들어내는 통로가 될 수 있기 때문이다. 그리고 누가 선별하든, 화이트리스트가 효과를 내려면 지속적인 유지보수를 필요로 하지만, 이는 곧 갈등을 의미한다(KCI 등재지 지정 취소가 가능할 것인가?). 한국은 화이트리스트 제도의 문제점을 보여주는 산 증거일 수 있다.
문제학술지 문제에 대해 국내 논의는 연구자 개인을 비난하고 통제하는 데 집중되었다. 하지만 더 중요한 것은, 현재의 과학 출판 시스템에 무언가 문제가 있다는 징후라는 점, 그리고 이들이 가져올 귀결이 심대하다는 점이다. 생산성 압력이 존재한다면, 학자들은 부실 학회에 논문을 싣고자 하는 동기를 가지게 된다. 그리고 이들 저널은 과학에 대한 사회의 신뢰를 훼손시켜 지식을 산출하는 과학의 중요한 역할을 침식할 것이다.
3 데이터 수집 및 분석
이 작업은, 국제 비교를 위한 지표를 만들기 위한 작업이며, 한국의 상황을 긍정적으로 평가하는데 도움이 되는 지표보다는, 문제 상황을 정직하게 드러내는 지표를 만들기 위한 작업이었다. 특히 학계의 상황을 나타내는 지표 가운데, 학계가 망가지고 있는지 보여주는 지표에 대한 연구는 드물다. 바로 이게 이번 연구의 목적이었다.
먼저 Beall 리스트를 사용해 문제학술지를 판정하고 규모를 측정했다. 유사한 방법을 쓴 체코와 러시아 연구를 통해, 한국 학계가 문제학술지와 상대적으로 많이 엮여 있다는 것은 이미 잘 알려져 있다.
4 주요 결과
한국의 SCOPUS 등재 논문 수는 선형적으로 증가했다. 그런데 문제학술지 수록 논문 수는 지수적으로 증가했다. 또한 한국은 인도 다음으로 높은 문제학술지 등재 비율(=문제학술지 수록 논문수/SCOPUS 수록 논문수)을, OECD 회원국 가운데서는 압도적으로 높은 비율을 기록하고 있었다. 이 비율은 2011년 이후 급격히 증가했다. 또한 국제 추세보다 훨씬 더 빠르게 문제학술지 등재 비율이 상승한 분야가 여럿 관찰되었다. 화학(화공 포함), 컴퓨터과학, 에너지, 공학, 환경과학, 의학, 재료공학, 수학, 다학제, 물리학, 사회과학에서 국제 추세 이상의 문제학술지 등재비율이 확인된다. 이는 연구비가 몰리는 분야 뿐만 아니라, 일부 기초과학 분야에서도 뭔가 큰 문제가 있다는 뜻이다.
이런 과정에 대한 해석은 여러 가지가 가능하다. 그러나 초점은 결국 지금까지의 연구 보상 체계로 가야 할 것이다. 논문 수에 대한 강조, 부실학회 기준에 대한 외주화 등. 그렇다면 이런 보상 체계에 대한 개혁 방법이 필요한 것인데, 지금은 연구자 개인에 대한 비난으로 초점이 가 있다.
5 토론과 고민거리
책임있는 주체가 나서서 출판 보상 체계를 건드려야만 하는 상황이지만, 누구도 책임지지 않는 것이 현실이다. 특히 화이트리스트의 위험성을 보여준 정부의 판단이 필요하고, 동시에 이를 강제하기 위한 정책적 조치들과 각 주체들의 행동 지침이 널리 논의될 필요가 있다. 연구 평가에 대한 DORA 선언(http://scienceon.hani.co.kr/102455), 레이덴 선언(http://www.leidenmanifesto.org/uploads/4/1/6/0/41603901/leidenmanifesto_kor.pdf ) 등은 널리 알려진 주요 지침들이다. 이것을 지킨다는 선언이라도 해야 하지 않을까. 또한 더 많은 연구 데이터 공개를 통해, 연구 과정과 논문의 기초를 더 투명하게 드러내야 하지 않을까.
10. 마무리 토론.
2010년경의 문제학술지 수록량 증가에 대한 평가는 어떤 로 데이터를 활용해 이뤄졌는가? 기초 데이터만 썼나, 초록이나 프로시딩까지 확인해 본 것인가? - 이 문제는 향후 연구 방향으로 생각중이다. 아직은 분석능력이 부족해서 기초적인 데이터만 활용했다.
막 연구를 시작하는 초학자의 입장에서, 한국어 학술문헌의 질이 담보되지 못하는 상황은 안타깝다. 교육 면에서 악영향이 올 수 밖에 없다.
한국 저널 생태계의 특징에 대한 세밀한 연구가 필요한 시점이라는 데 공감. 그러나 한국적 현실에서 가능한 반발이 아주 클 것이고, 쉽게 건드릴 수 있는 주제는 아니다. 블랙리스트, 즉 한국판 Beall 리스트 제작이 필요한 상황이지만 상황이 어둡다. 전문가 집단에 대한 신뢰가 무너져 가는 현실처럼 보인다.
블랙리스트 등재지에 논문을 낸 학자들에 대한 사회적 인식도 문제가 된다. 논문의 내용을 보지 않고 바로 개인을 비난하는 것은, 오히려 문제 해결을 어렵게 만드는 방향으로 보인다.
그러나 계속해서 다음 연구를 할 수 있는 주제이고, 특히 대규모의 데이터 취급을 통해 학계의 경향성에 대한 그림을 그리는 작업은 더욱 필요하다. 관심이 있는 사람들은 발표자에게 연락 바란다.
