search
Contact Us
HOME

  • Crossref logo
  • Crossref Similarity Check logo
Journal Search Engine

to

Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 2005-0461(Print)
ISSN : 2287-7975(Online)
Journal of Society of Korea Industrial and Systems Engineering Vol.47 No.2 pp.21-29
DOI : https://doi.org/10.11627/jksie.2024.47.2.021

Applying NIST AI Risk Management Framework: Case Study on NTIS Database Analysis Using MAP, MEASURE, MANAGE Approaches

Jung Sun Lim*†, Seoung Hun Bae**, Taehoon Kwon*
*Korea Institute of Science and Technology Information
**LXSIRI
†Corresponding Author : jsunnylim@kisti.re.kr
16/02/2024 05/03/2024 06/03/2024

Abstract


Fueled by international efforts towards AI standardization, including those by the European Commission, the United States, and international organizations, this study introduces a AI-driven framework for analyzing advancements in drone technology. Utilizing project data retrieved from the NTIS DB via the “drone” keyword, the framework employs a diverse toolkit of supervised learning methods (Keras MLP, XGboost, LightGBM, and CatBoost) enhanced by BERTopic (natural language analysis tool). This multifaceted approach ensures both comprehensive data quality evaluation and in-depth structural analysis of documents. Furthermore, a 6T-based classification method refines non-applicable data for year-on-year AI analysis, demonstrably improving accuracy as measured by accuracy metric. Utilizing AI’s power, including GPT-4, this research unveils year-on-year trends in emerging keywords and employs them to generate detailed summaries, enabling efficient processing of large text datasets and offering an AI analysis system applicable to policy domains. Notably, this study not only advances methodologies aligned with AI Act standards but also lays the groundwork for responsible AI implementation through analysis of government research and development investments.


AI Law , AI Regularization , NIST , NTIS , GPT , Machine Learning

NIST AI 위험 관리 프레임워크 적용: NTIS 데이터베이스 분석의 MAP, MEASURE, MANAGE 접근 사례 연구

임정선*†, 배성훈**, 권태훈*
*한국과학기술정보연구원
**한국국토정보공사 공간정보연구원

초록

    1. 서 론

    2023년 6월, 유럽 의회와 EU 이사회는 세계 최초로 포괄적인 AI 법적 틀인 AI Act를 통과시켰다[12]. 이는 AI 시스템의 국제적 기준 설정에 있어 중요한 이정표로서, 한국 내에서도 이와 유사한 법안이 작성되어 입법활동이 진행 중이다[24]. 또한 미국연방 기술표준원(NIST), 국제표준화기구 ISO, OECD와 같은 국제기구들은 이미 구체적인 AI 시스템 표준[15] 및 가이드라인 문서[25, 27]들을 공개하고 있다. 참고로, 위 언급된 AI System 법률 및 표준은 국제적인 협력을 통해 개발되었으며, 모두 동일한 방법론을 공유하고 있다. 이러한 제도적 배경은 AI 시스템의 결과 및 추론 근거를 인간이 재검토 할 필요성과 더불어 그 구체적인 방법론을 재정립하고 있다.

    위 언급한 AI 시스템의 제도화 주체들은 제안된 AI 제도화 체계를 준수하는 적용사례를 발굴하고 이를 확대할 것을 학계 및 분석현장에 장려하고 있다. 본 연구는 AI 시스템의 제도화와 호환되는 AI 기반 데이터 분석체계의 발전에 초점을 맞춘다. 이를 위해 본 연구는 유럽연합, 미국, 그리고 한국 정부가 개발하였던 대정부 데이터 분석 시스템들의 선행연구들을 다수 참고한다. 이들 선행연구에는 미국정부의 STAR METRICS(Science and Technology for America’s Reinvestment: Measuring the EffecT of Research on Innovation, Competitiveness and Science) [17-18], 유럽 연합의 사례들(KETs Observatory[8-9, 13], ATI(Advanced Technologies for Industry)[10], EMI(European Monitor of Industrial Ecosystems)[11]), 그리고 대한민국 과기정통부 R&D PIE(R&D Platform for Investment and Evaluation)[28] 등의 연구사례들이 포함된다. 본 시스템들은 국내외 정책 현장에서 정부가 필요로 하는 데이터들을 수집하고 분석하여 제공하는 목적을 가지고 있다. 해외 저명한 대학들에서는 AI 제도화를 지원하는 학제들이 활동하고 있으며[6, 31, 33], 글로벌 AI Solution 업체[14] 역시 AI 제도화 관련 솔루션을 제공하고 있다. 향후 이러한 대정부 목적의 데이터 수집 및 분석 지원 체계는 AI 제도화 및 표준과 조화를 유지하는 것이 중요하다.

    본 논문에서는 대한민국 연구개발투자 성과DB NTIS 중에서 ‘드론’ 연구개발 분야를 모델 분석대상으로 삼았다. 드론관련 NTIS DB 자연어를 통해 시간 경과에 따른 정부의 연구개발 투자 성과 변화를 파악하는 AI 기반 분 석패턴을 연구한다. 이 과정에서 AI기반 지도 학습 방법론과 BERTopic[4-5] 자연어 처리 기술을 통해 연구개발 자연어의 품질을 평가하고, 또한 분석과정 중에 객관적인 설명력을 부여한다. 년도별 자연어의 세부 정보 요약은 GPT-4[7]를 활용한다. 본 연구는 AI Act와 같은 국제적 제도화 기준에 대한 준수 필요성을 강조하며, AI 시스템이 설명 가능하고 추적 가능한 정보를 제공하는 기반을 마련하는 데 기여한다.

    2. 선행연구

    본 연구는 국제적 AI 제도화에 대응하여 국내외 정부 데이터베이스를 활용한 증거 기반 시스템 구축 및 활용을 탐구한다. 이를 위해 세 가지 주요 연구 동향에 주목한다. 첫 번째는 국가 수준의 데이터베이스(DB) 및 분석 시스템에 관한 연구다. 미국의 STAR METRICS[17-18], 유럽연합의 KETs Observatory/ATI/EMI[8-11, 13], 그리고 한국의 R&D PIE[19-23, 28] 등 대정부 데이터 시스템들의 구축과 활용 연구를 참고하였다. 이들 시스템은 정부 정책 활동을 지원하기 위해 데이터를 수집, 관리, 분석하며 중요한 인사이트를 제공한다. 두 번째 동향은 법적 제도학 변화에 대한 대응과 대정부 정보분석 및 인공지능 시스템의 준비에 관한 것이다. 유럽연합 의회에 의해 통과된 AI ACT[12] 와 같은 법률 및 규정은 인공지능 시스템의 표준화 및 준수해야 할 체계에 대한 지침을 제공한다[15, 25, 27]. 이러한 법적 환경의 변화는 대정부 정보분석 시스템 개발에 중요한 영향을 미치며, 본 연구는 이러한 표준을 준수하는 분석 체계 개발의 필요성을 강조한다. 세 번째로는 산업계 및 학계에서 진행되는 인공지능 정보분석 체계 연구에 주목한다. Stanford HAI, Berkeley CHAI, Carnegie Mellon 대학의 Human-Centered AI, 그리고 IBM의 HAI 솔루션은 설명 가능한 인공지능을 기반으로 AI Act 등 국제적인 AI 제도화에 부응하는 정보분석 체계 개발에 중점을 두고 있다[6, 14, 31, 33]. 이들의 연구 중에서, 현재 단계에서 인간과 AI의 협업(Human-AI Collaboration, 즉 AI의 용도는 합리적인 분석안을 도출하는 용도로 제한되며 그 결과의 최종 채택 여부는 사람이 판단하는 방식)을 통한 현실적인 분석 체계 구축에 관한 연구들을 참고한다.

    이 세 가지 배경은 현재 단계에서 실질적으로 적용 가능한 AI 시스템을 위한 인간과 AI의 협업(Human-AI Collaboration)에 중점을 두고 있다. AI 시스템은 분석 과정과 결과를 분석자가 쉽게 추적하고 이해할 수 있도록 객관화한다. 분석자나 위원회는 제공된 객관적인 정보의 채택 혹은 수정 등의 최종 결정을 내리는 역할을 한다. EC ATI/EMI와 대한민국의 R&D PIE와 같은 시스템들은 이러한 Human-AI 협업 분석 과정을 통해 정부 정책 개발에 필요한 중요 문서와 정보를 제공해왔다. 본 연구는 이러한 배경을 바탕으로, 한국에서 최근 주목받는 드론 기술의 현황과 기술 발전을 다각적으로 분석하는 모델연구를 수행 하였다. AI 기반의 분석 방법은 전통적인 수작업 분석에 비해 시간과 자원을 절약하는 동시에, 객관적이며 추적 가능한 분석결과를 제공한다. 특히, 유럽연합의 EMI 시스템과 같은 경우는 단순히 객관적인 분석 결과뿐만 아니라, 전문가 그룹과의 협력을 통해 더 세분화된 문서로 발전시키는 Human-AI 협력 프로세스를 진행한다. 이 연구는 AI에 의해 타당성이 입증된 분석 결과를 전문가 그룹에 제공할 수 있고, 이를 통해 정책 현장에 적용 가능한 AI 기반 분석체계 구축에 기여하는 연구를 수행하였다.

    3. 연구방법론

    본 연구는 두 가지 주요 목적에 기여하기 위한 모델 연구를 진행한다. 첫 번째 목적은 정책 현장에서의 분석 수요에 대응하고, 결과의 객관성에 대한 빈번한 논란을 완화하는 것이다. 두 번째 목적은 국제적 AI 제도화 프레임워크와 호환되는 분석 체계를 개발하는 것이다. 이를 위해 미국 연방 표준화 기관 NIST의 AI 관리문서 1.0[25], OECD의 AI 시스템 관리 가이드라인[27], ISO의 AI Risk Management 프레임워크[15]에서 공통적으로 제시하는 Map/Measure/ Manage 방법론을 통해 국제적인 AI 관리 체계와의 호환성을 추구한다. 본 연구의 데이터 분석 체계에, 위 소개된 프레임워크가 적용되는 과정을 아래와 같이 비유할 수 있다. ‘Map’은 인공지능 기반 분석체계를 통해 NTIS DB의 드론 데이터에 관한 년도별 분석이 가능한지를 파악하는 것에 대한 문제의식 과정을 의미한다. ‘Measure’는 인공지능을 통해 년도별 분석의 타당성을 정당화는, 측정 가능한 방법론을 설정하는 과정이다. ‘Manage’는 년도별 분석의 타당성을 확보하기 어려울 때, 보완적인 방법을 통해 타당성을 개선하고 이를 객관적 지표로 제시하는 과정이다.

    년도별 기술 진화과정 분석은 정책현장에서 가장 분석 수요가 빈번하며, 또한 그 분석결과의 객관성 확보에 논란이 많은 영역이다. 본 모델연구에서는 년도를 분석 라벨로 활용하는 지도학습 사례를 예로 들어, 년도 간 변별력이 낮은 경우(예를 들어, 년도를 지도학습 라벨로 사용했을 때 정확도가 0.5 이하인 경우)가 자주 발생한다는 이슈를 제시한다. 이러한 경우 비지도학습을 통해 라벨을 생성할 수 있으나, 생성된 라벨이 실제 문서의 내용을 적절히 대표할 수 있는가에 대한 논란은 학계 뿐만 아니라 분석현장에서도 여전히 이슈가 되고 있다. 대표적인 텍스트 기반 비지도학습 모형인 Latent Dirichlet Allocation(LDA)의 경우, 생성된 라벨의 수가 문서 전체를 대표하는가를 파악하기 위한 Perplexity 및 Coherence 방법론의 결과가 현장의 분석 사례들에서도 객관성을 담보할 수 있는지에 대하여, 학계의 연구에서도 명확한 해답을 내지 못하고 있다[2, 16, 23, 29, 34].

    정부 당국자들은 NTIS DB을 활용하여 국가 정책을 수립하여 왔으며, 본 연구그룹은 데이터 분석을 통해 이러한 정부부처 활동들을 다년간 보조하여 왔다. 년도별 국가연구 개발투자 정보 분석의 수요는 높지만, 년도 라벨을 이용한 기계학습 방법론이 항상 충분한 변별력을 제공하지는 않는다. 만약 년도 라벨이 높은 변별력을 제공하는 경우에는 본 연구그룹이 이전에 발표한 Explainable AI 분석 방법론 [22-23]을 통해 년도별 핵심어 변화와 특성을 분석할 수 있다. 그러나 앞서 언급하였듯이, NTIS DB의 년도 라벨을 활용한 분석에서 직접적인 변별력을 발휘하지 못하는 경우가 빈번하다. 이에 본 연구는 NTIS DB의 년도 라벨 만으로는 분석과정이 난해하였던 기존 사례들에 초점을 맞추어, 대안적인 인공지능 분석 방법론을 탐색한다. 이 과정에서 미국 NIST의 AI System 관리 절차인 Map, Measure, Management 프레임워크를 적용하여, 현재 국제적으로 중요한 AI 제도화 이슈와 본 연구그룹의 분석 한계 사례들을 동시에 고려한다. 이는 국제적인 AI Act 구축에 대한 권고에 부응하며, 대한민국 정부의 연구개발투자정책을 결정하는 정부부처를 지원하는 본 연구그룹의 역할과 부합한다. 이러한 문제의식을 바탕으로, 본 논문은 AI 제도화 프레임의 Map, Measure, Management 방법론을 적용하는 분석 과정을 이미지(<Figure 1>)에 가시화 하였다. 그리고, 해당 전략을 적용한 개선된 AI 기반 분석 방법론을 <Figure 2>에 상세히 기술하였다.

    NTIS DB에는 다양한 국가표준기술분류들이 적용되어 있으나, 이들을 인공지능을 포함한 분석방법론의 라벨로 활용하는 연구들은 제한적으로 이루어져 왔다[19-23, 30]. 본 연구에서는 그 대안적인 분석 라벨로 국가과학기술표준 분류중 한가지인 6T(IT, BT, NT, ST, ET, CT) 분류를 활용 하였다. 6T 분류는 국가가 표준화한 기술분류로서, 분류라 벨로서의 공신력을 보증받을 수 있고 또한 국가의 연구개 발조사분석평가 조사서 등에 기술 정의가 명확히 제시되어 있다. 때문에 6T 분류를 매개한 년도별 정보를 분석할 경우, 보다 객관적인 분석이 가능해 진다. 또한 LDA 등의 비지도학습에 의한 생성라벨의 경우 그 라벨 무엇을 의미하는가가 모호할 수 있으나, 6T와 같은 국가표준분류는 국가문서에서 정의한 구분이 명확하다는 장점이 있다. 년도별 특성의 분석은 6T를 매개하는 과정을 거쳐, 이하 소개하는 BERTopic NLP 분석패캐지 사용하여 수행되었다.

    3.1 분석 데이터

    본 연구에서 사용된 데이터는 대한민국 정부의 NTIS (National Science & Technology Information Service)[26] 데이터베이스에서 추출되었다. “드론” 또는 “drone” 키워드를 포함하는 2015년부터 2023년까지의 과제들을 대상으로 “국문과제명” 및 “한글 키워드”를 텍스트 자연어 분석에 활용하였으며, 총 6,931건의 과제가 검색되었다. 분석의 주요 라벨로는 “년도”를 사용하되, AI 분석의 분류 성능이 충분하지 않을 경우 국가표준기술분류의 한 종류인 6T 분류체계(IT, BT, NT, ST, ET의 6대 기술들)를 보조 라벨로 활용하였다.

    참고로 대한민국 정부의 과학기술표준분류의 한종류인 6T 기술 대분류는 2001년부터 현재까지 NTIS DB에 적용되어 왔다. 본 연구에서 6T를 선택한 주된 이유는 이 기술 분류의 안정성 때문이다. NTIS 데이터베이스에는 다양한 기술 분류가 있으나, 6T는 안정적으로 활용 가능한 대분류이다. 본 연구는 이러한 배경을 바탕으로 6T를 기술 분류 기준으로 채택했으며, 이는 연구의 방향성과 방법론에 중요한 근거가 된다.

    본 연구에서 사용한 데이터는 NTIS 연구개발 데이터베이스에서 “드론 혹은 drone”을 포함하는 과제 전체를 2015년부터 2023년까지 검색한 결과이며, 동일한 조건에서 2002~2014년간의 과제 건수는 100건 이하로 나타났다. 본 검색 일자는 2023년 9월 25일로, 이 시점을 기준으로 한 데이터 분석이다. 2015년부터 2023년까지 한글 키워드로 검색된 6,931건의 과제는 다국어 키워드 검색 결과로 현재까지 해당 영역을 대표하는 충분한 수치로 파악된다.

    3.2 BERTopic을 통한 분석방법론

    본 연구의 분석 프로세스는 Python 및 자연어 분석 도구인 BERTopic을 활용하여 설계되었다. BERTopic은 텍스트 데이터 내에서 의미론적으로 일관된 토픽을 효과적으로 식별하며, 대용량 데이터셋에도 유연한 적용이 가능하다. 이 도구는 분석 결과를 시각화하여 제공함으로써, 데이터 내 패턴과 관계를 쉽게 파악할 수 있게 한다.

    본 연구에서는 NTIS DB의 한글 기반 텍스트 정보를 sentence embedding을 통해 768 차원의 벡터로 변환하여, Bag-of-Word 기반 텍스트 분석에서 발생할 수 있는 ‘차원의 저주’ 로 불리우는 한계를 극복하는데 기여한다. 현장의 분석 과정 중 년도별 데이터 분석은 AI 분석 적합성이 낮은 경우가 빈번하며, 때문에 분석 전에 AI 해석의 가능성을 먼저 검증하는 것이 필요하다. Sentence Bert 모델을 사용하여 한글 자연어를 embedding vector로 변환한 후 Keras MLP(Multilayer Perceptron), XGboost, LightGBM, CatBoost[1, 5, 22, 32] 등의 지도 학습 방법론을 활용하여 년도 라벨의 적합성을 우선 평가했다. 년도 라벨의 변별력이 분석에 부적합하다 판단될 경우, 6T 분류체계가 대안 라벨로 활용될 수 있는지를 확인하였다. 주어진 데이터는 8:2 비율로 분할하여, 위 언급한 4개 기계학습모델들에 학습/검증 데이터셋으로 사용하였다. 참고로 위 소개한 4가지 기계학습 기법들은 정책현장에서의 가변적인 상황에서 빠른 대응이 가능한 범용성, 처리속도, 높은 성능을 고려 하여 선택하였다. 또한 이들 4가지 모델들은 아래와 같이 상호 보완적인 요소들을 고려하여 선택되었다. LightGBM은 빠른 처리속도와 비교적 낮은 메모리를 사용하여 대용량 데이터셋 분석에 효과적인 반면, 복잡한 비선형 관계 포착에 제한적일 수 있고, 또한 과적합 문제의 소지가 있다. XGBoost는 정확도가 높고, 다양한 유형의 데이터 구조에 효과적으로 작동하는 것으로 알려져 있다. 그러나 때로 과적합이 잘 발생할 여지가 있다. CatBoost는 범주형 데이터 처리에 보다 최적화 되어 있으며, 복잡한 전처리 없이도 우수한 성능을 얻을 수 있는 장점이 있는 것으로 알려져 있다. 그러나 CatBoost는 연속적이고 고차원적인 데이터에 대해서는 LightGBM 혹은 XGBoost 대비 성능이 떨어질 수 있다. Keras MLP는 비선형 패턴과 상호작용을 학습하는 능력이 보다 뛰어나지만, 큰 데이터셋에 대하여 위 학습법들 대비 처리속도가 느리거나, 혹은 보다 높은 계산비용이 요구될 수 있다. 이상을 요약하면, LightGBM은 속도와 효율성, Keras MLP는 깊은 학습 능력, XGBoost은 정확성, CatBoost는 범주형 데이터 처리 능력에 강점을 가진다[1, 5, 32]. 이들 4개의 다양한 모델들을 동시에 사용하여, 한가지 모델에서 놓칠 수 있는 데이터의 다면적인 특성을 더 잘 이해하고, 또한 간과할 수 있는 패턴 혹은 관계를 최소화 하고자 노력하였다. 이러한 다층적 접근 방식은 사전 지식이 없거나 부족한 현장의 복잡한 데이터셋에서 대해 보다 검증가능하고 신뢰할 수 있는 인사이트를 도출하는 데 기여할 수 있다.

    6T를 매개하여 그룹화된 년도별 NTIS 투자 정보는 BERTopic 패키지를 통하여 심층 분석하였다. BERTopic 은 주어진 라벨에 대해 hierarchical clustering 기법을 통해 텍스트 데이터 내의 주제들을 계층적으로 구조화하고, 이를 통해 데이터 내 복잡한 주제와 서브토픽 간의 관계를 명확히 이해할 수 있다. BERTopic의 개발자 Maarten Grootendorst는 BERTopic의 hierarchical clustering을 위한 *.hierarchical_topics() 기능에서 ‘ward’ 알고리즘을 기본값으로 사용하는 것을 설명한다[4]. 이는 툴의 제작자가 분석의 용이성과 일관성을 위해 내린 판단이며, 본 연구에서는 이러한 기본 설정을 유지했다. 연구의 주요 목적은 BERTopic 도구를 활용해 전체 분석 흐름을 디자인하는 것이었으며, 세부 알고리즘 최적화보다는 응용 연구에 초점을 맞춘 한계가 있다. BERTopic의 제작자의 설명에 따르면[4] *.hierarchical_topics() 기능은 Scipy 모델을 사용해 계층적 클러스터링을 수행하고, 주제별 핵심 키워드를 계층적으로 분류한다. 보다 세부적으로 Scipy 패키지의 Ward 방식은 주어진 클러스터(본 연구에서는 6T 분류) 간 의 최소 분산을 기준으로 군집을 형성한다. 이 과정에서 클러스터 간 평균 거리를 최소화하도록 클러스터를 결합하고, 결합된 클러스터의 평균 거리를 다시 계산하는 방식이 반복된다.

    BERTopic은 또한 주어진 라벨에 대해 C-Tf-Idf[3] 방식을 사용하여 특정 토픽의 대표어 및 클래스별 핵심 키워드들을 추출할 수 있다. 이 방법은 토픽별로 구별적인 단어를 식별하고, 토픽의 세부적인 내용을 보다 깊이 있게 분석하는 데 도움이 된다. 앞선 설명과 같이 BERTopic의 제 작자에 의해, *.hierarchical_topics() 기능은 3-grams 결과를, *.get_topic_tree() 기능은 5-grams 결과를 출력하도록 설정되었다. 본 설정을 따라 2022년 NTIS 드론 데이터에 대한 계층적 클러스터링 결과를 나타내는 <Figure 3>와 C-Tf-IDF[3] 기능으로 추출한 6T별 핵심 키워드를 담은 <Table 3> 사이의 호환성을 고려해, 키워드 추출은 3-grams으로 설정하였다. 이 설정은 <Table 3>에서 “N-grams”으로 명시되었다. 본 저널의 규정에 따라 모든 그림과 표는 영문으로 제공되며, NTIS 한글 분석 결과를 영어로 번역하는 과정에서 단어 수의 변동이 있었다.

    또한 Open-AI 사의 GPT-4[7]를 활용하여, 복잡한 텍스트 데이터에서 숨겨진 패턴과 관계를 더 깊이 파악하고 상세하고 정교한 텍스트 요약을 제공할 수 있다. GPT-4와 BERTopic을 통해 추출된 토픽과 핵심 키워드를 바탕으로 사용자 친화적인 결과를 생성한다. GPT-4를 사용하는 방법은 다양하며, Open-AI 사로부터 API를 발급받아 python 코딩 혹은 BERTopic 모델에 직접 연결하여 사용할 수도 있다. 본 연구에서는 분석을 통해 도출된 데이터 테이블을 Open-AI 사의 홈페이지의 프롬프트 창에 직접 데이터를 입력하고, 요약된 결과를 출력받아 사용하였다.

    4. 분석 결과

    본 연구에서는 2015년부터 2023년까지 NTIS DB에서 추출된 ‘드론’ 관련 프로젝트 데이터의 년도별 라벨의 품질을 평가했다. 텍스트 임베딩된 문서 정보의 년도별 라벨을 8:2 비율로 학습 및 평가한 결과, Keras MLP의 Accuracy 기준으로 0.25의 낮은 분류 성능을 보였다 (<Table 1>). 반면, 6T를 대안 분류라벨로 활용할 경우 (<Table 2>) Keras MLP 기준으로 0.85의 비교적 높은 분류성능을 보였다. 즉, NIST 1.0 문서의 Management 단계를 통해 Accuracy 기준으로 분류 성능이 0.25에서 0.85로 개선되었다. 이는 6T 분류체계를 활용하면 더 정확하고 신뢰도 높은 년도별 정보 분석이 가능함을 시사한다. 참고로 <Table 2>는 6T를 매개하여 년도별 분류 성능을 기계 학습을 통해 평가한 결과이다. 2015년부터 2023년까지의 데이터에 대해 년도별 분류와 학습 성능을 검증하는 과정에서, 2015년부터 2022년까지의 데이터를 학습데이터로, 2023년 데이터를 검증데이터로 사용하여 Accuracy를 측정했다. 이와 유사한 방법론으로 2015년부터 2023년까지의 데이터에 대해 6T를 매개하는 방법이 이후 분석을 위한 패턴으로 활용할 수 있는지를 테스트하였다. <Table 2>의 결과와 같이, 6T분류를 매개한 년도별 분류성능을 테스트한 결과, 2015년과 2016년을 제외한 모든 년도의 Accuracy가 0.8~0.9 수준임을 확인할 수 있었다.

    이어진 분석에서는 2022년을 분석 예로서 6T를 매개로 한 년도별 분석을 수행하였다. 2022년 내의 6T(IT, BT, NT, ET, ST, CT)들이 이루는 계층 구조(<Figure 3>), 6T별 C-Tf-IDF 핵심어(<Table 3>)를 순차적으로 추출 후 테이블화 했다. 테이블화 된 2022년 정보들은 이후 GPT 4.0에 입력되어 <Table 4> 와 같이 6T별 특성들을 문장으로 요약하였다. GPT-4에 입력한 프롬프트는 “6T별 분석을 요청하니 구분해줘. 내가 아래 입력하는 표는 6T(IT, BT, NT, ST, ET, CT, etc) 기술을 중심으로 6T별 키워드를 hierarchy 구조로 연결한 테이블이야. 이 테이블을 해석해서, 각 6T별 기술을 대표하는 keyword를 분석해줘. 6T에 포함된 IT, BT, NT, ST, ET, CT, etc별 기술들의 상호 차별성을 중심으로 IT, BT, NT, ST, ET, CT, etc핵심기술들에 대해 설명해줘” 와 같았다. 그리고 2022년을 통해 예시한 년도별 데이터와 GPT-4를 적용해 요약한 방법론을 2015-2023년간 개별 년도 정보 요약에 동일하게 적용하여 사용하였다. 그리고 도출된 2015-2023년 전체 요약문을 GPT-4에 입력 후, 년도별 기술의 특성을 요약한 최종 결과를 <Table 5>에 정리하였다. GPT-4에 입력한 프롬프트는 “아래 분석결과들은 앞서 요약해준 2015년부터 2023년간 6T(IT, BT, NT, ST, ET, CT, etc)의 주요기술 및 지원주체들에 대한 분석 결과야. 이들 내용을 시간 변화에 따라 기술의 중심이 무엇이었고, 또한 어떠한 기술들로 진화해 왔는가를 요약해줘.” 와 같이 입력하였다. 본 과정들을 통해 2015-2023년간의 대한민국 정부가 연구개발 투자한 드론 관련 이슈들의 진화과정을 모니터링 하였다. AI 시스템 제도화의 주체들은 GPT를 비롯한 생성형 AI를 사용할 시에, 그 입력 데이터가 무엇이었는지를 확인할 수 있고, 또한 도출된 결과에 대해 AI에 의해 생성된 결과임을 고시할 것을 가이드하고 있다. 이러한 과정을 통해 사람이 입력 데이터에 대해 검증할 수 있고, 또한 AI에 의한 결과를 수용하는 주체가 사람이 되도록 안내한다.

    5. 결 론

    본 연구는 유럽연합 AI Act로 대표되는, 국제적인 AI 제도화 트렌드에 대응하기 위한 AI 분석체계 개발과 구현에 중점을 두었다. 본 연구를 통해, AI 기술의 급속한 발전과 제도화의 필요성 사이에서 균형을 이루는 분석방법론을 탐색하고자 하였다. NTIS DB의 드론기술 텍스트정보를 위 언급한 목적의 모델분석 대상으로 삼아, 인공지능의 지원하에 연구개발투자 동향 분석과정이 보다 설명 가능하고 또한 추적 가능하도록 디자인 하였다.

    2015년부터 2023년까지의 드론 기술 관련 텍스트 데이터에 대하여 BERTopic 패키지와 지도학습 기법을 적용하여 해당 기술의 년도별 진화과정을 분석하는 AI기반 체계를 연구하였다. 년도별 데이터의 AI분석 적합성이 부족한 경우, 6T 분류체계를 매개 라벨로 활용하여 연구의 신뢰도와 정확도를 개선하였다. 6T를 매개한 년도별 내재적 정보들은 BERTopic 패키지의 계층구조 및 핵심 키워드 분석 기능을 통해 도출하였다. 본 분석체계를 통해 사람이 분석의 과정과 판단의 근거를 추적할 수 있도 록 하였다. 또한 GPT와 같은 생성형 모델을 사용하여 도출된 결과의 경우 이를 명시하였다. 즉 분석의 추적 가능, 분석 판단의 근거자료 제공, 생성형 모델 적용시에 이를 명시하는 과정들은 현재 AI 제도화에서 주목하는 주요 사항들이다.

    본 연구는 또한 다양한 한계점을 가지고 있다. 본 연구는 년도별 라벨이 객관적인 분석기준이 되기 어려운 상황에서, 6T를 매개 분류체계로 사용하여 분석의 객관성을 향상시키는데 기여하였다. 그러나 유사한 한계 상황에서 언제나 6T가 유용한 매개체가 되는 것을 보장하지는 않으며, 때문에 6T 외에도 NTIS DB내 존재하는 다양한 국가 과학기술분류체계들에 관한 유관 연구들이 필요하다. 향후 연구에서는 AI 분석체계의 실제 적용 사례들을 보다 확대하고, 유관한 해외 연구사례들과의 비교를 통해 그 유효함을 보다 검증할 필요가 있다. AI 법제화의 국제적 동향을 지속적으로 모니터링하며, 연구 결과를 최신 상황에 맞게 조정하고 개선하는 것 역시 중요하다. 또한, 본 연구에서 제시하는 방법론이 분석현장에서 실제 활용되기 위해서는 전문가 검토와 협업이라는 추가적인 단계가 필요하다. 이러한 한계는 본 연구 뿐만 아니라 AI Act를 포함한 AI 제도화의 근본적인 한계이기도 하다. AI 분석은 사람이 추적 가능하고 수용할 수 있는 객관적인 자료를 제공하여, 사람이 최종 판단 및 책임을 질 수 있도록 지원하는 역할을 수행한다.

    AI 기술과 관련된 정책 및 법률은 지속적으로 발전하고 변화하고 있다. 본 연구는 AI 기술의 발전과 함께 진화하는 유관 정책 및 제도에 대해, 이해당사자들이 보다 능동적으로 대응할 수 있도록 기여하고자 수행되었다. 하지만, AI 기술과 국제적인 환경의 역동적인 변화에 대응하기 위해서는 지속적인 관련 연구가 필요하다. 결론적으로, 본 연구는 AI 분석체계의 개발 및 구현을 통해 AI 기술의 책임 있는 활용 기반을 마련하는데 기여한다. 또한, AI 기술의 정책적 활용에 대한 논의를 촉진한다. 인간과 AI간 협력을 통한 분석 방법론의 다양화는 복잡한 현장 문제 해결에 새로운 가능성을 열어주며, 이는 미래 연구의 중요한 방향이 될 것이다.

    Acknowledgement

    This research received partial funding from the program (K24L3M2C4) provided by the Korea Institute of Science and Technology Information (KISTI) in South Korea.

    Figure

    JKSIE-47-2-21_F1.gif

    Diagram of Integrating AI Standardization and Analysis Issues: A Case Study on Applying NIST AI Risk Management Framework to Drone Technology Analysis in NTIS DB

    JKSIE-47-2-21_F2.gif

    Flowchart Depicting the Sequential Data Analysis Process for Drone Technology Analysis in the NTIS DB

    JKSIE-47-2-21_F3.gif

    6T Mediated Hierarchical Structural Analysis of the Drone Field in 2022

    Table

    Validation Results of Machine Learning Models with Year and 6T as Labels: Accuracy Metrics

    6T Mediated Validation of Machine Learning Performance by Year

    Top N-grams Selected by C-TF-IDF for Each 6T Classification Criterion in 2022

    6T Summary Results of Information from <Figure 3> and <Table 3> using GPT-4

    GPT 4.0-based Summary Results of Drone Technology Advancement from 2015 to 2023

    Reference

    1. Ahn, J.M., Kim, J.W., and Kim K.H., Ensemble Machine Learning of Gradient Boosting (XGBoost, LightGBM, CatBoost) and Attention-Based CNN-LSTM for Harmful Algal Blooms Forecasting, Toxins, 2023, Vol. 15, No. 10,
    2. Asmussen., C.B. and Moller, C., Smart Literature Reivew: A Practical Topic Modelling Approach to Exploratory Literature Review, Journal of Big Data, 2019, pp. 6-93.
    3. BERTopic, c-TF-IDF, 2024, Available: https://maartengr.github.io/BERTopic/getting_started/ctfidf/ctfidf.html.
    4. BERTopic, Hierarchical Topic Modeling, 2024, Availabl e: https://maartengr.github.io/BERTopic/getting_started/hierarchicaltopics/hierarchicaltopics.html.
    5. Candice, B., Anna, C., and and Gonzalo, M.M., A Comparative Analysis of Gradient Boosting Algorithms, Artificial Intelligence, 2020, Vol. 54, pp. 1937-1967.
    6. Carnegie Mellon University, Carnegie Mellon University Human-Computer Interaction Institute, 2024, [Online]. Available: https://hcii.cmu.edu/
    7. ChatGPT, ChatGPT4, 2024, [Online]. Available: https://chat.openai.com/.
    8. EC(European Commission), Feasibility study for and EU monitoring mechanism on key enabling technologies, Belgium: European Commission, 2012.
    9. EC, KETs obsevatory phase ii methodology report, Belgium: European Commission, 2017.
    10. EC, Advanced Technologies for Industry – Methodological Report, Belgium: European Commission, 2021.
    11. EC, Monitoring European Industryal Ecosystems– Conceptual, Monitoring and Indicator Framework, Belgium: European Commission, 2023.
    12. EC, EU AI Act: first regulation on artificial intelligence, 2024, [Online] https://www.europarl.europa.eu/news/en/headlines/society/20230601STO93804/eu-ai-act-first-regulation-on-artificial-intelligence.
    13. Hovart, M., The New Framework for EU Research and Innovation, Science, 2011, Vol. 334, pp. 1066-1068.
    14. IBM, What is human-centered AI?, 2024, [online] https://research.ibm.com/blog/what-is-human-centeredai.
    15. ISO(International Organization for Standardization), ISO 3100: 2018 Risk-Management Guidelines, 2024, [Online]. Available: https://www.iso.org/standard/65694.html.
    16. Jeong, E.H., The Analysis of Changes in East Coast Tourism using Topic Modeling, JKIIECT, 2020, Vol. 13, No. 6, pp. 489-495.
    17. Lane, J., Let’s make science metrics more scientific, Nature, 2010, Vol. 464, pp. 488-489.
    18. Lane, J. and Bertuzzi, S., The STAR METRICS Project: Current and Future Uses for S&E Workforce Data, 2010, [Online]. Available: https://www.nsf.gov/sbe/sosp/workforce/lane.pdf.
    19. Lim, J.S. and Kim, S.G., Quantifying Innovation Characteristics of National R&D Investment through Cross-Cutting Data Analysis: Case Study on NTIS Nanotechnology, Journal of The Korean Operations Research and Management Science Society, 2020, Vol. 45, No. 2, pp. 13-23.
    20. Lim, J.S., Kim, S.G., Bae, S.H., Kim, K.H., and Won, D.K., Research on Regional Spatial Information Analysis Platform about NTIS Raw Data, Journal of Cadastre & Land InformatiX, 2020, Vol. 50, No. 2, pp. 21-35.
    21. Lim, J.S., Park, J.H., and Kim, S.G., Study on Measurement of National R&D Investment Spillover: Linking Multilateral Big Data, Korea CEO Academy, 2021, Vol. 24, No. 1, pp. 311-330.
    22. Lim, J.S. and Bae, S.H., Text Based Explainable AI for Monitoring National Innovations, Journal of Korean Society of Industrial and Systems Engineering, 2022, Vol. 45, No. 4, pp. 1-7.
    23. Lim, J.S., Bae, S.H., Ryu, K.H., and Kim, S.K., A Study on Human-AI Collaboration Process to Support Evidence-Based National Innovation Monitoring : Case Study on Ministry of Oceans and Fisheries, Korean Society of Industrial and Systems Engineering, 2023, Vol. 46, No. 2, pp. 22-31.
    24. National Assembly of Korea, Legislation on fostering the artificial intelligence industry and creating a foundation for trust, 2024, [Online]. Available: https://likms.assembly.go.kr/bill/billDetail.do?billId=PRC_Y2B1M0R6G2I2P1B0V2X9H4Z0X3M3J2.
    25. NIST(National Institute of Standards and Technology), AI Risk Management Frame 1.0, Washington DC: US Department of Commerce, 2023.
    26. NTIS(National Science & Technology Information Service), 2024, [Online]. Available: https://www.ntis.go.kr.
    27. OECD, Advancing accountability in AI; Governing and managing risks throughout the lifecycle for trustworthy AI.
    28. OECD, R&D Platform for Investment and Evaluation (“R&D PIE”), 2024, [Online], Available: https://oecd-opsi.org/innovations/rd-platform-for-investment-and-evaluation-rd-pie.
    29. Park, D.J., Oh, H.S., Kim, H.G., and Yoon, M., Topic Modeling Analysis Comparison for Research Topic in Korean Society of Industrial and Systems Engineering: Concentrated on Research Papers from 1978∼ 1999, Journal of Korean Society of Industrial and Systems Engineering, Vol. 44, No. 4, pp. 113-127.
    30. Park, J.H. and Lim, J.S., National R&D investment performance analysis based on NTIS raw data: Gyeongsangnam-do Smart Farm Industrialization Case, Regional Industry Review, 2022, Vol. 45, No. 4, pp. 243-263.
    31. Stanford University, Stanford University Human-Centered AI, 2024, [Online]. Available: https://hai.stanford.edu/.
    32. So, B.H., Enhanced Gradient Boosting for Zero-Inflated Insurance Claims and Comparative Analysis of CatBoost, XGBoost, and LightGBM, arXiv, 2023, arXiv:2307. 07771.
    33. University of California Berkeley, UC Berkeley Center for Human-Compatible AI, 2024, [Online]. Available: https://humancompatible.ai/.
    34. Yoon, S.U. and Kim, M.C., Topic Modeling on Fine Dust Issues Using LDA Analysis, Journal of Energy Engineering, 2020, Vol. 29, pp. 23-29.
    Copyright © KOREAN SOCIETY OF INDUSTRIAL AND SYSTEMS ENGINEERING. All rights reserved.
    #425, Anyang trade-center, Simin-daero 161, Dongan-gu, Anyang-si, Gyeonggi-do, 14048, Korea