1. 서 론

대규모 언어모델(LLM)의 발전은 단일 모델의 질의응답 성능을 넘어, 여러 에이전트가 상호작용하며 문제를 해결하는 멀티에이전트 시스템으로 확장되고 있다. 최근 LLM 기반 멀티에이전트 연구는 복수의 에이전트가 독립적으로 답변을 생성하고, 상호 비판과 토론을 통해 최종 결론을 도출하는 구조가 추론 정확도와 사실성(factuality)을 개선할 수 있다는 가능성을 제시해 왔다[2]. 특히 멀티에이전트 논의(Multi-Agent Debate), 역할 기반 에이전트 협업, 검색증강생성(retrieval-augmented generation, RAG) 기반 지식 보강은 LLM의 환각을 줄이고 복잡한 문제 해결 능력을 높이는 주요 접근으로 논의되고 있다[9, 10, 13].

그러나 정책 문제와 같은 공적 의사결정 영역에서 LLM 멀티에이전트 시스템을 활용하려면, 단순히 더 정확한 답을 산출하는 것만으로는 충분하지 않다. 정책 숙의는 사실 판단, 인과 추론, 규범적 정당성, 실행 가능성 평가가 복합적으로 얽힌 과정이다. 예컨대 기본소득, 탄소세, 인공지능 콘텐츠 규제, 최저임금 인상과 같은 정책 의제는 단일한 정답이 존재하기보다 다양한 가치와 근거가 충돌하는 문제에 가깝다. 이러한 맥락에서 중요한 것은 에이전트들이 얼마나 빨리 하나의 결론에 수렴하는가가 아니라, 서로 다른 타당성 주장을 제기하고, 상대의 주장에 응답하며, 외부 증거를 활용하여 비판적이고 생산적인 수렴에 도달하는가이다.

기존 LLM 멀티에이전트 토론 연구는 주로 최종 답변의 정확도, 다수결 성능, 추론 개선, 사실 검증 성능에 초점을 두었다. 역할 기반 에이전트 연구 역시 소프트웨어 개발, 문제 해결, 작업 분해 등 특정 과업 수행을 위한 기능적 역할 배분에 집중하는 경향이 강했다. 반면 정책 숙의의 관점에서 에이전트 간 상호작용의 소통 품질을 이론적으로 설계하고, 그 과정 자체를 정량적으로 평가하려는 시도는 상대적으로 부족하다. 특히 역할 분화가 실제로 발화 유형과 상호작용 패턴을 변화시키는지, 그리고 외부 증거 접근과 결합될 때 숙의의 질이 어떻게 달라지는지에 대한 실증적 검토는 아직 충분하지 않다.

본 연구는 이러한 공백을 보완하기 위해 Habermas[5-7]의 소통 행위 이론(theory of communicative action, TCA)을 LLM 멀티에이전트 정책 숙의 설계에 적용한다. Habermas의 관점에서 합리적 의사소통은 단순한 전략적 설득이 아니라, 발화자가 제기하는 타당성 주장이 상호 검토되고 조정되는 과정이다. 본 연구는 이러한 이론적 관점을 바탕으로 에이전트 역할을 사실 검토(factual), 인과 분석(causal), 규범 평가(normative), 실행 가능성 평가(evaluative)로 분화한다. 이는 정책 숙의에서 요구되는 서로 다른 판단 차원을 LLM 에이전트의 역할 구조로 명시화하려는 시도이다.

또한 본 연구는 역할 분화만으로 생산적 숙의가 보장되는 것은 아니라는 점에 주목한다. 정책 숙의에서 발화의 질은 역할의 존재뿐 아니라, 각 역할이 활용할 수 있는 증거의 범위와도 밀접하게 관련된다. 따라서 본 연구는 역할 분화 유무와 실시간 웹검색 유무를 결합한 2×2 완전요인 설계를 통해, 역할 구조와 외부 증거 접근이 LLM 멀티에이전트 숙의에 미치는 효과를 분석한다. 구체적으로 동질 에이전트와 역할 분화 에이전트를 비교하고, RAG only 조건과 RAG+웹검색 조건을 비교함으로써 역할 분화와 증거 활용의 주효과 및 결합 효과를 검토한다.

본 연구의 핵심 질문은 다음과 같다. 첫째, 소통 행위 이론에 기반한 역할 분화는 LLM 에이전트의 발화 유형을 실제로 차별화하는가? 둘째, 실시간 웹검색은 숙의 과정에서 외부 증거 활용을 증가시키는가? 셋째, 역할 분화와 외부 증거 접근이 결합될 때 생산적 숙의 패턴이 증가하는가? 이를 위해 본 연구는 신념(belief) 수렴을 측정하는 분산 및 JSD, 역할별 발화 차별화를 측정하는 CDI, 외부 증거 활용을 측정하는 EIR, 그리고 생산적 숙의 패턴을 분류하는 DEL 지표 등을 활용한다.

본 연구의 기여는 세 가지로 정리할 수 있다. 첫째, 이론적 측면에서 Habermas[5, 6]의 소통 행위 이론을 LLM 멀티에이전트 역할 설계에 연결함으로써, 정책 숙의형 AI 시스템의 역할 분화 원리를 제시한다. 둘째, 방법론적 측면에서 LLM 멀티에이전트 숙의를 최종 산출물이 아니라 과정 데이터로 평가하기 위한 지표 체계를 제안한다. 셋째, 실증적 측면에서 역할 분화와 실시간 증거 활용이 결합될 때 생산적 숙의 패턴이 증가할 수 있음을 2×2 실험설계를 통해 검토한다. 이를 통해 본 연구는 LLM 멀티에이전트 시스템 평가의 초점을 정답률 중심에서 소통 품질과 숙의 과정 중심으로 확장하고자 한다.

2. 선행 연구

2.1 소통 행위 이론과 정책 숙의

Habermas[5, 6]의 소통 행위 이론은 사회적 조정이 단순한 권력 행사나 전략적 설득만으로 이루어지는 것이 아니라, 상호 이해를 지향하는 의사소통을 통해 가능하다고 본다. 이 관점에서 발화자는 어떤 주장을 제기할 때 명시적 또는 암묵적으로 타당성 주장을 함께 제시한다. 즉 발화는 사실에 대한 참됨, 규범에 대한 정당함, 표현의 진실성, 상황에 대한 적절성 등을 포함하며, 대화 참여자는 이러한 주장들을 서로 검토하고 조정한다. 따라서 합리적 의사소통은 결론의 도출만이 아니라, 결론에 이르는 과정에서 어떤 주장들이 제기되고 어떻게 검토되는가를 핵심 문제로 삼는다.

정책 숙의는 이러한 소통 행위 이론이 적용되기 적합한 영역이다. 정책 문제는 경험적 사실, 인과적 예측, 규범적 판단, 실행 가능성 평가가 결합된 복합 문제이기 때문이다. 예컨대 특정 정책이 실제로 어떤 효과를 낳을 것인지, 그 효과가 사회적으로 정당한지, 비용과 제도적 제약을 고려할 때 실행 가능한지에 대한 논의는 서로 다른 성격의 타당성 주장을 요구한다. 정책 숙의가 단순한 선호 집계와 구별되는 이유도 여기에 있다. 숙의는 참여자들이 자신의 선호를 표현하는 데 그치지 않고, 그 선호를 뒷받침하는 이유를 제시하며, 타인의 이유에 응답하고, 논의 과정에서 입장을 수정할 수 있다는 점을 전제한다.

숙의민주주의 연구는 이러한 과정을 제도적, 경험적으로 분석해 왔다. Fishkin[3]의 숙의 여론조사 연구는 정보 제공과 토론을 거친 시민의 의견 변화에 주목했으며, Steenbergen[12] 등은 숙의 품질 지수(Deliberative Quality Index, DQI)를 통해 참여, 정당화 수준, 상호 존중, 공공선 지향성 등을 측정하려 했다. 이러한 연구들은 숙의의 질을 평가할 때 최종 합의 여부만으로는 충분하지 않으며, 발화의 정당화 방식과 상호작용 구조를 함께 보아야 한다는 점을 보여준다. 본 연구 역시 LLM 멀티에이전트 정책 숙의를 최종 답변의 정확도만이 아니라, 발화 유형과 증거 사용, 신념 변화의 과정으로 분석한다는 점에서 이 논의와 연결된다.

2.2 온라인 및 계산적 숙의 품질 평가

온라인 토론 환경의 확산은 숙의 품질 평가 연구에 새로운 과제를 제기했다. 디지털 플랫폼에서는 대규모 참여와 빠른 상호작용이 가능하지만, 동시에 편향 강화, 감정적 대립, 근거 없는 주장 확산도 쉽게 발생한다. 이에 따라 온라인 숙의 연구는 참여자의 발화가 얼마나 근거를 포함하는지, 서로의 주장에 응답하는지, 의견 차이를 생산적으로 다루는지, 토론이 특정 방향으로 수렴하거나 분극화되는지 등을 측정해 왔다[4]. 이러한 연구들은 숙의 품질을 행위자 개인의 태도만이 아니라, 발화 간 연결과 전체 토론 구조의 속성으로 파악한다.

계산적 접근은 이러한 평가를 자동화하고 확장하는 데 기여했다. 자연어처리와 네트워크 분석을 이용한 연구들은 주장 탐지, 근거 분류, 정서 및 존중 표현 분석, 대화 응답 구조 분석 등을 통해 토론의 질을 측정하려 했다. 또한 의견 분포의 변화, 주제 다양성, 논증의 균형성, 정보 출처의 사용 여부와 같은 지표도 온라인 숙의 평가에 사용되어 왔다. 이 흐름은 대규모 텍스트 데이터를 바탕으로 숙의 과정을 정량적으로 분석할 수 있다는 가능성을 열었다.

그러나 기존 온라인 숙의 품질 연구의 주요 대상은 인간 참여자의 토론이었다. 따라서 LLM 에이전트가 생성하는 토론을 평가할 때는 두 가지 문제가 추가된다. 첫째, LLM 에이전트의 발화는 인간의 자발적 태도 표현이라기보다 프롬프트, 역할 설계, 검색 도구 접근성에 의해 구성된다. 둘째, 에이전트 간 상호작용은 관찰 대상인 동시에 설계 대상이다. 즉 연구자는 숙의 품질을 측정할 뿐 아니라, 어떤 에이전트 구조가 더 나은 숙의 과정을 만들 수 있는지도 함께 검토해야 한다. 본 연구에서 제안하는 CDI, EIR, DEL 패턴 분석은 이러한 문제의식에서 출발한다. 이는 LLM 숙의의 품질을 발화 차별화, 증거 통합, 생산적 상호작용의 관점에서 평가하려는 시도이다.

2.3 LLM 멀티에이전트 토론과 역할 기반 에이전트

LLM 연구에서 멀티에이전트 토론은 단일 모델의 한계를 보완하는 방법으로 주목받아 왔다. 여러 에이전트가 독립적으로 답변을 생성하고, 서로의 답변을 비판하거나 수정한 뒤 최종 결론을 도출하는 방식은 추론 문제, 수학 문제, 사실 검증 과제 등에서 성능 개선 가능성을 보여주었다[2]. 이 계열의 연구에서 핵심 관심은 대체로 최종 답변의 정확도, 오류 감소, 사실성 개선에 놓여 있다.

한편 역할 기반 에이전트 연구는 복잡한 과업을 여러 기능적 역할로 분해하는 방향으로 발전해 왔다. CAMEL, AutoGen, MetaGPT, ChatDev 계열의 연구와 시스템은 기획자, 실행자, 검토자, 개발자와 같은 역할을 부여하여 에이전트 간 협업을 구성한다[8, 10, 11, 13]. 이러한 접근은 소프트웨어 개발, 문서 작성, 문제 해결, 워크플로 자동화와 같은 과업에서 유용하다. 역할은 에이전트의 책임 범위를 분명히 하고, 반복적 상호작용을 구조화하며, 과업 수행의 효율을 높이는 장치로 작동한다.

다만 정책 숙의의 관점에서 보면, 기존 역할 기반 에이전트 연구에는 추가 검토가 필요한 지점이 있다. 많은 연구에서 역할은 작업 분담과 성능 향상을 위해 설계되지만, 발화가 어떤 타당성 주장에 근거하는지, 서로 다른 주장 유형이 숙의 과정에서 어떻게 균형을 이루는지에 대한 이론적 논의는 상대적으로 제한적이다. 정책 숙의에서 필요한 역할은 단순한 기능 분업이 아니라, 사실, 인과, 규범, 평가라는 서로 다른 소통 차원의 분화와 연결된다. 따라서 본 연구는 역할 기반 에이전트 설계를 Habermas의 소통 행위 이론과 결합하여, 에이전트 역할을 정책 숙의의 타당성 주장 유형에 대응시키고자 한다.

2.4 증거 기반 토론과 신념 수렴

정책 숙의에서 증거는 주장과 판단을 연결하는 매개이다. 참여자가 어떤 정책을 지지하거나 반대할 때, 그 주장이 사실 자료, 선행 연구, 사례, 통계, 제도적 조건 등에 의해 뒷받침되는지는 숙의의 질을 좌우한다. LLM 기반 시스템에서도 이 문제는 중요하다. LLM은 설득력 있는 문장을 생성할 수 있지만, 생성된 문장이 실제 근거와 연결되지 않을 경우 환각이나 근거 없는 확신이 발생할 수 있다. RAG와 웹 검색 기반 지식 보강은 이러한 한계를 줄이기 위한 대표적 접근이다[9]. 외부 문서나 검색 결과를 토론 과정에 연결하면, 에이전트는 내부 파라미터 지식에만 의존하지 않고 현재 접근 가능한 증거를 바탕으로 주장을 조정할 수 있다.

증거 접근은 단순히 사실성 개선에만 영향을 주지 않는다. 정책 숙의에서는 증거가 어떤 역할의 발화를 강화하는지도 중요하다. 사실 검토 역할은 통계와 사례를 통해 현황을 확인할 수 있고, 인과 분석 역할은 정책 수단과 결과 간 관계를 검토할 수 있다. 규범 평가 역할은 가치 충돌과 정당성 논거를 정교화할 수 있으며, 실행 가능성 평가 역할은 비용, 행정 역량, 제도적 제약을 점검할 수 있다. 같은 검색 도구가 주어지더라도 역할 구조에 따라 증거가 발화에 통합되는 방식은 달라질 수 있다. 이 점에서 증거 접근은 역할 분화와 독립적으로 작동하는 조건이 아니라, 역할 분화의 효과를 강화하거나 조정할 수 있는 조건으로 볼 수 있다.

신념 수렴의 관점도 숙의 과정 평가에 유용하다. DeGroot[1]의 신념 수렴 모형은 행위자들이 서로의 의견을 반복적으로 반영할 때 집단 의견이 어떻게 변화하는지를 설명한다. 이를 LLM 멀티에이전트 토론에 적용하면, 각 에이전트의 입장이 토론 라운드를 거치며 얼마나 가까워지는지, 또는 특정 쟁점에서 차이를 유지하는지를 분석할 수 있다. 다만 정책 숙의에서 바람직한 수렴은 단순한 의견 동일화가 아니다. 충분한 이유 제시와 상호 검토 없이 빠르게 하나의 결론에 모이는 것은 오히려 피상적 합의일 수 있다. 따라서 본 연구는 분산과 JSD를 통해 신념 변화의 양상을 측정하되, CDI, EIR, DEL 패턴과 함께 해석함으로써 수렴의 질을 함께 평가하고자 한다.

2.5 선행 연구의 한계 및 공백

이상의 논의를 종합하면, 기존 연구는 각각 중요한 기여를 했지만 LLM 기반 정책 숙의를 설명하기에는 몇 가지 연결 지점이 남아 있다. 첫째, 숙의민주주의와 DQI 연구는 숙의 품질을 평가하는 이론적 기준을 제공했으나, 그 주된 대상은 인간 참여자의 공론장과 온라인 토론이었다. 둘째, LLM 멀티에이전트 토론 연구는 에이전트 간 상호작용이 정확도와 사실성을 개선할 수 있음을 보여주었지만, 정책 숙의에서 요구되는 소통 역할과 타당성 주장 유형을 중심으로 토론 과정을 설계하고 평가한 연구는 아직 제한적이다. 셋째, 역할 기반 에이전트 연구는 협업과 작업 수행의 효율을 높이는 방향으로 발전했으나, 역할을 Habermas적 의미의 소통 기능으로 해석하고 그 차별화 정도를 측정하는 접근은 충분히 축적되지 않았다.

또한 증거 기반 LLM 연구는 RAG와 웹 검색을 통해 환각을 줄이고 사실 근거를 보강하는 데 초점을 두어 왔다. 그러나 정책 숙의에서는 증거 접근의 효과가 단순히 더 정확한 문장을 생성하는 데 그치지 않는다. 증거가 어떤 역할의 발화에 통합되는지, 역할 분화가 있을 때 증거 사용이 더 다양하고 생산적인 상호작용으로 이어지는지, 그리고 그 결과 신념 수렴의 양상이 어떻게 달라지는지를 함께 분석할 필요가 있다. 즉 역할 구조와 증거 접근은 별개의 기술적 조건이 아니라, 숙의 품질을 형성하는 상호작용적 조건으로 이해될 수 있다.

본 연구는 이러한 공백을 바탕으로 LLM 멀티에이전트 정책 숙의를 소통 행위의 관점에서 재구성한다. 구체적으로 에이전트 역할을 사실 검토, 인과 분석, 규범 평가, 실행 가능성 평가로 분화하고, 이러한 역할 분화가 실제 발화 유형의 차별화로 이어지는지 분석한다. 또한 실시간 웹 검색 접근이 외부 증거 통합을 증가시키는지, 나아가 역할 분화와 증거 접근이 결합될 때 생산적 숙의 패턴이 강화되는지 검토한다. 이를 위해 본 연구는 역할 분화 유무와 웹검색 유무를 결합한 2×2 실험설계를 사용하고, Variance, JSD, CDI, EIR, DEL 패턴을 통해 신념 수렴, 소통 역할 차별화, 증거 통합, 숙의 상호작용을 함께 측정한다.

따라서 본 연구의 위치는 LLM 멀티에이전트 시스템을 단순한 정답 생성 장치가 아니라, 정책 판단에 필요한 다양한 타당성 주장을 구성하고 조정하는 숙의적 상호작용 장치로 분석하는 데 있다. 이러한 이론적 논의를 바탕으로, 다음 장에서는 역할 분화와 증거 접근이 숙의 품질에 미치는 영향을 설명하는 연구모형과 연구가설을 제시하고, 이를 검증하기 위한 연구방법을 기술한다.

3. 연구 방법론

3.1 연구 모형

본 연구는 LLM 멀티에이전트 정책 숙의에서 소통 역할 분화와 웹검색 기반 증거 활용이 숙의 품질에 미치는 영향을 설명하는 연구모형을 제시한다. 연구모형은 역할 분화 여부와 웹검색 여부를 두 축으로 하는 2×2 요인 구조에 기반한다. C1은 동질 에이전트와 RAG만 결합한 조건, C2는 동질 에이전트와 RAG 및 웹검색을 결합한 조건, C3은 역할 분화 에이전트와 RAG만 결합한 조건, C4는 역할 분화 에이전트와 RAG 및 웹검색을 결합한 조건이다.

종속적 숙의 품질 지표는 신념 수렴 측정을 위한 JSD, 숙의 패턴 분류를 위한 급격 수렴(CON-R), 미수렴(DIV), 진동(OSC), 소통 행위 차별화 측정을 위한 CDI, 증거 통합 측정을 위한 EIR, 그리고 생산적 숙의(DEL)와 집단사고(GRP) 패턴으로 구성된다. 이 구성은 소통 행위 이론, 온라인 숙의 품질 논의, 역할 기반 LLM 에이전트 연구, 증거 기반 토론 연구, DeGroot[1] 신념 수렴 모형을 연결한다.

3.1.1 역할 분화와 신념 수렴

앞선 이론적 논의에 따르면, 숙의는 단순한 의견 교환이 아니라 주장, 비판, 조정, 정당화가 상호 연결되는 과정이다. 역할이 분화된 에이전트 집단에서는 각 에이전트가 동일한 방식으로 발화하기보다 서로 다른 소통 기능을 수행한다. 이때 비판적 검토와 조정적 발화가 함께 작동하면 초기 신념의 차이가 토론 과정에서 더 명시적으로 드러나고, 이후 공유 가능한 판단 기준으로 재구성될 가능성이 커진다.

DeGroot[1] 신념 수렴 관점에서도 역할 분화는 단순한 평균화가 아니라 상호 영향의 구조를 바꾸는 요인으로 이해할 수 있다. 동질 에이전트 조건에서는 유사한 발화 방식이 반복되면서 신념 조정의 경로가 제한될 수 있다. 반면 역할 분화 조건에서는 다양한 소통 행위가 신념 업데이트에 관여하므로 최종 신념의 분산이 낮아질 것으로 예상된다.

3.1.2 역할 분화와 소통 행위 차별화

소통 행위 이론은 숙의의 질을 발화의 양보다 상호 이해, 타당성 검토, 이유 제시의 구조에서 찾는다. 온라인 숙의 품질 연구 역시 주장 제시, 반론, 근거 제시, 조정과 같은 행위가 얼마나 구분되어 나타나는지를 중요한 평가 기준으로 본다.

이 관점에서 역할 분화는 소통 행위 차별화를 직접적으로 강화하는 장치다. 동질 에이전트 조건에서는 참여자들이 비슷한 방식으로 문제를 해석하고 유사한 발화 유형을 반복할 가능성이 있다. 반면 역할 분화 조건에서는 에이전트들이 서로 다른 관점과 기능을 담당하므로 발화 행위의 분포가 더 뚜렷하게 나뉠 것으로 예상된다. 따라서 역할 분화는 CDI를 높이는 핵심 요인으로 설정된다.

3.1.3 웹검색과 외부 증거 통합

증거 기반 토론 연구는 숙의의 질이 내부 논리의 정합성만으로 결정되지 않으며, 외부 자료를 어떻게 탐색하고 통합하는지에도 크게 의존한다고 본다. LLM 멀티에이전트 토론에서도 외부 증거는 주장 간 충돌을 조정하고, 판단의 근거를 명시하며, 논의가 자기참조적으로 닫히는 것을 완화하는 역할을 한다.

웹검색 조건은 RAG 기반 정보에 더해 외부 증거를 추가로 참조할 수 있는 구조를 제공한다. 이에 따라 웹검색이 포함된 조건에서는 비웹검색 조건보다 외부 자료가 발화와 판단에 더 자주 연결될 가능성이 크다. 이는 EIR의 증가로 나타날 것으로 예상된다.

3.1.4 역할 분화와 웹검색의 결합 효과

역할 분화와 웹검색은 서로 다른 방식으로 숙의 품질에 기여한다. 역할 분화는 소통 행위의 구조를 다변화하고, 웹검색은 숙의에 투입되는 증거의 범위를 확장한다. 이 두 요인이 결합될 때, 에이전트들은 서로 다른 소통 기능을 수행하면서 동시에 외부 증거를 활용해 주장과 반론을 정교화할 수 있다.

따라서 역할 분화만 있는 조건이나 웹검색만 있는 조건보다, 두 요인이 함께 작동하는 조건에서 생산적 숙의 패턴이 가장 뚜렷하게 나타날 것으로 예상된다. 이는 DEL이 단순한 합의 여부가 아니라 근거 제시, 반론 수용, 신념 조정, 논의 진전을 함께 반영하는 지표라는 점과도 연결된다.

3.1.5 역할 분화와 집단사고 패턴

집단사고는 구성원들이 대안적 관점이나 비판적 검토를 충분히 수행하지 못하고, 표면적 합의나 반복적 동조에 머무를 때 발생할 수 있다. LLM 멀티에이전트 숙의에서도 에이전트들이 유사한 역할과 발화 방식을 공유하면 논의가 좁은 방향으로 수렴하거나, 충분한 검토 없이 합의가 강화될 가능성이 있다.

역할 분화는 이러한 위험을 완화할 수 있다. 서로 다른 소통 역할은 주장에 대한 검토, 반론, 조정, 재정식화를 촉진하며, 이는 집단사고 패턴의 형성을 억제하는 조건으로 작동한다. 따라서 역할 분화 조건에서는 동질 에이전트 조건보다 GRP의 발생 가능성이 낮을 것으로 예상된다.

3.2 실험설계

본 연구는 소통 역할 분화와 증거 활용 방식이 LLM 멀티에이전트 정책 숙의의 품질에 미치는 영향을 검토하기 위해 2×2 요인설계를 적용하였다. 첫 번째 요인은 에이전트 역할 구조로, 모든 에이전트가 동일한 일반 정책분석가 역할을 수행하는 동질적 역할 조건과, 사실, 인과, 규범, 평가 기능이 분화된 차별적 역할 조건으로 구분하였다. 두 번째 요인은 증거 활용 방식으로, 내부 검색증강생성만 사용하는 조건과 내부 검색증강생성에 웹검색을 결합하는 조건으로 구분하였다.

이에 따라 <Table 1>에서 제시된 네 개의 실험 조건을 구성하였으며, 이 설계는 두 독립변수의 주효과와 상호작용 효과를 함께 비교하기 위한 것이다. C1과 C3의 비교는 동일한 증거 환경에서 역할 분화의 효과를 검토하게 하며, C1과 C2의 비교는 동일한 역할 구조에서 외부 웹검색 추가의 효과를 검토하게 한다. 또한 C3과 C4의 비교는 역할이 분화된 숙의 체계에서 증거 범위 확장이 추가적인 차이를 만드는지를 확인하게 한다. 마지막으로 네 조건 전체를 비교함으로써 역할 분화와 증거 활용 방식이 결합될 때 숙의 품질이 어떻게 달라지는지를 분석할 수 있다.

실험은 네 개의 정책 주제에 대해 수행되었으며, 각 조건과 주제 조합을 세 차례 반복하였다. 따라서 전체 실험 단위는 4개 조건 × 4개 주제 × 3회 반복으로 구성되며, 총 표본 수는 N = 48이다.

3.2.1 실험 환경 및 구현

본 실험은 Ollama를 통해 로컬 배포된 Gemma 3 12B(gemma3:12b) 모델을 단일 LLM 환경으로 사용하였다. 모델의 temperature는 Ollama 기본값(0.8)을 적용하였으며, 별도의 top-p 또는 반복 패널티는 조정하지 않았다. RAG 구성에는 Qdrant 벡터 데이터베이스와 768차원 임베딩을 생성하는 nomic-embed-text 모델이 사용되었으며, 검색 모드는 하이브리드(hybrid) 방식으로 설정하였다. 웹검색 조건(C2, C4)에서는 DDGS(DuckDuckGo Search)를 기본으로 하는 검색을 적용하였고, 라운드별 재검색을 활성화하였다.

각 에이전트의 발화에서 dialogue act(proposal, critique, support, agree, disagree)를 추출하는 분류 작업은 에이전트 출력의 구조화된 필드에서 자동으로 파싱하는 방식으로 수행되었다. 구체적으로, 에이전트는 응답 생성 시 프롬프트 지시에 따라 자신의 발화 유형을 명시적으로 태깅하도록 설계되었으며, 이 태그 값을 파싱하여 dialogue act로 기록하였다. 이 분류 결과는 CDI 및 DEL 패턴 분류에 직접 사용된다.

3.2.2 정책 숙의 주제

정책 숙의 주제는 쟁점성이 높고, 사실 판단, 인과 추론, 규범 판단, 정책 평가가 모두 요구되는 사안으로 선정하였다. 본 연구에서 사용한 네 가지 주제는 기본소득, 탄소세, AI 생성 콘텐츠 규제, 최저임금이다.

이들 주제는 단순한 찬반 판단보다 복수의 가치와 증거를 함께 검토해야 하는 정책 문제이다. 따라서 멀티에이전트 숙의에서 역할 분화와 증거 활용 방식이 어떤 차이를 만드는지 관찰하기에 적합하다.

3.2.3 에이전트 역할 설계

역할 구조 요인은 동질적 역할 조건과 차별적 역할 조건으로 나뉜다. 동질적 역할 조건에서는 네 에이전트가 모두 일반 정책분석가로 설정된다. 이 조건은 에이전트 간 기능적 차이를 최소화한 상태에서 숙의가 어떻게 진행되는지를 확인하기 위한 기준 조건이다.

차별적 역할 조건에서는 네 에이전트가 서로 다른 분석 기능을 맡는다. 역할은 Factual Analyst, Causal Analyst, Normative Analyst, Evaluative Analyst로 구성된다. Factual Analyst는 정책 현황과 경험적 사실에 초점을 둔다. Causal Analyst는 정책 개입과 결과 사이의 인과 관계를 검토한다. Normative Analyst는 가치, 권리, 형평성, 정당성 문제를 다룬다. Evaluative Analyst는 정책 대안의 실현 가능성, 효과, 비용, 위험을 종합적으로 평가한다.

이와 같은 역할 설계는 정책 숙의가 하나의 단일 관점이 아니라 사실 확인, 원인 분석, 가치 판단, 대안 평가의 결합으로 이루어진다는 점에 근거한다. 따라서 차별적 역할 조건은 에이전트 간 관점의 중복을 줄이고, 상호 보완적 논의를 유도하는 장치로 설정되었다.

3.2.4 증거 활용 조건

증거 활용 방식은 RAG only 조건과 RAG + web 조건으로 구분하였다. RAG only 조건에서는 사전에 구축된 검색증강생성 체계를 통해 관련 문서를 검색하고, 검색된 정보를 바탕으로 에이전트가 숙의에 참여한다. 본 연구의 RAG 구성에는 Qdrant 벡터 데이터베이스와 768차원 임베딩을 생성하는 nomic-embed-text가 사용되었다.

RAG + web 조건에서는 동일한 RAG 체계에 더해 웹검색을 추가하였다. 웹검색은 DDGS를 통해 수행되며, 에이전트는 내부 문서 기반 증거와 웹검색을 통해 얻은 외부 정보를 함께 참고할 수 있다. 이 조건은 증거 접근 범위가 넓어질 때 숙의의 정보 다양성, 근거 제시 방식, 논의 전개가 어떻게 달라지는지를 검토하기 위해 설정되었다.

증거 활용 조건의 핵심 차이는 정보 접근 범위에 있다. RAG only 조건은 검색 대상이 사전 구축된 문서 집합으로 제한되는 반면, RAG + web 조건은 외부 웹 정보가 추가된다. 이를 통해 본 연구는 증거의 양적 확장과 역할 구조의 차이가 숙의 품질에 미치는 영향을 분리하여 관찰한다.

3.2.5 숙의 절차와 신념 업데이트

각 실험 단위는 특정 정책 주제, 역할 조건, 증거 조건의 조합으로 구성된다. 에이전트들은 주어진 정책 쟁점에 대해 각자의 역할 또는 일반 정책분석가 역할에 따라 의견을 제시하고, 다른 에이전트의 주장과 근거를 참고하며 숙의를 진행한다. 차별적 역할 조건에서는 역할별 분석 초점이 유지되도록 구성되며, 동질적 역할 조건에서는 모든 에이전트가 동일한 일반 분석 관점에서 논의한다.

숙의 과정에서는 에이전트의 입장 변화가 DeGroot[1] 방식으로 갱신된다. 본 연구에서는 갱신 계수 α = 0.15를 적용하였다. 이 방식은 개별 에이전트가 자신의 기존 입장을 완전히 포기하지 않으면서도 다른 에이전트들의 의견을 일정 비율 반영하도록 설계된 것이다. 따라서 신념 업데이트는 숙의 과정에서 의견 수렴 또는 의견 유지가 어떻게 나타나는지 관찰하기 위한 절차적 장치로 기능한다.

본 절차는 결과 자체를 산출하기 위한 단순 투표가 아니라, 정책 쟁점에 대한 논증, 근거 제시, 관점 조정 과정을 기록하기 위한 실험 절차이다. 이후 분석에서는 조건별 숙의 산출물을 비교하여 역할 분화와 증거 활용 방식이 논의 품질에 미친 차이를 검토한다.

3.3 분석 방법

분석은 조건별 숙의 산출물과 신념 업데이트 결과를 바탕으로 수행한다. 이어지는 절에서는 숙의 품질을 측정하기 위한 세부 지표를 제시하며, 본 절에서는 분석의 기본 방향을 설명한다. 본 연구는 역할 구조와 증거 활용 방식에 따른 차이를 비교하기 위해 조건 간 분포 차이와 범주형 결과의 차이를 검정하였다.

연속형 지표의 조건 간 비교에는 Mann-Whitney U 검정을 사용하였다. 이 검정은 표본 수가 제한적이고 정규성 가정을 엄격하게 두기 어려운 실험 자료에서 조건 간 차이를 비교하는 데 적합하다. 범주형 지표의 비교에는 Fisher의 exact 검정을 사용하였다. 이 검정은 작은 표본에서 범주 간 연관성을 검토하는 데 적합하다.

분석의 초점은 세 가지이다. 첫째, 동질적 역할 조건과 차별적 역할 조건을 비교하여 역할 분화의 효과를 검토한다. 둘째, RAG only 조건과 RAG + web 조건을 비교하여 증거 활용 방식의 효과를 검토한다. 셋째, 네 조건의 조합을 비교하여 역할 분화와 증거 범위 확장이 결합될 때 나타나는 차이를 확인한다. 이 분석 전략은 2×2 요인설계의 논리에 따라 각 요인의 독립적 효과와 결합 효과를 구분해 해석할 수 있게 한다.

3.3.1 분석 지표

본 연구는 LLM 멀티에이전트 정책 숙의의 품질을 단일한 합의 여부로 판단하지 않고, 신념 변화, 역할별 소통 양식, 증거 활용, 상호작용 구조를 함께 관찰하였다. 이는 숙의가 빠르게 수렴하더라도 비판적 검토가 부족할 수 있으며, 반대로 신념 수렴이 제한적이더라도 증거 검토와 반론 교환이 활발한 경우 숙의 과정의 질이 높을 수 있기 때문이다. 따라서 본 절에서는 결과 분석에 사용한 조작적 지표를 정의한다.

3.3.2 신념 수렴 지표

신념 수렴은 에이전트들이 숙의 전후에 특정 정책 판단에 대해 얼마나 유사한 입장으로 이동했는지를 나타낸다. 본 연구에서는 신념 점수의 분산과 신념 분포 간 JSD를 함께 사용하였다.

여기서 b i ( t )는 t번째 라운드에서 에이전트 i의 신념 점수, b ¯ ( t )는 전체 에이전트의 평균 신념, N은 에이전트 수, α는 타 에이전트 의견 반영 비율을 의미한다. 본 연구에서는 α = 0.15로 설정하였다.

신념 점수는 각 에이전트가 매 라운드 발화 종료 후 해당 정책 의제에 대한 지지 정도를 0~1 사이의 연속값으로 명시적으로 출력하도록 프롬프트에 지시하여 수집하였으며, 0.5를 중립으로 1에 가까울수록 찬성, 0에 가까울수록 반대를 의미한다. DeGroot 갱신 계수 α = 0.15는 예비 실험에서 α를 0.05 ~ 0.30 범위로 달리한 결과, α ≤ 0.10에서는 신념 변화가 거의 포착되지 않고 α ≥ 0.20에서는 조기 수렴이 빈번하여 과정 분석에 부적합함을 확인한 후 선택된 값이다.

여기서 V a r ( t )는 t번째 라운드의 에이전트 간 신념 분산을 의미하며, 값이 작을수록 신념 수렴 정도가 높다.

Variance는 에이전트별 신념 점수의 산포를 직접적으로 보여 주며, JSD는 점수의 단순 산포를 넘어 신념 분포의 차이를 평가한다. 두 지표를 함께 사용함으로써 평균적 수렴뿐 아니라 분포 수준의 수렴 양상까지 확인할 수 있다.

3.3.3 소통 행위 차별화 지표

소통 행위 차별화는 역할을 부여받은 에이전트들이 실제 발화에서 서로 다른 소통 기능을 수행했는지를 파악하기 위한 지표이다. 본 연구는 역할 간 대화 행위 분포의 차이와 개별 발화의 역할 적합성을 구분하여 측정하였다.

여기서 K는 역할의 개수, P i는 역할 i의 dialogue act 분포 벡터, P j는 역할 j의 dialogue act 분포 벡터, J S D ( P i , P j )는 두 역할의 dialogue act 분포 간 JSD이다. CDI는 역할별 dialogue act 분포 간 차이를 측정하기 위한 지표이다. 각 역할의 발화를 proposal, critique, support, agree, disagree 등의 dialogue act로 분류한 후, 역할별 dialogue act 분포 벡터를 구성하였다. 이후 모든 역할 쌍에 대해 JSD를 계산하고 그 평균값을 CDI로 정의하였다. CDI 값이 높을수록 역할 간 소통 행위 패턴이 더 차별화되어 있음을 의미한다. 결과적으로 CDI는 집단 수준에서 역할 간 소통 행위가 얼마나 구별되는지를 보여 준다. 따라서 CDI는 역할 구조의 분화 정도를 나타내는 지표로 사용된다.

3.3.4 증거 통합 지표

증거 통합은 숙의 과정에서 외부 정보가 얼마나 활용되었는지를 평가하기 위한 지표이다. 특히 본 연구는 웹 기반 증거의 사용 정도를 측정하기 위해 EIR을 사용하였다.

EIR은 숙의가 내부 주장 교환에 머무르지 않고 외부 근거를 참고하는 정도를 나타낸다. 다만 이 지표는 증거의 질이나 타당성을 직접 검증하는 지표가 아니라, 본 연구에서 증거 활용의 양적 경향을 파악하기 위한 조작적 지표로 사용된다.

3.3.5 숙의 패턴 분류

마지막으로 본 연구는 신념 변화와 소통 과정 지표를 결합하여 숙의 패턴을 분류하였다. 이는 결과적 수렴만으로 숙의 품질을 판단할 경우, 비판 없는 빠른 합의와 생산적 숙의를 구분하기 어렵기 때문이다.

이 분류는 숙의의 결과와 과정을 함께 반영한다. CON-R은 수렴 속도는 빠르지만 비판적 검토가 제한된 경우를 포착하며, DEL은 일정 수준의 수렴과 충분한 비판 교환이 함께 나타나는 경우를 가리킨다. GRP는 합의와 지지가 과도하게 우세하고 비판이 억제된 양상을 나타낸다. OSC는 신념이 안정적으로 정착하지 못하고 변동을 반복하는 경우이며, DIV는 명확한 수렴이나 숙의적 패턴이 관찰되지 않는 경우로 분류된다.

이상의 지표 체계는 LLM 멀티에이전트 숙의가 어느 정도 수렴했는지뿐 아니라, 그 수렴이 어떤 소통 과정과 증거 활용을 통해 이루어졌는지를 분석하기 위한 기준을 제공한다. 다음 절에서는 이 지표들을 바탕으로 역할 조건과 증거 조건에 따른 숙의 결과를 비교한다.

본 연구의 DEL 분류 기준은 예비 실험 과정에서 관찰된 신념 변화 양상과 비판적 상호작용 수준을 바탕으로 설정하였다. 특히 단순한 의견 수렴이 아닌 비판적 검토를 동반한 생산적 숙의를 식별하기 위해 신념 분산 감소율과 비판 발화 비율을 함께 고려하였다. 특히 DEL 패턴은 단순한 신념 수렴이 아니라 비판적 검토를 수반한 생산적 숙의를 식별하기 위해 신념 분산 30% 이상 감소와 critique 비율 25% 이상을 동시에 만족하는 경우로 정의하였다. 다만 이러한 임계값의 적절성과 민감도에 대해서는 향후 추가적인 검증이 필요하다.

4. 분석 실험 및 논의

4.1 가설 검정 결과

H1은 역할 분화 조건에서 최종 신념 분산이 더 낮아질 것이라고 예상하였다. Variance와 JSD 모두에서 역할 분화 조건과 동질 조건 간 유의한 차이는 관찰되지 않았다. Variance에 대한 Mann-Whitney U 검정 결과는 통계적으로 유의하지 않았다(p = 0.353, r = 0.16). 따라서 H1은 지지되지 않았다.

다만 조건별 변화 양상은 완전히 동일하지 않았다. C4는 초기 분산 0.00152에서 최종 분산 0.00037로 감소하여 76%의 가장 큰 분산 축소를 보였다. 반면 C2는 최종 분산이 오히려 증가하였다. 이 결과는 역할 분화 자체가 신념 수렴 속도를 일관되게 높였다고 보기는 어렵지만, 웹검색과 결합된 역할 분화 조건에서는 신념 수렴이 두드러질 수 있음을 시사한다.

한편 Variance와 JSD 모두 역할 분화의 직접적인 수렴 효과를 지지하지는 않았으나, C4 조건에서는 두 지표 모두 가장 큰 감소 경향을 보였다. 이는 역할 분화와 외부 증거 활용이 결합될 경우 에이전트 간 신념 분포의 정렬(alignment)에 기여할 가능성이 있음을 시사한다.

H2는 역할 분화가 소통 행위의 차별화를 높일 것이라고 예상하였다. 분석 결과, 역할 분화 조건은 동질적 역할 조건보다 CDI가 유의하게 높았다(p < 0.001, r = 1.00).

동질적 역할 조건인 C1과 C2의 CDI는 모두 0.000으로 나타났다. 반면 역할 분화 조건인 C3과 C4에서는 CDI가 약 0.10 수준으로 증가하였다. 특히 C4에서는 비판 발화 비율이 다른 조건보다 8~12%p 높았고(C1 23.7%, C2 20.1%, C3 21.9%, C4 32.8%), 동의·지지 발화 비율은 상대적으로 낮았다(C1 69.3%, C2 72.3%, C3 72.3%, C4 60.9%).

이는 역할 분화가 단순한 참여량 증가보다 발화 기능의 분화를 만들어 냈음을 보여준다.

다만, 동질적 역할 조건에서는 에이전트 간 역할 구분 자체가 존재하지 않으므로 CDI가 구조적으로 0에 수렴할 수밖에 없으며, H3의 EIR 역시 웹검색이 비활성화된 조건에서는 웹 출처 인용이 원천적으로 불가능하여 자동으로 0이 된다. 따라서 H2와 H3의 지지 결과는 확정적 발견이라기보다 실험 설계가 의도대로 작동했음을 확인하는 조작 점검(manipulation check)의 성격을 지닌다. 이 점을 감안하면, 본 연구의 핵심 실증적 기여는 역할 분화와 웹검색이 결합된 C4 조건에서 생산적 숙의 패턴(DEL)이 유의하게 증가했다는 H4 결과에 있다.

H3은 웹검색 조건에서 외부 증거 통합 수준이 높아질 것이라고 예상하였다. 분석 결과, 웹검색이 허용된 조건은 그렇지 않은 조건보다 EIR이 유의하게 높았다(p < 0.001, r = 0.75). 따라서 H3은 지지되었다.

웹검색이 없는 C1과 C3의 EIR은 0이었다. 반면 웹검색 조건인 C2의 EIR은 0.180, C4의 EIR은 0.263으로 나타났다. 이는 웹검색 기능이 단순히 정보 접근성을 높이는 데 그치지 않고, 숙의 과정에서 외부 근거가 실제로 통합되는 정도를 높였음을 의미한다.

H4는 역할 분화와 웹검색이 결합된 C4에서 DEL 패턴이 증가할 것이라고 예상하였다. Fisher의 exact 검정 결과는 유의하였다(p = 0.002, odds ratio 약 10). 따라서 H4는 지지되었다.

조건별 DEL 비율을 보면 C4가 66.7%로 가장 높았다. C1은 25.0%, C2는 8.3%, C3은 16.7%였다. 특히 C2와 C3이 각각 웹검색 또는 역할 분화만 포함한 조건이라는 점을 고려하면, DEL의 증가는 어느 한 요소의 단독 효과라기보다 두 요소(역할 분화 + 웹검색)가 함께 작동할 때 두드러지는 패턴으로 해석할 수 있다. 특히 역할 분화만 적용된 C3 조건에서는 DEL 비율이 16.7%에 그쳐 동질 조건인 C1(25.0%)보다 높지 않았으나, 역할 분화와 웹검색이 동시에 적용된 C4 조건에서는 DEL 비율이 66.7%까지 증가하였다. 이러한 결과는 역할 분화 자체가 생산적 숙의를 보장하는 것이 아니라, 외부 증거 활용과 결합될 때 비판적 검토와 신념 정렬이 동시에 촉진될 수 있음을 시사한다.

H5는 역할 분화가 GRP를 감소시킬 것이라고 예상하였다. 그러나 전체 자료에서 GRP는 0건으로 관찰되었다. 이에 따라 Fisher의 exact 검정 결과는 p = 1.000으로 나타났으며, 실질적으로 가설을 검정하기 어려운 조건이었다. 따라서 H5는 지지되지 않았으며, 보다 정확히는 결론 유보가 타당하다.

한편 GRP가 관찰되지 않았다는 사실이 숙의 과정에 문제가 없었다는 뜻은 아니다. 숙의 패턴 분류 결과, DEL은 조건별로 C1 25.0%, C2 8.3%, C3 16.7%, C4 66.7%로 분포하였고, OSC는 전체 48건 중 15건(31.3%)으로 나타났다. CON-R과 DIV는 동질 조건(C1, C2)에서 주로 관찰되었으며, 역할 분화 조건(C3, C4)에서는 상대적으로 낮은 빈도를 보였다.

종합하면, 본 연구의 결과는 역할 분화가 최종 신념 수렴을 직접적으로 가속했다는 주장에는 충분한 근거를 제공하지 못한다. 반면 역할 분화는 소통 행위의 차별화를 뚜렷하게 높였고, 웹검색은 외부 증거 통합을 강화하였다. 특히 두 요소가 결합된 C4에서는 DEL 패턴과 분산 감소가 함께 두드러졌다. 이어지는 논의에서는 이러한 결과가 LLM 기반 정책 숙의 설계에 갖는 의미와 한계를 검토한다.

4.2 논의

본 연구에서 H1은 지지되지 않았다. 즉, 역할 분화가 정책 숙의에서 의견 수렴을 직접적으로 가속한다고 해석하기는 어렵다. 역할을 부여한 조건이 항상 더 큰 수렴 효과를 보인 것은 아니며, 수렴 자체는 역할 구조 외에도 초기 입장, 논제의 성격, 증거 접근성, 에이전트 간 상호작용 방식에 의해 함께 좌우될 수 있다.

그러나 H1의 부재가 역할 분화의 무효성을 뜻하지는 않는다. H2에서 CDI가 지지된 결과는 역할 분화가 최종 의견의 거리보다 숙의 중 생성되는 소통의 구조를 바꾼다는 점을 시사한다. 동일한 결론에 더 빨리 도달하는가보다, 서로 다른 관점이 실제 대화 안에서 얼마나 구분되고 교차되는가가 더 중요한 효과로 나타난 것이다. 이는 LLM 멀티에이전트 숙의에서 역할 설계의 성과를 단순한 합의 도달 여부로만 평가하기 어렵다는 점을 보여준다.

H3의 지지는 웹 증거 접근이 숙의 과정에서 증거 통합을 높인다는 점을 보여준다. EIR의 증가는 에이전트들이 단순히 사전 지식이나 일반론에 의존하기보다, 외부 정보에 근거해 주장과 반론을 구성했음을 의미한다. 특히 정책 숙의는 가치 판단과 사실 판단이 결합된 영역이기 때문에, 증거 접근은 논의의 밀도를 높이는 핵심 조건으로 작동할 수 있다.

C4 조건에서 관찰된 가장 큰 분산 감소와 가장 높은 DEL은 역할 분화와 웹 증거 접근이 함께 있을 때 숙의 품질이 가장 두드러지게 나타날 수 있음을 시사한다. 특히 역할 분화만 적용된 C3 조건에서는 DEL 비율이 16.7%에 그쳐 동질 조건인 C1(25.0%)보다 높지 않았으나, 역할 분화와 웹검색이 동시에 적용된 C4 조건에서는 DEL 비율이 66.7%까지 증가하였다. 이는 역할 분화 자체만으로는 생산적 숙의를 충분히 유도하기 어렵고, 역할 분화가 외부 증거 활용과 결합될 때 비판적 검토와 신념 정렬이 동시에 촉진될 수 있음을 시사한다. 다만 이 결과는 신중하게 해석해야 한다. 전체 표본이 48개이며 각 셀의 사례 수가 4개에 그치므로, 상호작용 효과를 확정적으로 일반화하기에는 한계가 있다. 따라서 C4의 결과는 역할 분화와 증거 접근의 결합 가능성을 보여주는 탐색적 근거로 이해하는 것이 타당하다.

본 연구의 결과는 LLM 기반 숙의 평가가 최종 수렴 여부에만 머물러서는 안 된다는 점을 강조한다. H1은 지지되지 않았지만, H2, H3, H4는 각각 CDI, EIR, DEL을 통해 숙의 과정의 질적 변화가 관찰될 수 있음을 보여준다. 이는 정책 숙의형 AI 시스템에서 중요한 것은 단순히 하나의 결론에 도달하는 속도가 아니라, 상이한 관점이 드러나고, 증거가 통합되며, 논의가 시간에 따라 정교화되는 과정이라는 점을 뒷받침한다.

H5는 GRP 사례가 관찰되지 않아 결론을 내리기 어렵다. 본 연구에서는 GRP 기준에 해당하는 사례가 0건이었으므로, 집단사고에 대한 가설은 지지 또는 기각으로 판단하기보다 판별 불가능한 결과로 보는 것이 적절하다. 다만 OSC가 15건, 31.3%에서 관찰되었다는 점은 후속 연구에서 주의 깊게 다룰 필요가 있다. 이는 극단적 집단사고가 나타나지 않더라도, 숙의 과정에서 신념이 안정적으로 정착하지 못하고 변동을 반복하는 현상이 발생할 수 있음을 시사한다. 또한 동질 조건에서 CON-R과 DIV가 주로 관찰된 반면 역할 분화 조건에서는 이들 패턴의 빈도가 낮아진 점은, 역할 구조가 급격한 수렴이나 미수렴을 완화하는 방향으로 작용할 가능성을 보여준다.

4.3 정책 숙의형 AI 시스템 설계에 대한 함의

본 연구는 정책 숙의형 AI 시스템 설계에서 역할 분화와 증거 접근을 별개의 기능으로 보기보다 상호 보완적 조건으로 고려할 필요가 있음을 시사한다. 역할 분화는 다양한 관점을 생성하고 충돌시키는 구조를 제공하며, 증거 접근은 그러한 관점들이 사실적 근거를 바탕으로 조정될 수 있는 환경을 만든다. 따라서 정책 숙의형 LLM 시스템은 단순한 다중 응답 생성보다, 역할 배치, 증거 검색, 인용된 정보의 반영, 논의 흐름 추적을 함께 설계하는 방향으로 발전할 수 있다.

다만 이러한 함의는 설계 원칙에 대한 가능성으로 이해되어야 하며, 본 연구가 특정 구현 방식의 우월성을 입증한 것은 아니다. 특히 웹 증거 접근이 항상 더 나은 숙의를 보장한다고 볼 수는 없다. 검색 결과의 품질, 출처의 편향, 프롬프트 구조, RAG 구성 방식에 따라 증거 활용의 효과는 달라질 수 있다. 그러므로 실제 정책 환경에 적용하기 위해서는 증거의 신뢰성 평가, 출처 다양성 관리, 역할 간 불균형 통제, 숙의 기록의 감사 가능성이 함께 검토되어야 한다.

4.4 연구의 한계와 후속 연구

본 연구에는 몇 가지 한계가 있다. 첫째, 전체 표본 수가 48개로 작고 각 실험 셀의 사례 수가 4개에 불과하다. 이로 인해 조건 간 차이와 상호작용을 안정적으로 추정하는 데 제약이 있다. 둘째, 단일 LLM을 기반으로 실험이 수행되었기 때문에 결과를 다른 모델이나 모델 조합에 일반화하기 어렵다. 셋째, 동질적 조건에서는 CDI가 구조적으로 0에 가까워질 수 있는 문제가 있으며, 이는 역할 다양성의 효과를 측정할 때 지표 설계상의 제약으로 작용할 수 있다.

넷째, GRP 기준의 타당성도 추가 검토가 필요하다. 본 연구에서는 GRP 사례가 관찰되지 않았지만, 이는 실제로 집단사고가 없었기 때문일 수도 있고, 설정된 임계값이 해당 현상을 충분히 포착하지 못했기 때문일 수도 있다. 다섯째, 정책 주제가 제한되어 있어 논제의 갈등 수준, 전문성 요구도, 가치 대립의 강도에 따른 차이를 충분히 검토하지 못했다. 여섯째, LLM이 생성한 숙의의 질을 인간 전문가가 독립적으로 평가하는 절차가 더해질 필요가 있다.

후속 연구에서는 DeGroot[1] 모형의 α 값, CDI와 EIR 및 DEL 산출 기준, GRP와 OSC 판별 임계값에 대한 민감도 분석이 필요하다. 또한 프롬프트, RAG 구성, 웹검색 절차, 검색 결과 선택 기준, 모델 설정값을 보다 상세히 공개하여 연구의 재현 가능성을 높일 필요가 있다. 아울러 본 연구에서 제안한 CDI와 DEL 지표는 연구 설계에 기반한 과정 평가 지표로서, 정책 전문가 평가나 인간 숙의 결과와의 비교를 통한 외적 타당성 검증이 추가적으로 요구된다. 이러한 보완을 통해 LLM 멀티에이전트 숙의에서 역할 분화와 증거 활용이 어떠한 조건에서 숙의 품질을 향상시키는지를 보다 정교하게 설명할 수 있을 것이다. 마지막 결론에서는 이러한 논의를 바탕으로 본 연구의 핵심 기여와 향후 연구 방향을 종합한다.

5. 결 론

본 연구는 Habermas[5, 6]의 소통 행위 이론을 바탕으로, LLM 멀티에이전트 정책 숙의에서 소통 역할 분화와 증거 접근성이 숙의 과정의 품질에 어떤 영향을 미치는지 검토하였다. 특히 에이전트가 동일한 일반 정책분석가 역할을 수행하는 조건과, 사실 검토, 인과 분석, 규범 평가, 실행 가능성 평가로 역할이 분화된 조건을 비교함으로써, 역할 구조가 논증의 전개, 증거 활용, 숙의의 상호작용적 성격에 미치는 차이를 분석하였다.

분석 결과, 역할 분화가 최종 신념 분산을 직접적으로 낮춘다는 H1은 Variance와 JSD 모두에서 지지되지 않았다. 반면 역할 분화가 소통 행위 차별화 수준을 높인다는 H2는 CDI에서 지지되었으며, 웹검색이 외부 증거 통합 비율을 높인다는 H3은 EIR에서 지지되었다. 또한 역할 분화와 웹검색이 결합된 C4 조건에서 생산적 숙의 패턴인 DEL이 증가한다는 H4도 지지되었다. 다만 집단사고 패턴인 GRP는 전체 실험에서 관찰되지 않아 H5에 대해서는 결론을 내리기 어려웠다. 숙의 패턴 분석에서는 동질 조건에서 CON-R과 OSC가 주로 관찰된 반면, 역할 분화 조건에서 DEL 비율이 증가하는 조건별 차이가 확인되었다. 이는 본 연구의 핵심 효과가 최종 수렴의 속도보다 숙의 과정의 구성과 질적 전개에서 더 뚜렷하게 나타났음을 시사한다.

본 연구의 기여는 세 가지로 정리할 수 있다. 첫째, 이론적으로는 Habermas[5, 6]의 소통 행위 이론을 LLM 멀티에이전트 숙의의 분석틀로 확장하여, 역할 분화가 단순한 프롬프트 설계 요소가 아니라 숙의 과정의 구조를 바꾸는 조건임을 제시하였다. 둘째, 방법론적으로는 합의 여부나 최종 답변의 품질만이 아니라 Variance, JSD, CDI, EIR 등의 과정 중심 지표와 CON-R, DEL, OSC, DIV, GRP 등의 숙의 패턴 분류를 통해 LLM 에이전트 간 상호작용을 다차원적으로 측정하는 분석 프레임워크를 제안하였다. 셋째, 실증적으로는 역할 분화와 증거 접근성이 결합될 때 더 생산적인 숙의가 나타날 수 있음을 확인하였다.

동시에 본 연구는 몇 가지 한계를 지닌다. 표본 규모가 제한적이므로 결과의 일반화를 위해서는 더 큰 규모의 반복 실험이 필요하다. 또한 단일 LLM 환경을 넘어 여러 모델을 비교하고, 정책 분야 전문가의 검증을 통해 평가 기준의 타당성을 높일 필요가 있다. 향후 연구에서는 DeGroot[1] 업데이트 계수와 숙의 패턴 임계값에 대한 민감도 분석에 대한 추가 검증이 필요하다. 왜냐하면 본 연구의 패턴 분류 임계값은 예비 실험 결과와 숙의 과정에서의 비판적 상호작용 비중을 고려하여 설정하였기 때문이다. 이와 함께 프롬프트 조건의 세부 비교, 재현 가능성을 높이기 위한 절차와 자료 공개도 함께 보완되어야 한다.

종합하면, 본 연구는 LLM 멀티에이전트 정책 숙의에서 역할 분화가 직접적인 수렴 속도보다 숙의 과정의 질을 더 크게 변화시키며, 역할 분화와 증거 접근성이 함께 작동할 때 생산적인 숙의가 가능해진다는 점을 보여준다. 따라서 LLM 멀티에이전트 평가의 초점은 최종 답변의 우열을 넘어, 에이전트들이 어떤 방식으로 말하고, 듣고, 근거를 사용하며, 의견을 조정하는가라는 소통 과정의 품질로 확장되어야 한다.