[한글날 기획] 인공지능은 한국어를 얼마나 이해할까? LLM의 한글 학습 한계와 소버린 AI(Sovereign AI)의 필요성

10월 9일 한글날을 맞아, 과거 타자기·텔렉스 시절의 문서 작성 경험을 되짚어보며 거대언어모델(LLM) 시대에 한글과 한국어 데이터가 처한 기술적·비용적 현실을 편안하게 살펴봅니다. 영어 중심 AI 생태계에서 한국어가 겪는 토큰 소모 불균형 현상과 문맥 이해의 한계, 그리고 이를 극복하기 위한 국가 차원의 '소버린 AI(Sovereign AI)' 구축 필요성과 정책적 과제를 나누어 봅니다.

아날로그 문서 도구인 모스 부호기와 텔렉스 기기에서 시작된 역사적 연결고리가, 오늘날의 디지털 인공지능(AI) 신경망과 만나 대한민국 고유의 '소버린 AI(Sovereign AI)'를 형성하고 있음을 상징적으로 보여줌

1. 서론: 타자기와 텔렉스 시절을 지나, AI 시대의 한글을 생각하다

돌아보면 1970년대 말과 80년대 초, 아날로그 문서 작성과 통신의 중심에는 수동 타자기와 텔렉스(Telex), 그리고 급한 소식을 전하던 모스 부호(전보)가 있었습니다.

당시 영문 타자기는 알파벳 26개와 대소문자, 숫자만으로 매끄럽게 문서를 찍어냈고, 한글 역시 공병우 박사의 세벌식이나 두벌식 타자기 덕분에 자음과 모음을 모아 쓰며 비교적 수월하게 문서화할 수 있었습니다. 급한 전보를 칠 때도 한글은 적은 글자 수로도 의미가 명확히 전달되는 직관적인 언어였습니다.

반면, 한자를 사용하는 중국이나 일본의 문서 작성 풍경은 사뭇 달랐습니다. 중국은 수천 개의 한자 활판이 빽빽하게 박힌 거대한 한자 타자기를 놓고 레버를 움직여 글자를 하나씩 집어 올리는 고된 작업을 해야 했습니다. 텔렉스나 모스 부호로 한자를 보낼 수 없으니, 상용 한자 수천 개에 0000부터 9999까지 4자리 숫자를 부여한 '전보 코드북'을 일일이 찾아가며 숫자로 변환해 전송하고, 받는 쪽에선 다시 그 숫자를 한자로 번역하는 번거로움을 겪었습니다. 일본 역시 카타카나 위주의 타자기를 쓰거나 한자 코드를 조합하는 우회 방식을 써야 했죠.

이처럼 사람의 손과 기계가 교감하던 시절, 한글은 입력과 전달이 매우 빠르고 효율적인 과학적 문자였습니다. 하지만 아이러니하게도 컴퓨터를 넘어 인공지능(AI)의 세상으로 들어서자 한글은 새로운 기술적 장벽과 마주하게 되었습니다. GPT-4, Claude, Gemini 같은 글로벌 거대언어모델(LLM)들이 대부분 영어 데이터와 영문법 구조를 바탕으로 설계되었기 때문입니다. 과거 한자와 다른 언어들이 겪었던 구조적 장벽처럼, 오늘날 AI 생태계에서 한글이 겪고 있는 한계와 과제를 둘러보고자 합니다.

2. 기술적 현실: 토크나이저(Tokenizer) 구조와 연산 비용 이야기

LLM이 글자를 읽고 이해할 때 가장 먼저 거치는 단계가 토큰화(Tokenization)입니다. 문장을 작은 조각(토큰)으로 쪼개어 숫자로 변환하는 과정인데, 안타깝게도 이 단계에서 한국어는 구조적인 손해를 입고 있습니다.

① 토큰 소모량 불균형 사례

• 영어: "Artificial Intelligence" ➔ 약 2~3개 토큰 소모
• 한국어: "인공지능" 또는 "인공지능 기반 시스템" ➔ 형태소 분리 과정 및 UTF-8 바이트 처리 문제로 인해 약 5~8개 이상의 토큰 소모

대부분의 상용 AI API는 토큰 단위로 비용이 책정됩니다. 과거 텔렉스 시절 글자 수가 늘어날수록 전송료가 비싸졌던 것처럼, 동일한 정보와 의미를 담은 문장을 주고받더라도 한국어 사용자는 영어 사용자보다 1.5배에서 3배에 가까운 API 비용을 지불하게 됩니다. 국내 기업들이 글로벌 AI 모델을 도입해 서비스를 개발할 때 직접적인 비용 부담으로 이어지는 이유입니다.

② 문화적 맥락과 뉘앙스 이해의 한계

한글은 존댓말과 반말, 다양한 조사, 상황에 따른 문장 성분 생략 등 깊은 맥락을 품고 있습니다.

실제 사례: "밥 먹었어?"라는 단순한 한 문장도 상대방과의 관계(연령, 직급, 친밀도)에 따라 "식사하셨습니까?", "식사하셨어요?", "밥 먹었냐?" 등 미묘한 뉘앙스 차이를 갖습니다. 하지만 글로벌 LLM은 이러한 한국 고유의 사회적 맥락이나 지역 사투리, 최신 밈(Meme) 표현을 매끄럽게 살리지 못하고 어색한 번역투로 답하거나 전혀 다른 맥락으로 이해하는 환각(Hallucination) 현상을 보이기도 합니다.

- [현장 실무 노트] 아직 인프라가 닿지 않은 현장의 씁쓸한 현실

이론적인 토큰 소모 불균형이나 AI의 언어 한계 이야기는 테크 리포트나 미디어에 넘쳐나지만, 막상 건설 현장이나 일선 행정의 실무를 돌아보면 거창한 AI 연동은 아직 그림의 떡에 가깝습니다. 현장에서는 당장 수많은 다국적 근로자들과 소통하거나 방대한 준공 서류, 다국어 지침서를 제대로 처리해 줄 표준화된 AI 인프라나 전용 시스템이 제대로 갖춰져 있지 않은 실정입니다.

여전히 아날로그식 수기 문서와 구식 시스템에 의존해야 하는 탓에, AI 기술의 발전 속도와 현장이 체감하는 현실 사이에는 거대한 공백이 존재합니다. 책상머리에서 이야기하는 완벽한 디지털 혁신과, 인프라가 턱없이 부족한 현장의 괴리—바로 이 지점이 우리가 실효성 있는 '소버린 AI'와 기틀부터 탄탄한 인프라 구축을 간절히 바라는 가장 뼈저린 이유입니다.

3. 왜 '소버린 AI(Sovereign AI)'를 이야기할까?

소버린 AI란 해외 빅테크 기업에 전적으로 의존하지 않고, 자국의 언어·문화·제도·가치관을 올바르게 반영해 자체 인프라와 데이터로 구축한 국가 전용 AI 생태계를 말합니다.

① 문화적 맥락과 데이터 주권

1. 문화적 편향 방지: 영미권 데이터 위주로 학습된 AI는 가치 판단이나 사회적 이슈를 바라보는 시각 역시 서구 중심으로 흐르기 쉽습니다. 우리 고유의 역사와 정서를 담아낼 독자적 AI가 필요한 이유입니다.
2. 데이터 안보: 공공 행정, 법률, 의료 등 주요 국정과 연관된 데이터가 해외 서버를 거치며 발생할 수 있는 유출 위험을 줄이고 정보 주권을 지킬 수 있습니다.

② 국내에서 이어지는 도전들

• 네이버 하이퍼클로바X (HyperCLOVA X): 한국어 데이터를 집중 학습시켜 국내 법률, 행정, 제도적 맥락에 강점을 보이는 모델을 선보이고 있습니다.
• LG AI연구원 엑사원 (EXAONE): 전문 학술 및 산업 데이터를 바탕으로 국내 대기업과 연구 기관의 맞춤형 AI 환경 구축을 돕고 있습니다.
• 공공 및 정부 차원의 노력: 과학기술정보통신부를 중심으로 행정 서비스 개선을 위한 초거대 AI 도입 프로젝트와 국산 AI 반도체(NPU) 연계 사업들이 차근차근 진행 중입니다.

4. 앞으로 함께 고민해야 할 과제들

한글이 AI 시대에도 그 뛰어난 가치를 이어가기 위해 함께 살펴보아야 할 점들입니다.

1. 고품질 한국어 데이터(말뭉치) 개방: 저작권 우려 없이 AI 학습에 안심하고 활용할 수 있는 다양한 분야(문학, 역사, 행정 등)의 한국어 데이터셋 확충이 필요합니다.

2. 한국어 특화 토크나이저 개발: 한국어 형태소 구조에 맞춰 토큰 소모 효율을 극대화하는 알고리즘 연구가 적극적으로 이뤄져야 합니다.

3. 창작자 보호와 데이터 활용의 상생: 한글 문학이나 뉴스, 학술 자료가 AI 학습에 쓰일 때, 창작자의 권리를 보호하면서도 기술 발전을 돕는 합리적인 기준이 마련되어야 합니다.

5. 마치며: 한글의 직관함, AI 시대에도 빛나기를

세종대왕이 한글을 만든 바탕에는 '누구나 쉽게 자신의 뜻을 펴게 하겠다'는 따뜻한 실용 정신이 담겨 있었습니다.

70~80년대 타자기 자판을 누르고 텔렉스 신호를 보내던 시절에도 한글은 우리 생각을 전달하는 가장 똑똑하고 편리한 도구였습니다. 인공지능이라는 거대한 디지털 전환기를 맞이한 지금, 한글이 인공지능 공간에서도 제 가치를 다하고 우리 기술 주권을 굳건히 지켜낼 수 있기를 기대해 봅니다.

[함께하면 좋은 글]

[마스터 가이드] Horizon 기획 시리즈: 테크놀로지와 사회의 대전환 — AI와 사회·정책의 교차점

최종 업데이트: 2026.10.12.