인공지능에 꼬리표 달기

인공지능에 꼬리표 달기

 

올해의 노벨 물리학상은 존 홉필드(John J. Hopfield) 교수와 제프리 힌튼(Geoffrey E. Hinton) 교수에게 돌아갔다. 스웨덴 왕립과학원 노벨위원회는 두 사람의 연구가 인공 신경망을 이용한 머신러닝을 가능케 하는 기초적인 발명 및 발견이었음을 선정 사유로 밝혔다. 존 홉필드 교수는 인공지능 신경망 구축의 기본이 된 홉필드 네트워크(Hopfield network)를 발명한 공로를 인정받았다. 제프리 힌튼 교수는 이러한 존 홉필드의 연구를 확장해, 패턴을 저장·학습한 후 새로운 패턴을 생성할 수 있는 볼츠만 머신(Boltzmann machine)을 개발했다.

그러나 정작 두 수상자는 노벨위원회와의 전화 인터뷰에서 AI 기술에 대한 우려를 표했다. 2023년 AI의 위험성에 대해 경고하며 십여 년간 몸담았던 구글에서 퇴사했던 것으로도 잘 알려진 제프리 힌튼 교수는 “우리는 무슨 일이 벌어지고 있는지, 그리고 이를 위해 무엇을 해야 하는지 잘 알지 못하는 문제를 다루고 있다”라며, “우리는 (AI가) 통제 불가능한 영역으로 넘어가는 실존적 위협과 관련해 일종의 역사적 분기점에 있다고 생각한다”라는 걱정을 전했다. 존 홉필드 교수 역시 “제프리 힌튼의 우려에 동감한다”라며 “AI가 매우 강력하며 우리가 그 이유를 이해하지 못한다는 점에 대해 항상 걱정한다”라고 밝혔다. 우리가 AI를 통제하는 방법이나 AI의 잠재력을 이해하지 못하고 있다는 점에 대한 우려다. 이에 더해 제프리 힌튼 교수는 1975년 유전자 조작 기술의 위험성과 생물 재해에 관한 토의가 이루어졌던 애실로마 회의(Asilomar conference)를 예시로 들며, “(활용 범주가 더욱 넓은)AI에 대한 규제를 세우는 것은 더욱 어렵겠지만, 당시 생명과학자들의 행보가 좋은 모델이 될 것”이라는 의견을 밝혔다.

실제로 이미 많은 학자들이 AI 기술의 오용을 막기 위해 다양한 시도를 하고 있다. AI에 의해 생성된 데이터의 식별을 위한 기술 개발도 그 일환이다. ChatGPT의 대중화로 이공계 분야 밖의 사람들에게도 널리 알려진 대규모 언어 모델(Large language model, LLM)의 경우 이전부터 사람에 의해 작성된 텍스트와 LLM 모델에 의해 생성된 텍스트의 구분이 불가능해졌을 때 발생할 수 있는 악영향이 문제로 제기되어왔다. 지난 2022년, 미국 콜로라도 주립 박람회 미술대회에서 생성형 인공지능인 미드저니(Midjourney)를 이용해 제작한 작품 <스페이스 오페라 극장>이 디지털 아트 부문의 우승을 차지하며 이러한 논란은 더욱 떠들썩해졌다.

어떻게 LLM 모델에 의해 생성된 데이터를 식별할 수 있을까? LLM 모델로부터 생성된 데이터를 식별하기 위해 세 가지 방법을 생각해 볼 수 있다. 첫 번째 방식은 LLM 모델에서 생성된 데이터를 모두 저장해둔 후, 필요시 이를 검색해 LLM 모델 사용 여부를 확인하는 ‘검색 기반 접근법’이다. 그러나 이러한 방식은 저장 공간 등에 대한 고려가 필요하며, LLM에 의해 만들어지는 모든 생성물에 접근하고 이를 저장해야 한다는 점에서 개인 정보 보호 문제가 발생할 수 있다. 두 번째 방식은 ‘사후 분석 (post hoc)’ 방식이다. 텍스트에서 발견되는 통계적 특징이나 머신러닝 기반의 분류기를 사용해 인간이 작성한 텍스트와 AI에 의해 작성된 텍스트를 구별하는 것이다. 이와 같은 방식은 검색 기반 접근법과 같은 개인 정보 보호 문제로부터 자유롭고, 데이터 생성 단계에서의 개입이나 저장 과정 없이 광범위한 검출을 할 수 있다는 장점을 가진다. 그러나 분류 시 컴퓨팅 비용이 많이 든다는 점과, 일정 수준의 성능을 유지하지 못한다는 점으로 인해 실제 사용에는 어려움이 있다. 무엇보다도 LLM의 성능이 향상됨에 따라 기계 텍스트와 인간 텍스트의 근본적인 차이가 감소하는 경우 분류기가 제대로 작동하기 어렵다는 점이 한계로 지목된다.

세 번째 방식은 LLM 생성 데이터에 워터마크(watermark)를 남기는 방식이다. LLM에서 생성된 데이터에 식별 가능한 표식을 남겨, 추후 LLM 개입 여부를 판단하는 데 사용하는 것이다. 워터마크를 새기는 시점에 따라 ▲생성 워터마킹 ▲편집 기반 워터마킹 ▲데이터 기반 워터마킹 등으로 나눌 수 있다. 워터마크의 존재가 생성된 데이터의 품질을 낮추는 등 사용에 영향을 미치거나, 사용자가 워터마크를 쉽게 식별 및 제거할 수 있어서는 안 되지만 전문 소프트웨어로 확인 시 즉시 식별 가능해야 한다.

ChatGPT를 개발한 OpenAI나 Gemini를 개발한 구글 딥마인드 등 기업 연구소에서 LLM 생성물에 대한 워터마킹 연구가 활발히 이뤄지고 있다. 지금으로부터 2년 전 텍사스 대학의 교수이자 Open AI의 객원 연구원인 스콧 아론슨(Scott Aaronson)의 강연에서 OpenAI가 워터마크 삽입 도구를 개발 중이라는 사실이 알려진 바 있다. 이미 OpenAI의 이미지 생성기인 달리(DALL-E)는 이미지 생성 시 출처 추적이 가능한 워터마크를 표지한다. 지난 8월, 월스트리트저널은 OpenAI에서 텍스트 워터마크 도구 개발을 완료했으나 위험성 평가 진행 및 사용자 감소에 대한 우려 등으로 인해 공개를 연기하고 있다고 보도했다.

구글 딥마인드 연구팀에서는 신스ID 텍스트 (SynthID-Text)라는 기술을 개발해 Gemini에 도입했다. LLM 모델은 한 단어의 뒤에 자연스럽게 이어질 단어를 선택하기 위해 학습된 데이터를 바탕으로 확률을 계산한다. 즉, 기본적으로 LLM 모델이 특정 단어를 선택할 확률은 실제 사람들의 단어 선택 확률과 유사하다. 워터마킹을 위해 연구진은 단어 선택 과정에 의사난수 함수(pseudorandom function)를 도입해 LLM 모델의 단어 선택 확률을 변경했다. 변형이 적용된 AI 모델에서 작성된 텍스트에서는 특정 단어의 사용 확률이 실제 사람들의 단어 사용 확률과 달라진다. 워터마크 검출 도구는 이러한 단어 사용 확률을 분석해 사람이 작성한 텍스트와 신스ID 텍스트가 적용된 AI 모델로부터 작성된 텍스트를 구분한다. 이 기술은 지난달 22일 네이처 지에 학술 논문의 형태로도 발표되었다. 해당 논문에서는 텍스트 품질을 유지하면서도 검출 감도를 높인 비왜곡형 신스ID 텍스트와 검출 성능을 더욱 높이기 위해 생성되는 텍스트의 품질 손실을 일부 감수하는 왜곡형 신스ID 텍스트를 소개했다. 2,000만 명의 Gemini 사용자를 대상으로 실험한 결과, 사용자들은 신스ID 텍스트가 적용된 생성물과 그렇지 않은 생성물 간 성능 차이를 느끼지 못했다. 딥마인드에서는 모든 AI 개발자가 이를 활용할 수 있도록 신스ID 텍스트의 모델과 기본 코드, 워터마크 검출 도구를 공개했다.

그러나 여전히 AI 생성물에 대한 워터마킹 기술에는 많은 발전이 필요하다. AI에 의해 생산된 텍스트를 재작성(paraphrasing)하거나 다른 AI 모델을 이용해 변형하는 방식으로 워터마킹 감지를 피해 갈 수 있다는 지적을 포함해 워터마킹을 제거하기가 어렵지 않다는 지적이 대표적으로 넘어야 할 산이다. 워터마킹에 대한 사용자의 신뢰도 문제, 검출 성능 등의 측면에서도 계속해서 기술 개발이 이루어져야 한다.

유럽 연합에서는 지난 3월, 인공지능법안을 통과시키며 AI 사용에 관한 규제를 시작했다. 이에 따르면 AI 시스템 제공자가 텍스트, 이미지, 오디오, 비디오 등의 콘텐츠를 생성할 때 인공적으로 생성되었음을 표지하는 것이 2026년 8월부터 의무화된다. 중국 정부는 이미 의무적 워터마킹 제도를 도입했다. 캘리포니아주에서도 AI 생성물의 워터마킹을 의무화하는 [캘리포니아 디지털 콘텐츠 출처 표준(AB 3211)] 법안이 발의되었다. 제프리 힌튼 교수는 노벨위원회와의 인터뷰에서 OpenAI와 같은 기업체가 안전성 연구를 등한시하지 않도록 정부 차원에서 대기업의 AI 안전성 연구를 강요할 필요가 있다는 의견을 밝혔다. 누구도 예상하지 못했던 속도로 기술이 발전하는 만큼, 기업체와 정부, 사용자 모두가 오용 없이 신기술을 활용하는 방식에 관심을 가져야 할 때다.

 

그림 설명

LLM의 텍스트 생성 방식과 워터마킹 방식 (Nature 634, 818–823 (2024))

 

출처

Nature 634, 818–823 (2024)

Nature 634, 753 (2024)

Nobel Prize 2024 (https://www.nobelprize.org/prizes/physics/2024/summary/)

My AI Safety Lecture for UT Effective Altruism, Scott Aaronson (https://scottaaronson.blog/?p=6823)

International Conference on Machine Learning. PMLR, 2023. p. 17061-17084

https://www.wsj.com/tech/ai/openai-tool-chatgpt-cheating-writing-135b755a