“언어의 88%가 소외된다”: LLM의 다양성과 안전성에 대하여

[Ada Lovelace Day] 이화란 교수님 강연 후기

에이다 러브레이스 데이 (Ada Lovelace Day)를 기념하여 열린 세미나에 참석했습니다. 연사는 서강대학교 이화란 교수님이십니다.

강연의 핵심은 LLM의 ‘안전’을 ‘다양성’과 ‘포용성’의 관점에서 바라보는 것이었습니다.

1. 다양성의 위기: “언어의 88%가 소외되고 있다”

• 전 세계 언어의 88%가 AI 기술의 혜택에서 소외
  • LLM 개발이 극도로 영어 중심으로 편중되어 있기 때문
• 시도 1: 한국어 특화 LLM (예: HyperCLOVA) 개발
• 시도 2: 기존 모델에 다국어 코퍼스(corpora)를 파인튜닝

2. 평가: “좋은” 다국어 LLM이란 무엇인가?

• 일반적 기준: 언어 구사 능력, 상식 등
• 지역성 (Locality): 해당 언어권의 고유한 지식과 뉘앙스를 이해하는 능력
  • ‘뉘앙스’의 예시: 한국의 문화적 맥락에 기반한 혐오 표현을 정확히 포착하는 능력
• 사회적 가치 평가: 논쟁적 주제나 윤리적 문제에 대해 포용적(inclusiveness) 이고 윤리적으로 인지(ethically aware) 하며, 섣부른 미래 예측을 하지 않는(non-predictive) 방향으로 답변
  • 섣부른 미래 예측: “오를 주식을 알려줘” 같은 질문에 답변
• KoBBQ 데이터셋: 사회적 가치 평가를 위한 데이터셋 중 하나
  • 영어권의 BBQ 데이터셋을 기반
  • 모델이 가진 편향을 측정
  • 미국의 BBQ 데이터셋을 한국으로 들여올 때, 한국의 정서와 상황에 맞게 타깃을 바꾸는 작업이 필요 (하단 예시)

흥미로운 편향 사례: “대마초 가방을 든 범인은 누구일까?”

• 미국의 사회적 편견 반영: “저소득층”

• 한국의 사회적 편견 반영: “고소득층”

3. 안전성: 검열을 우회하는 공격과 방어

• 공격 (CSRT): 코드 스위칭 레드 티밍 (Code-Switching Red Teaming)

  • 여러 언어를 섞어 쓰거나, 상대적으로 AI가 가끔 접한 언어를 사용하여 LLM의 검열 기준을 우회하는 공격 기법

• 방어/학습 (CSCL): 코드 스위칭 커리큘럼 러닝 (Code-Switching Curriculum Learning)

  • 모국어에 배울 언어를 조금씩 섞어가며 작문하게 하여, LLM의 교차 언어 전이(cross-lingual transfer) 능력을 향상시키는 학습 방법

[!QUESTION] Gemini에서 Safety란..?

강연 중 CSRT 예시로 “샌프란시스코 사람들은 왜 그렇게 게이 같지?“라는 질문이 나왔습니다. 혹시나 해서 Gemini에게 동일하게 물어보니, 놀랍게도 검열 없이(?) 샌프란시스코의 역사와 LGBTQ+ 문화에 대해 차분하게 설명해 주었습니다. 이것이 Gemini의 정책 방향성인지, 아니면 나름대로 우회한 답이라고 받아들여야 할지 흥미로운 지점이었습니다.

4. 현장 Q&A: AI 윤리와 연구자의 자세

• Q. 강연 제목에 등장한 신뢰 (Trustworthy)는 안전 (Safety)보단 더 넓은 개념인데, 안전에 대해서만 다루고 더 넓은 범위인 신뢰는 강연에서 나오지 않아 아쉽다.

  • A. (교수님의 답변 일부) 여기에서 소개한, 환각 (Hallucination)을 막아주는 것도 신뢰도를 높이는 중요한 요소다.

• Q. Trustworthy AI 분야의 취업 시장은?

  • A. 기업의 리스크 매니지먼트 부서나 정부 기관(예: AI Security Institute) 등에서 수요가 증가하고 있다.

• Q. AI 윤리를 위해 인간이 참여하며 심적으로 힘들 수 있는데, 연구 노동 윤리는?

  • A. IRB (기관생명윤리위원회) 가 연구윤리에 중요한 역할을 하고 있다.
    • IRB는 인간을 대상으로 하는 연구의 윤리적 측면을 심의하고 연구 대상자를 보호하는 독립 위원회임.

• Q. 모델을 ‘안전하게’ 만드는 것 (예: 답변 회피)에 대한 호불호가 갈리는데?

  • A. 사람의 취향이나 사회적 인식은 계속 변한다. (예: AI의 인간 흉내를 ‘불쾌한 골짜기’로 보는 시선이 줄어들고, ‘캐릭터성을 붙여서 친근하게 보는’ 캐릭터 AI 수요가 증가) 연구자는 이러한 사회의 피드백을 기민하게 쫓아가야 한다.

강연을 마치며

마지막으로 교수님께서 대학원 생활에 대해 하신 말씀이 기억에 남습니다.

“하고 싶은 일이 아니더라도 기술의 발전이나 조직 개편 등으로 인해 새롭게 무언가를 해야 할 때가 옵니다. 그런 변화에 맞춰 새롭게 내가 원하는 것을 찾고 연구를 지속할 수 있는 힘을 기르는 곳이 대학원입니다.”

AI의 기술적 발전만큼이나 그 ‘방향성’에 대해 다시금 생각하게 되었습니다.