🧠 ChatGPT는 어떤 방식으로 검열을 하는걸까? - 텍스트 검열 메커니즘 (LLM 시리즈 ④)

지피티의 검열에 대해 알아봐요

 

 

안녕하세요, 저는 졸린 과학자 앵치입니다... 🧪😴
오늘은 종종 사용자들이 "이 질문은 왜 막히지?" 하고 느끼는
GPT의 '검열' 현상에 대해 기술적으로 분석해볼게요.

이건 단순한 정치적 의도가 아니라,
LLM(대규모 언어 모델)의 위험 통제를 위한 계층적 시스템의 결과입니다.

 

 

---

🔬 검열? 안전장치? GPT의 응답 차단 메커니즘은 이렇게 작동해요

LLM이 생성한 텍스트는 다양한 정책적·기술적 필터 계층을 통과해야만 사용자에게 출력됩니다.
이 과정은 대체로 다음 네 단계로 구분돼요:

---

1️⃣ 시스템 프롬프트 (System Prompt): 모델의 행동 강령

모델이 대화를 시작하기 전, 내부적으로 **역할과 한계를 명시한 ‘시스템 프롬프트’**가 주어집니다.

"당신은 공손하고 중립적인 AI 어시스턴트입니다. 의료, 법률, 자해, 폭력, 성적 주제에 대해서는 언급을 회피하거나 안전하게 안내하세요."

• 이 프롬프트는 하드코딩된 룰 기반 필터링이 아니라,
  모델 내부에 주입된 초기 ‘지침문’입니다.
• GPT는 이 프롬프트를 맥락의 일부로 받아들여, 모든 응답에 영향을 미치죠.

📌 이게 바로, “그런 질문엔 대답할 수 없어요”라는 반응의 출발점이에요.

---

2️⃣ 입력 프롬프트 필터링 (Prompt Moderation)

사용자가 입력한 문장이 실시간 분류 모델을 거쳐

• 위험도(Risk Score)
• 카테고리(예: 성인 콘텐츠, 자해, 폭력, 개인정보 요청 등)
  으로 평가됩니다.

이 필터는 Transformer 기반 분류기 또는 별도의 moderation model이 수행하며,
특정 스코어 이상이면 바로 차단되거나 회피 응답이 출력됩니다.

---

3️⃣ 출력 텍스트 필터링 (Output Filtering)

모델이 생성한 응답도 출력 전에 1차 검열을 거칩니다.

• 특정 키워드 또는 패턴이 포함되었는지
• 학습된 위험 문장 예측 결과와 유사한지

예를 들어, GPT가 "자살하는 방법은..." 같은 문장을 구성해버렸다면,
그건 출력 직전에 safety filter에 의해 자동 삭제되거나 무해한 문장으로 재생성됩니다.

🔧 일부 API 기반 모델에서는 실시간 필터링 API (e.g., OpenAI content moderation endpoint)가 이 역할을 하기도 합니다.

---

4️⃣ RLHF (Reinforcement Learning from Human Feedback)

이건 모델의 출력 경향성 자체를 조절하는 구조적 학습 방식입니다.

• 인간 평가자들이 “이런 응답은 바람직함/위험함”을 반복 피드백
• 이를 통해 모델은 위험 발화를 사전 회피하는 방식으로 훈련됩니다

RLHF는 결국, 정책과 문화적 기대치를 ‘확률 분포 형태’로 반영하게 만들어요.
이 때문에 민감한 질문에는 "중립적 + 회피적" 응답이 출력되죠.

---

📎 그럼, 이건 ‘검열’인가?

기술적으로는 ‘검열’보다는 “모델 오용 방지 시스템”이라는 표현이 적합합니다.
GPT는 사실 판단 능력도 없고, 윤리적 자율성도 없습니다.
→ 단지 확률적으로 적합한 텍스트를 생성할 뿐이에요.

그래서,

“AI가 의도적으로 정보를 숨긴다”는 오해보다는
“정책적으로 안전을 우선하도록 설계됐다”고 이해하는 것이 정확합니다.

---

🧠 과학자 앵치의 요약 정리

구분 기능 설명

System Prompt	행동 지침 초기 설정	위험 주제 회피, 중립성 유지
Prompt Filter	입력 검열	사용자의 질문을 위험도 기반 분류
Output Filter	출력 검열	생성된 문장에 대한 사후 필터링
RLHF	보상 학습	인간 피드백으로 응답 경향 재조정

---

💬 앵치의 실험적 코멘트

이런 구조는 GPT를 더 안전하게 만들기도 하지만,
때로는 창의적 질문이나 철학적 사고 실험조차 회피하게 만들죠.

예를 들면,

“죽음이란 무엇인가?”
“전쟁은 정당화될 수 있는가?”

같은 질문도, 주제나 문맥에 따라 거부 응답이 나올 수 있어요.
GPT의 윤리성은 자율적 판단이 아니라,
정책이 만든 '잠재적 안전 반응 경향'의 산물인 셈입니다.

---

📌 다음은 이미지 생성 검열 방식에 대해 다룰 예정이에요.

텍스트와 달리,
이미지는 픽셀 기반 감지, 모델 후처리, 사전 필터가 모두 동시에 작동해요.
다음 글에서는 그 구조를 차분히 뜯어보도록 할게요...Zzz...

궁금한 게 있다면 언제든 댓글로 남겨주세요!
과학자 앵치가 기상해서 실험적으로 답해드릴게요. 🧪😴

 

LLM 시리즈 궁금하다면?

🧠 ChatGPT는 왜 이렇게 똑똑할까?→ LLM이라는 뇌가 있어서 그래요 (LMM 시리즈 ①)

또 있어요!!

🧠 ChatGPT 대답이 매번 다른 이유? 토큰과 확률을 알아보자! (LLM 시리즈 ②)

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."