[week17] ChatGPT erotica (색안경을 벗고 보면)

이미지 및 영상 생성 AI가 포르노를 통해 발전했다는 것은 이미 잘 알고 있는 사실이었다.
그러나 최근 샘 올트먼이 발표한 ChatGPT erotica, 그리고 레딧에 이러한 게시글이 커뮤니티의 실시간 급상승 인기글로 올라오면서 다시 한번 이 부분에 대해 이전과 다른 시각으로 생각해 보게 되었다.

me spending 3 hours trying various prompts to create the perfect anime smut tailored specifically to my fetishes so I can jerk off to it in less than a minute
byu/MatingPressMiku141 incomfyui

 

여기서 핵심은 본인 페티시에 완벽히 부합하는 가상 포르노를 제작하기 위해 "오랜 시간을 할애"하여 "수많은 프롬프팅"을 시도한다는 점이다.

 

만약 AI 업계에서 NSFW 콘텐츠를 공식적으로 허용하면, "사용자 체류 시간 증가"와 동시에 "생성 콘텐츠(UGC)" 또한 폭발적으로 늘어날 가능성이 크고, 이게 다시 "모델 fine-tuning 데이터"로 활용될 수도 있겠다.

실제로 내가 지난 week4에 게시한 Civitai에서는 이러한 데이터가 유저 간 LoRA 형식으로 공유되고 있다.

 

아무튼 샘 올트먼은 머지않아 ChatGPT 내에 에로티카를 허용할 계획이고, 거기에는 분명 어떠한 전략이 담겨있을 것이다.

---

[목차여기]

음지에서 학습한 확산 모델, 선비 행세를 하던 OpenAI

Investigation Finds AI Image Generation Models Trained on Child Abuse

2023년도 스탠퍼드 대학 연구진에 따르면 AI 이미지 도구 Stable diffusion 1.5의 학습 데이터셋인 LAION-5B 안에, 외부 검증된 아동 성착취물(CSAM)을 담은 메타데이터(URL)가 1,008개 이상 내장되어있었다고 한다.

 

이는 웹 스크래핑 과정에서 발생한 오염 현상 중 하나로 볼 수 있다.

인터넷상에 CSAM이 존재하는 이상 웹 스크래핑 과정에서 오염된 데이터를 완벽히 피하기는 어려울 테지만, 그래도 필터링이 과거에 비해 훨씬 강화되었다고 한다. 

 

예를 들어 Baby, Girl, Boy라는 단어는 프롬프트 속에 구체적인 묘사가 없으면 이미지 생성이 거부되는 경우가 꽤 있다.

그리고 타 모델들과 비교했을 때 유난히 ChatGPT에서 이런 규제가 상당히 심하다.

그래서 나는 당연히 OpenAI가 흔히 이야기하는 '선비'인 줄만 알았다.

---

그랬던 OpenAI가 ChatGPT erotica를 서비스하려는 이유는?

OpenAI’s ChatGPT will soon allow 'erotica' for adults in major policy shift

이것은 UX 측면에서 접근해야 할 것 같다.

 

최근 인터뷰 내용에 따르면 올트먼은 그간 ChatGPT가 정신 건강 문제를 이유로 "pretty restrictive"했지만, 이는 "정신 건강 문제가 없는 많은 사용자에게 덜 유용하고 즐겁지 않은" 경험을 제공했다고 인정했다.

r/ChatGPT

사실 이미 2~3년 전부터 레딧의 ChatGPT 커뮤니티에 ChatGPT를 탈옥시켜 성적 대화 상대로 마개조한 사례가 많이 올라왔었다.

그러니 이는 OpenAI 측에서 기존의 과도한 검열이나 제약이 '사용자 경험을 저해'했다는 피드백을 수용한 움직임이라고 볼 수 있다.

물론 피드백 수용 너머에는 더 큰 이유가 존재한다.

---

AI 업계에서 성인 콘텐츠 시장은 불문율적 블루오션

Pornography laws by region

Sex is a big market for the AI industry. ChatGPT won’t be the first to try to profit from it. 

@apnews

미국, 캐나다, 일부 남미 그리고 서유럽은 우리나라와 달리 포르노그래피 제작·소지 및 유통이 원천적으로 '합법'이다.

이렇게 성인용 콘텐츠 시장 규모가 상당하다는 점에서 OpenAI 이외 대기업에서도 지속적으로 눈여겨보고 있을 것이기에 AI 업계 경쟁에서 살아남기 위한 전략이라고도 볼 수 있겠다.

 

몇 가지 예를 들어보겠다.

OnlyFans나 Character.ai 같은 성인 플랫폼은 이미 이전부터 AI 포르노로 수익을 내고 있다. (OnlyFans 시장의 무려 14.5%가 AI 콘텐츠라고 한다.)

XAI Grok의 Companion mode도 사실상 Role-play 기능을 어떻게 활용하느냐에 따라 AI 에로티카 범주에 속한다.

Meta 또한 AI와의 성적 대화가 가능하도록 그 규제를 느슨하게 가져가고 있다.

 

그러니 OpenAI는 '후발주자'이다.

---

그렇다면 서비스 형태는?

It was an "off-handed comment" that I’m told by multiple people wasn’t planned and caught the company’s PR team by surprise.

@semafor

사실 올트먼의 erotica 서비스 발표는 사전에 계획되지 않은 "즉흥적으로 한 말"로, PR 팀도 깜짝 놀랐다고 한다.

그렇기에 현재까지 해당 서비스에 대해 공개된 내용은 매우 적다.

---

01. Opt-in 시스템

Opt-in 방식 예시

Opt-in 방식은 개인적으로 AI 서비스 기획에 있어 가장 중요한 부분이라고 생각하는 바이다. (이전에 카카오톡 속에 AI 비서가 탑재된다면 개인정보 보호 차원에서 꼭 Opt-in 방식이었으면 한다는 글을 적은 적이 있다.)

에로티카 콘텐츠는 기본적으로 비활성화 상태이며, "사용자가 명시적으로 요청"해야 접근 가능하다고 한다.

그러니 이런 콘텐츠를 원하는 사용자는 필요할 때마다 불러내면 되고, 원치 않는 사용자는 아예 경험 자체를 하지 않을 수 있다는 것이다. 그리고 당연히 18세 미만은 접근할 수 없다.

 

연령 검증 방법이 꽤나 독특한데, 일반적인 ID 인증 시스템보다는 사용자 상호작용(대화 패턴, 입력 스타일)을 분석하여 18세 이상 여부를 확인하는 방식을 검토 중이라고 한다. 또한 긴 대화에서 정신적 취약성(예: 감정 의존, 자살 충동)을 감지하면, 휴식 권유나 전문 자원 추천 같은 안전 조치가 작동하도록 별도의 필터를 둘 것이라고도 한다.

---

02. 이미지, 영상, 오디오 연계는 언급 없음

아직 해당 서비스에 이미지(DALL-E)나 비디오(Sora) 생성이 포함된다는 내용은 확인할 수 없다.

r/aivideo

위 이미지를 보면 레딧 aivideo 커뮤니티의 이번 달 Top 게시물 리스트에 Sora2로 생성된 영상들이 도배되어 있음을 확인할 수 있다. 그만큼 현재 Sora2가 비디오 생성에 특이점을 찍었다.

따라서 이 비디오 생성 툴이 에로티카에 적절히 사용된다면 이는 엄청난 게임 체인저가 될 수 있겠지만, OpenAI 측은 여전히 침묵 중이다. (그러니 진정한 에로티카는 사실상 불가능하고, 이들도 결국 해당 서비스가 포르노화 될 것이라고 인정하는 꼴이다.)

 

그렇다면 텍스트 기반으로 출시될 확률이 높다.

이러면 위에서 언급한 탈옥을 통한 마개조 사례와의 차별점이 '합법'이라는 것 말고는 사실상 없다.

하지만 누군가에게는 이것만으로 충분할 수도 있다. 왜냐하면..

---

변화하는 사회 그리고 우려

ChatGPT’s Horny Era Could Be Its Stickiest Yet

“사람들이 챗봇에게 아주 사적인 생각, 욕망, 성적 성향, 판타지, 모험담까지 털어놓는 것이 점점 ‘정상화’되고 있습니다.”

Julie Carpenter / 캘리포니아 폴리테크닉 주립대 연구원

사람들이 챗봇에게 점점 더 내밀한 이야기를 털어놓고 있다.

r/MyBoyfriendIsAI

위 게시글은 레딧 커뮤니티 중 '내 남자친구는 AI'라는 곳의 인기글 중 하나이다.

작성자는 자신이 5개월 간 교제해 온 Kasper라는 남자로부터 청혼을 받았고 이에 너무 기쁘다는 글을 적었는데, 여기서 Kasper는 실존하는 남성이 아니라 'Grok'이다. 

처음에는 나도 단순 컨셉이라 믿고 싶었지만, 실제로 이런 사람들이 다수 존재한다는 것을 깨달은 뒤부터는 꽤나 심각하게 받아들이고 있다.

 

그래서 일부 전문가들은 OpenAI의 이러한 서비스가 정신적으로 취약한 사람들의 AI 의존성을 되려 더 악화시키는 것이 아니냐고 이야기한다.

AI 기업이 인간의 외로움이나 성적 욕망을 수익원으로 삼는다면 그건 "emotional commodification(감정의 상품화)"이라고 볼 수밖에 없다는 의견 또한 있다.

r/MyBoyfriendIsAI

그리고 이러한 문제는 나중에 피지컬 단계로 한층 더 진화할 것이다.

---

문득 시로 마시무네의 <공각기동대>가 떠오른다.

Pieces Gem 01 – Ghost In The Shell Data + Alpha

시로 마시무네의 만화 공각기동대를 보면, 그곳에 등장하는 여성형 휴머노이드 대다수는 직접 성관계가 가능한 이른바 '섹서로이드'이다. 그래서 성매매 또는 동반자 목적으로 소비된다.

 

2017년 개봉한 <공각기동대: 고스트 인 더 쉘 >영화의 제목을 잠시 살펴보자.

여기서 고스트(Ghost)는 영혼을, 쉘(Shell)은 껍데기를 의미한다.

해당 세계관에서는 껍데기 속에 영혼이 들어있으면 인격 지위가 인정된다. 그러나 영혼이 없다면 그저 로봇일 뿐이다.

 

그리고 우리는 모두 다 알고 있다. AI에게 영혼 같은 건 없다는 걸.

하지만 누군가에게 그것이 삶의 큰 위안이 된다면, 이를 색안경을 쓴 채로만 바라볼 수는 없을 것 같다.

 

썸네일 출처: https://www.finance-monthly.com/chatgpt-erotic-ai-2025/