"AI로 유튜브 스토리 영상을 자동으로 만들 수 있을까?"
8일 뒤, 커밋 261개. 버전 47. 영상 35개 생성 완료.
혼자서.
# 클로드 코드가 뭔데
터미널에서 돌아가는 AI 코딩 에이전트다.
IDE 플러그인 같은 게 아니라, 쉘에서 바로 파일을 읽고, 쓰고, 실행한다.
"이거 고쳐줘" 하면 코드를 열어서 수정하고, 테스트까지 돌려본다.
핵심은 '대화하듯 개발한다'는 것.
설계를 말로 설명하면 구조를 잡아주고,
버그를 보여주면 원인을 추적해서 고친다.
코파일럿이 자동완성이라면, 클로드 코드는 페어 프로그래머에 가깝다.
# 이 파이프라인이 하는 일
텍스트 하나 없이, 장르만 고르면 영상이 나온다.
1. 스토리 생성 — Claude Sonnet이 5단계로 각본을 쓴다
2. 이미지 생성 — Gemini가 장면마다 그림을 그린다
3. 음성 합성 — Qwen3 TTS가 한국어 나레이션을 입힌다
4. BGM 생성 — MusicGen이 장르에 맞는 배경음악을 만든다
5. 영상 합성 — Ken Burns 줌 + 훅 인트로 + 엔딩카드
6. 품질 검수 — Claude Haiku가 채점하고, 미달이면 자동 수정
7. 업로드 — YouTube 메타데이터 + SEO 태그까지
공포, SF, 미스터리, 스릴러, 판타지... 11개 장르가 로테이션으로 돈다.
# 우여곡절
## "일단 돌아가게 해봐"의 함정
처음엔 단순했다. 스토리 만들고, TTS 붙이고, 이미지 이어붙이면 끝.
근데 결과물이 처참했다. 음성이 어색하고, 이미지가 맥락과 안 맞고,
영상 흐름이 유튜브 쇼츠 수준도 안 됐다.
여기서 클로드 코드의 진가가 나왔다.
"품질 평가 시스템을 만들자"고 했더니,
Haiku로 5개 항목 자동 채점 → 4.5점 미달 시 약점 장면만 재생성하는
품질 게이트를 하루 만에 구현했다.
## 파일이 비대해지는 고통
story_gen.py가 800줄을 넘었다. telegram_bot.py도 마찬가지.
"400줄 넘으면 분할한다"는 규칙을 세우고,
클로드 코드한테 "이 파일 패키지로 쪼개줘, 기존 import는 유지하고"라고 하면
모듈 분리 + 호환 래퍼까지 알아서 해줬다.
v47에서 story_gen을 7개 모듈로, telegram_bot을 7개 모듈로 분할.
이걸 수작업으로 했으면 이틀은 걸렸을 것.
## 썸네일의 진화
처음엔 이미지 위에 텍스트만 얹었다.
→ 글자가 배경에 묻혀서 안 보임
→ 드롭쉐도우 추가
→ 아웃라인 추가
→ 반투명 배경 박스 추가
→ 장르 배지 추가 (색상별)
→ 영상 길이 배지 추가
→ 자동 줄바꿈 추가
→ 글자수 제한 20자... 아니 30자로 확장 (오늘)
한 번에 완성된 건 하나도 없다.
매번 "이거 좀 별로인데"라고 하면 클로드 코드가 바로 고쳐주니까
작은 개선이 빠르게 쌓였다.
## TTS와의 전쟁
기본 Edge TTS는 로봇 같았다.
Qwen3 MLX로 갈아탔더니 자연스러워졌지만,
앞뒤에 이상한 무음이 붙고, 숨소리가 섞이고.
Silero VAD로 무음 트리밍하고, Whisper로 검수해서
음성-자막 싱크까지 맞추는 데만 커밋이 수십 개 나갔다.
## 텔레그램에서 전부 컨트롤
서버 앞에 앉아있을 수만은 없으니까.
텔레그램 봇을 붙여서 폰에서 생성/검수/발행을 전부 할 수 있게 만들었다.
썸네일 후보 3개를 텔레그램으로 받아서 골라 확정하는 것도 가능.
Cloudflare Tunnel로 외부에서 웹 대시보드 접속도 된다.
# 클로드 코드와 일하는 법
8일간 배운 것들:
- 말로 설계하면 코드로 돌아온다 — "Observer 패턴으로 알림 분리해줘"
같은 추상적 요청도 통한다.
- 피드백 메모리가 핵심 — "DB 목 쓰지 마", "요약 달지 마" 같은 교정을
기억해서 다음부터 알아서 반영한다.
- 작은 요청을 자주 — "전체 리팩터링해줘"보다
"이 함수 30자로 바꿔"가 훨씬 정확하게 먹힌다.
- 스킬을 만들어두면 반복이 사라진다 — /auto-produce 한 마디로
아이디어부터 영상까지 자율 생산.
# 숫자로 보는 8일
- 커밋: 261개
- 버전: v47.0
- 개발 플랜: 44개 (121개 Phase)
- 생성 영상: 35개
- 지원 장르: 11개
- AI 모델 사용: 5종 (Claude Sonnet/Haiku, Gemini, MusicGen, Qwen3 TTS)
- 개발 인원: 1명 + 클로드 코드
# 마무리
솔직히 8일 전엔 "영상 자동화? 그거 퀄리티 나오겠어?"라고 생각했다.
지금은 장르 고르고 버튼 누르면
각본 → 이미지 → 나레이션 → BGM → 편집 → 검수 → 업로드까지
알아서 돌아간다.
완벽하진 않다. 아직 손볼 데가 많다.
근데 혼자서 8일 만에 여기까지 온 건,
클로드 코드 없이는 불가능했을 거라고 확신한다.
터미널 하나로 시작한 사이드 프로젝트.
아직 진행 중.
사족: 이것도 AI로 씀 (코팜)
Tip＆Tech | 498명이 읽었어요. 216.73.216.119
