browser-use/video-use

video-use

video-use를 소개합니다 — Claude Code로 비디오를 편집하세요. 100% 오픈소스입니다.

원본 푸티지를 폴더에 넣고, Claude Code와 대화한 후 final.mp4를 받으세요. 프리셋이나 메뉴 없이 모든 콘텐츠(토킹 헤드, 몽타주, 튜토리얼, 여행, 인터뷰)에 작동합니다.

Browser Use Cloud에서 video-use를 사용해보세요.

기능

• 필러 단어 제거 (음, 어, 잘못된 시작) 및 테이크 사이의 데드 스페이스 제거
• 자동 컬러 그레이딩 — 모든 세그먼트에 대해 (따뜻한 시네마틱, 중립 펀치, 또는 사용자 정의 ffmpeg 체인)
• 모든 컷에 30ms 오디오 페이드 적용으로 팝 노이즈 방지
• 자막 삽입 — 기본값은 2단어 대문자 청크, 완전 사용자 정의 가능
• 애니메이션 오버레이 생성 — HyperFrames, Remotion(React 기반 비디오 합성 프레임워크), Manim, 또는 PIL을 통해; 애니메이션당 하나씩 병렬 하위 에이전트에서 생성
• 렌더링 결과 자체 평가 — 모든 컷 경계에서 사용자에게 보여주기 전에 수행
• 세션 메모리 유지 — project.md에 저장되어 다음 주 세션이 중단된 지점부터 계속 작업 가능

설정 프롬프트

Claude Code, Codex, Hermes, Openclaw 또는 셸 접근이 가능한 모든 에이전트에 붙여넣으세요:

Set up https://github.com/browser-use/video-use for me.

Read install.md first to install this repo, wire up ffmpeg, register the skill with whichever agent you're running under, and set up the ElevenLabs API key — ask me to paste it when you need it. Then read SKILL.md for daily usage, and always read helpers/ because that's where the editing scripts live. After install, don't transcribe anything on your own — just tell me it's ready and wait for me to drop footage into a folder.

에이전트가 클론, 의존성 설치, 스킬 등록을 처리하고 ElevenLabs API 키를 입력하라고 요청합니다 (elevenlabs.io/app/settings/api-keys에서 키를 받으세요).

그런 다음 에이전트를 원본 테이크가 있는 폴더로 지정하세요:

cd /path/to/your/videos
claude    # 또는 codex, hermes 등

자체 VPS나 Telegram에서 항상 켜져 있는 편집을 원한다면 Browser Use Box를 통해 에이전트를 실행하세요. 15초 데모를 시청하세요.

세션에서:

이걸 런칭 비디오로 편집해줘

에이전트가 소스를 목록화하고, 전략을 제안하며, 사용자의 승인을 기다린 후 소스 옆에 edit/final.mp4를 생성합니다. 모든 출력물은 /edit/에 저장되며, 스킬 디렉토리는 깨끗하게 유지됩니다.

수동 설치

직접 설치하려면:

# 1. 클론 및 에이전트의 스킬 디렉토리에 심볼릭 링크 생성
git clone https://github.com/browser-use/video-use ~/Developer/video-use
ln -sfn ~/Developer/video-use ~/.claude/skills/video-use        # Claude Code
# ln -sfn ~/Developer/video-use ~/.codex/skills/video-use       # Codex

# 2. 의존성 설치
cd ~/Developer/video-use
uv sync                         # 또는: pip install -e.
brew install ffmpeg             # 필수
brew install yt-dlp             # 선택 사항, 온라인 소스 다운로드용

# 3. ElevenLabs API 키 추가
cp.env.example.env
$EDITOR.env                    # ELEVENLABS_API_KEY=...

작동 방식

LLM은 비디오를 보지 않습니다. 읽습니다 — 두 계층을 통해 단어 경계 정밀도로 컷을 수행하는 데 필요한 모든 정보를 제공합니다.

계층 1 — 오디오 트랜스크립트 (항상 로드됨). 소스당 하나의 ElevenLabs Scribe 호출로 단어 수준 타임스탬프, 화자 분할, 오디오 이벤트((웃음), (박수), (한숨))를 제공합니다. 모든 테이크는 단일 ~12KB takes_packed.md로 압축됩니다 — LLM의 기본 읽기 뷰입니다.

## C0103  (duration: 43.0s, 8 phrases)
  [002.52-005.36] S0 Ninety percent of what a web agent does is completely wasted.
  [006.08-006.74] S0 We fixed this.

계층 2 — 시각적 합성 (요청 시). timeline_view는 모든 시간 범위에 대해 필름스트립 + 파형 + 단어 레이블 PNG를 생성합니다. 결정 지점(모호한 일시 정지, 재테이크 비교, 컷 포인트 검증)에서만 호출됩니다.

순진한 접근: 30,000프레임 × 1,500토큰 = 45M 토큰의 노이즈.

Video Use: 12KB 텍스트 + 소수의 PNG.

브라우저-유즈가 LLM에 스크린샷 대신 구조화된 DOM을 제공하는 것과 같은 아이디어입니다 — 비디오용입니다.

파이프라인

Transcribe ──> Pack ──> LLM Reasons ──> EDL ──> Render ──> Self-Eval
                                                              │
                                                              └─ issue? fix + re-render (max 3)

자체 평가 루프는 모든 컷 경계에서 렌더링된 출력에 대해 timeline_view를 실행합니다 — 시각적 점프, 오디오 팝, 숨겨진 자막을 잡아냅니다. 통과한 후에만 미리보기를 볼 수 있습니다.

설계 원칙

1. 텍스트 + 요청 시 시각 자료. 프레임 덤프 없음. 트랜스크립트가 표면입니다.
2. 오디오가 우선, 시각 자료는 그 다음. 컷은 음성 경계와 침묵 간격에서 비롯됩니다.
3. 질문 → 확인 → 실행 → 자체 평가 → 유지. 전략 승인 없이 컷을 건드리지 않습니다.
4. 콘텐츠 유형에 대한 가정 없음. 보고, 묻고, 편집합니다.
5. 12개의 엄격한 규칙, 그 외는 예술적 자유. 프로덕션 정확성은 양보할 수 없습니다. 취향은 아닙니다.

전체 프로덕션 규칙과 편집 기술은 SKILL.md를 참조하세요.