Claude에게 “이 파일 열어서 수정해 줘”라고 말하면, 정말로 화면에서 프로그램을 열고 클릭하고 타이핑까지 한다면? 클로드 컴퓨터 유즈(Computer Use)가 정확히 그 기능입니다. 텍스트 답변만 하던 AI가 실제 데스크톱을 조작하는 건 어떤 구조이고, 기존 Claude 앱과는 뭐가 다른지 정리합니다.
클로드 컴퓨터 유즈란
Computer Use는 Claude가 스크린샷을 보고, 마우스 클릭·키보드 입력 명령을 내려 실제 GUI를 조작하는 기능입니다. 핵심은 Claude가 사용자의 PC에 직접 접속하는 게 아니라는 점입니다.
실제 구조는 이렇습니다.
- 사용자가 작업을 요청합니다
- Claude API가
left_click,type,screenshot같은 도구 호출 명령을 반환합니다 - 개발자 측 프로그램(VM, 컨테이너 등)이 그 명령을 실제로 실행합니다
- 실행 결과(스크린샷 등)를 Claude에게 다시 보냅니다
- Claude가 새 화면을 보고 다음 행동을 결정합니다
Anthropic은 이 반복 과정을 에이전트 루프(agent loop)라고 부릅니다. Claude가 “눈으로 보고 손으로 조작하는” 것처럼 보이지만, 실제로는 스크린샷 인식 → 명령 생성 → 실행 → 결과 확인의 반복입니다.
실제로 가능한 작업
Computer Use가 할 수 있는 일은 사람이 마우스와 키보드로 하는 거의 모든 GUI 작업입니다.
- 프로그램 열기, 메뉴 클릭, 버튼 누르기
- 텍스트 입력, 복사·붙여넣기
- 브라우저에서 웹사이트 탐색
- 파일 탐색기에서 폴더 이동, 파일 정리
- Excel이나 메모장 같은 앱에서 직접 편집
다만 모든 작업이 완벽한 건 아닙니다. Anthropic도 Claude가 좌표를 잘못 판단하거나 예상하지 못한 행동을 할 수 있다고 명시하고 있습니다. 완벽한 정확도가 필요한 업무에는 사람의 감독 없이 사용하지 말라는 게 공식 입장입니다.
일반 Claude, Cowork, Claude Code: 뭐가 다른가
여기서 많이 헷갈립니다. “Claude Desktop 쓰고 있는데, Computer Use 되는 거 아니야?”라는 질문이 나오는 지점입니다.
| 환경 | Computer Use 가능? | 직접 구현 필요? | 현재 상태 |
|---|---|---|---|
| 일반 Claude Chat (claude.ai, Desktop Chat 탭) | 아니요 | 해당 없음 | 대화·파일 분석 전용 |
| Claude Cowork | 예 | 아니요 | Research Preview, Pro/Max |
| Claude Code (Desktop Code 탭) | 예 | 아니요 | Research Preview, Pro/Max |
| Claude Code CLI | 예, 제한적 | 별도 API 구현 불필요 | Research Preview, Pro/Max |
| Claude API | 예 | 예 | GA (정식 출시) |
일반 Chat은 질문하고 답받는 인터페이스입니다. Excel 파일을 올려서 “분석해 줘”라고 하는 건 가능하지만, 실제 Excel 프로그램을 열어서 셀을 클릭하는 건 Chat의 영역이 아닙니다.
Cowork는 Claude가 여러 도구를 조합해 작업을 수행하는 에이전트 환경입니다. Computer Use는 Cowork가 사용하는 여러 수단 중 하나입니다. Cowork 안에서도 우선순위가 있습니다.
Connector → Browser → Computer Use 순서로 작동합니다. Slack 데이터가 필요하면 Connector를 먼저 쓰고, 웹 작업이면 브라우저 도구를 먼저 쓰고, 그런 인터페이스가 없을 때 마지막으로 화면을 직접 클릭합니다. 화면 조작이 직접 통합보다 느리고 오류가 발생하기 쉽기 때문입니다.
한 가지 주의할 점: claude.ai 웹에서도 Cowork 모드로 들어가면 Computer Use를 쓸 수 있습니다. 단, 실제 PC 조작은 해당 컴퓨터에 Claude Desktop 앱이 열려 있어야 합니다. 웹이나 모바일의 Cowork 세션이 Desktop 앱을 통로로 사용하는 구조입니다.
지원 모델과 환경
Computer Use는 2024년 10월 Claude 3.5 Sonnet과 함께 public beta로 처음 공개됐습니다. 이후 Claude 4 계열을 거쳐 현재는 상당히 달라졌습니다.
2026년 8월 기준 최신 stable toolset인 computer_toolset_20260801은 beta header 없이 사용할 수 있으며, 다음 모델에서 지원됩니다.
- Claude Fable 5
- Claude Mythos 5
- Claude Opus 4.8, Opus 5
- Claude Sonnet 5
이전 버전인 computer_20250124, computer_20251124 등은 Claude 4 계열과 연결되어 있지만 여전히 beta이며, 각각 별도의 beta header가 필요합니다.
요약하면 Claude 3.5 Sonnet에서 시작됐고, Claude 4 세대를 거쳐 현재는 Claude 5 및 최신 모델에서 beta header 없는 stable toolset으로 발전했습니다.
기본 구현 구조와 제어 방식
API를 직접 사용하는 경우, 호출은 간단합니다.
python response = client.messages.create( model="claude-opus-5", max_tokens=1024, tools=[ {"type": "computer_toolset_20260801"} ], messages=[ {"role": "user", "content": "바탕화면에 고양이 사진을 저장해 줘."} ], )
Claude가 작업을 수행하고 싶으면 응답에 도구 호출이 포함됩니다. 예를 들어 특정 좌표를 클릭하라는 명령은 이런 형태입니다.
json { "type": "tool_use", "name": "left_click", "toolset_name": "computer", "input": { "coordinate": [512, 742] } }
최신 toolset에는 screenshot, left_click, right_click, double_click, mouse_move, type, zoom 등 17개의 도구가 포함돼 있습니다.
개발자는 이 명령을 받아서 실제 VM이나 컨테이너에서 실행하고, 결과 스크린샷을 Claude에게 돌려보내는 프로그램을 만들어야 합니다. Cowork나 Claude Code를 쓰면 이 과정이 내장돼 있어서 직접 구현할 필요가 없습니다.
클로드 컴퓨터 유즈 윈도우에서 쓰려면
“Windows에서 Computer Use 되나요?”라는 질문에 대한 답은: 가능하지만, Claude가 Windows 바탕화면을 직접 조작하는 공식 구현은 아닙니다.
| 방식 | 가능 여부 | Claude가 조작하는 환경 |
|---|---|---|
| Windows + Docker Desktop | 가능 | Docker 안의 Linux 데스크톱 |
| Windows + WSL2 + Docker | 가능 | Docker 안의 Linux 데스크톱 |
| Windows 데스크톱 직접 조작 | 직접 구현하면 가능 | 실제 Windows GUI |
| macOS 네이티브 | 공식 지원 | macOS GUI |
가장 확실한 경로는 Windows에 Docker Desktop을 설치하고 Anthropic 공식 데모 컨테이너를 실행하는 것입니다. 이 데모는 Ubuntu 기반 Linux 데스크톱을 Docker 안에 띄우고, Claude가 그 안에서 Firefox나 LibreOffice 같은 프로그램을 조작합니다.
text Windows 11 → Docker Desktop → Linux 컨테이너 (Ubuntu) → 가상 데스크톱 (X11) → Claude Computer Use
즉 Windows PC에서 실행하더라도 Claude가 클릭하는 건 Docker 안의 Linux 화면입니다. Windows용 Excel이나 탐색기를 직접 조작하는 게 아닙니다.
Windows 데스크톱 자체를 Claude에게 조작시키려면 API 명령을 받아서 Windows GUI에서 실행하는 프로그램을 직접 만들어야 합니다. Anthropic이 Windows 네이티브용 공식 Quickstart를 제공하지는 않습니다.
실제 자동화 예시
Cowork에서 Computer Use를 쓰는 실제 시나리오를 보면 이렇습니다.
“메모장을 열어서 오늘 날짜와 회의 안건을 입력해 줘”라고 요청하면 Claude는 다음 순서로 작업합니다.
- 화면을 스크린샷으로 확인
- 시작 메뉴 또는 작업 표시줄에서 메모장 위치를 찾아 클릭
- 메모장이 열리면 새 스크린샷으로 확인
- 텍스트 영역을 클릭하고 내용 입력
- 입력 결과를 스크린샷으로 다시 확인
각 단계마다 Claude가 화면을 “보고” 다음 행동을 결정하는 에이전트 루프가 반복됩니다. 사람이 마우스를 잡고 하는 것과 같은 순서지만, 속도는 스크린샷을 매번 분석해야 하므로 사람보다 느릴 수 있습니다.
보안과 권한: 반드시 알아야 할 것
Computer Use는 편리하지만, Claude와 사용자의 실제 데스크톱 사이에 샌드박스가 없습니다. Cowork에서도 마찬가지입니다. Claude가 실수하거나 프롬프트 인젝션에 노출되면 실제 파일을 삭제하거나 잘못된 사이트에 접속할 수 있습니다.
Anthropic의 공식 보안 권고를 정리하면 다음과 같습니다.
- VM 또는 컨테이너 격리: 전용 가상 머신이나 컨테이너에서 최소 권한으로 실행할 것을 권고합니다. 의무 사항은 아니지만 강한 보안 권고입니다.
- 민감 데이터 접근 제한: 비밀번호, API Key, 개인정보가 있는 환경과 분리해야 합니다.
- 인터넷 접근 제한: 허용 도메인을 allowlist로 제한할 것을 권고합니다.
- 중요 작업은 사람이 확인: 금융 거래, 약관 동의 등을 완전 자동화하지 않아야 합니다.
- 프롬프트 인젝션 대비: 웹페이지나 이미지 안에 숨겨진 명령이 Claude에게 영향을 줄 수 있습니다.
특히 로그인이 필요한 앱에서 Computer Use를 쓰면 위험이 올라갑니다. Anthropic도 로그인 정보를 전달하기 전에 프롬프트 인젝션 완화 가이드를 먼저 검토하라고 안내합니다. 계정 전체를 열어주는 것보다 전용 계정에 최소 권한만 부여하는 쪽이 안전합니다.
Anthropic은 자체적으로 스크린샷에서 프롬프트 인젝션을 탐지하는 분류기를 운영하고 있지만, 이 방어만 믿어서는 안 된다고 명시합니다.
안 될 때 확인할 것
Computer Use가 작동하지 않거나 예상과 다르게 동작할 때 확인할 포인트입니다.
- 모델 확인: 최신
computer_toolset_20260801은 Claude 5 계열에서만 stable입니다. 이전 모델을 사용하면 해당 버전의 beta header가 필요합니다. - Cowork vs Chat 모드: Desktop에서 Chat 탭을 쓰고 있다면 Computer Use가 작동하지 않습니다. Cowork 또는 Code 탭으로 전환해야 합니다.
- Desktop 앱 실행 여부: 웹이나 모바일에서 Cowork를 쓸 때는 해당 PC에 Claude Desktop이 열려 있어야 합니다.
- 구독 플랜: Computer Use Research Preview는 Pro 또는 Max 플랜이 필요합니다.
- Docker 환경: API로 직접 구현할 때 Windows에서 Docker Desktop이 정상 실행 중인지, Linux 컨테이너 모드인지 확인합니다.
- 좌표 오류: Claude가 엉뚱한 곳을 클릭한다면 해상도 설정이나 스크린샷 전달 방식을 확인합니다. Claude는 좌표를 잘못 판단할 수 있으므로 로그를 검토하는 것이 좋습니다.
