나만의 로컬 AI 코딩 환경 (WSL2 + Ollama + Continue)

최근 딥러닝 학습과 코딩을 병행하며 보안과 속도, 두 마리 토끼를 잡기 위해 로컬 LLM 환경을 구축했습니다. 특히 RTX 5060 Ti 16GB의 넉넉한 VRAM을 활용해 고성능 모델인 Qwen2.5-Coder 14B를 올린 최적의 세팅을 공유합니다.

1. 환경 구성 및 하드웨어

GPU: NVIDIA RTX 5060 Ti (16GB VRAM) - 14B 모델 구동의 마지노선이자 최적의 선택
OS: Windows 11 + WSL2 (Ubuntu)
Backend: Ollama (Windows용 설치)
IDE: VS Code + Continue Extension

2. Ollama & 모델 세팅

먼저 로컬에서 AI의 뇌 역할을 할 모델을 내려받습니다. 16GB VRAM 기준, 코딩 실력이 검증된 14B 모델이 가장 쾌적합니다.

1
2
3
4
5
6
7
8


# 모델 다운로드 (약 9GB)
ollama pull qwen2.5-coder:14b-instruct

# 임베딩 모델 (코드베이스 검색용)
ollama pull nomic-embed-text

# 짧은 별명 만들기 (선택사항)
ollama cp qwen2.5-coder:14b-instruct qwen14

3. Continue 설정 (config.yaml)

VS Code에서 Continue 확장 프로그램을 설치한 후, ~/.continue/config.yaml을 다음과 같이 설정합니다. 불필요한 설정을 걷어내고 로컬 Ollama에 집중한 구성입니다.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


name: Local Config
version: 1.0.0
schema: v1
models:
  - name: Qwen14
    provider: ollama
    model: qwen2.5-coder:14b-instruct
    apiBase: http://127.0.0.1:11434
    roles:
      - chat
      - edit
      - apply
      - autocomplete
- name: Nomic Embed
    provider: ollama
    model: nomic-embed-text:latest
    roles:
      - embed

4. 슬래시 커맨드 커스터마이징 (.md 방식)

최신 Continue 버전에서는 config.yaml을 직접 수정하는 대신, .md 파일을 통해 명령어를 추가하는 방식을 권장합니다.

📄 ~/.continue/prompts/commit.md

이 파일을 생성하면 채팅창에서 /commit 한 번으로 스테이징된 파일들만 분석하여 커밋 메시지를 자동 생성할 수 있습니다.

1
2
3
4
5
6
7
8
9


---
name: commit
description: "스테이징된 변경 사항으로 커밋 메시지 생성"
invokable: true
---
Analyze ONLY the STAGED changes (git diff --cached).
Ignore unstaged changes.
Generate a concise commit message in Korean following conventional commits format.
DO NOT use tools. Output only the message.

5. 마치며

이제 내 컴퓨터 안에서 보안 걱정 없이, 인터넷 연결 없이도 최고의 코딩 비서를 부릴 수 있게 되었습니다. 특히 @ 기호를 사용하여 특정 파일이나 코드베이스 전체를 맥락으로 던져주는 기능은 로컬 환경에서 더 빛을 발합니다.