강 민성큰 AI 모델을 내 PC에서 실행하려면 먼저 메모리 용량을 확인해야 합니다. 그래픽카드 메모리인 VRAM에 모델이 다 들어가지 않으면, 다른 자원을 함께 쓰는 방법이 필요합니다.
Strata는 GPU뿐 아니라 시스템 RAM과 SSD도 활용하는 로컬 AI 실행 도구입니다. 데스크톱 앱에서 모델과 대화하거나, OpenCode 같은 프로그램에 연결해 사용할 수 있습니다.
이번 글에서는 Strata가 큰 모델을 실행하는 방식과 주요 기능을 소개하겠습니다. 내 PC에서 사용할 수 있을지 판단할 수 있도록 RAM과 VRAM 기준도 구분해 정리했습니다.
지원 모델과 하드웨어 조건은 프로젝트 업데이트에 따라 달라질 수 있습니다.
1. Strata란?
Strata는 AI 모델 자체가 아니라, 모델을 내 컴퓨터에서 실행해 주는 소프트웨어입니다. 주력 지원 모델은 약 1,250억 개의 파라미터를 가진 Qwen3.8-Flash-Next입니다. 소스 코드와 사용 안내는 공식 저장소에 공개돼 있습니다.
학습을 마친 AI 모델이 질문에 맞춰 답변을 만드는 과정을 ‘추론’이라고 합니다. Strata는 이 작업을 외부 서버 대신 내 PC에서 처리합니다. 앱에서 직접 대화하는 방식과 터미널에서 모델을 실행하는 방식을 모두 제공합니다.
Strata 코드는 MIT 라이선스로 공개돼 있습니다. 다만 함께 사용하는 모델 파일에는 각 모델의 라이선스가 별도로 적용됩니다. 라이선스 안내
2. 큰 모델을 어떻게 실행하나요?
Strata는 GPU에 자주 사용하는 데이터를 두고, RAM과 SSD에도 데이터를 나눠 보관합니다. 큰 모델을 VRAM에 전부 올리지 않아도 실행할 수 있도록 구성한 것입니다.
이 방식은 Qwen3.8-Flash-Next의 MoE 구조를 활용합니다. MoE는 계산을 맡는 여러 신경망, 즉 ‘전문가’를 두고 입력에 필요한 일부만 선택하는 구조입니다. Strata는 대화 중 자주 쓰이는 전문가를 GPU에 보관하고, GPU에 없는 전문가의 계산에는 CPU도 활용합니다.
| 자원 | 주요 역할 |
|---|---|
| GPU / VRAM | 주요 연산을 처리하고, 자주 쓰는 전문가 데이터를 VRAM에 보관합니다. |
| CPU / RAM | RAM에 전문가 데이터를 보관하며, CPU가 GPU에 없는 전문가 계산을 분담합니다. |
| SSD | 모델 파일과 조회용 데이터를 저장합니다. 저메모리 모드에서는 전문가 데이터 일부도 파일에서 읽습니다. |
RAM이 부족하면 저메모리(Low-RAM) 모드로 실행할 수 있습니다. 이때는 RAM에 담지 못한 전문가 데이터를 파일에서 읽기 때문에 SSD 성능도 영향을 줍니다. 특히 VRAM까지 작으면 SSD에서 읽는 양이 많아져 응답이 느려질 수 있습니다.
3. 어떤 기능을 제공하나요?
앱에서 대화하고 자원 사용량 확인
데스크톱 앱에서는 모델을 내려받아 대화하고, GPU·CPU·RAM 사용량을 확인할 수 있습니다. 이미지 입력을 지원하는 모델을 선택하면 사진이나 화면을 첨부해 질문하는 것도 가능합니다.
서버에서 사용하거나 자동화 작업에 연결할 때는 터미널 도구를 이용하면 됩니다. 모델 실행과 상태 확인, 자원 사용량 확인을 명령으로 처리합니다. 터미널 도구 안내
OpenCode 같은 프로그램에 연결
Strata는 OpenAI·Anthropic 형식과 호환되는 API를 제공합니다. 이를 지원하는 프로그램은 Strata에 요청을 보내 로컬 모델의 답변을 받을 수 있습니다.
설치 후에는 오프라인으로 사용
필요한 모델과 구성 요소를 내려받으면 인터넷 연결 없이도 로컬 모델과 대화할 수 있습니다.
웹 검색이나 외부 모델 서비스를 사용하면 관련 데이터가 외부로 전송됩니다. OpenCode처럼 연결한 프로그램의 통신도 Strata가 통제하지는 않습니다. 외부 전송을 제한해야 하는 환경이라면 모델 실행 방식뿐 아니라 함께 쓰는 기능과 도구도 확인해야 합니다. 데이터 처리 안내
4. RAM과 VRAM은 얼마나 필요한가요?
Windows·Linux의 별도 GPU PC라면, 우선 VRAM 12GB 이상과 RAM 48GB 구성을 기준으로 살펴보면 됩니다. 아래의 Q2_0·IQ2_XS를 일반 모드로 실행하는 구성입니다. IQ3_XXS나 IQ3_S를 선택하려면 RAM 64GB 구성을 참고하면 됩니다.
Q2_0, IQ2_XS, IQ3_XXS, IQ3_S는 같은 모델을 서로 다른 용량으로 줄인 형태입니다. 모델의 수치를 더 적은 비트로 표현하는 ‘양자화’를 적용한 것입니다. 용량을 줄이면 메모리를 아낄 수 있지만 답변 품질에도 영향을 줄 수 있습니다.
다음 표는 GPU 안내와 모델별 RAM 요구량을 함께 정리한 구성 예시입니다. 모든 모델에 적용되는 최소 사양표는 아니며, 지원되는 GPU를 사용한다는 전제입니다.
| 모델 | VRAM | RAM | 실행 방식과 참고 사항 |
|---|---|---|---|
| Q2_0 / IQ2_XS | 12GB 이상 | 48GB | 일반 모드 전문가 데이터 약 34~35.5GB와 시스템 여유 공간을 확보하는 구성 |
| IQ3_XXS | 12GB 이상 | 64GB | 일반 모드 전문가 데이터 약 43GB를 RAM에 보관 |
| IQ3_S | 12GB 이상 | 64GB | 일반 모드 전문가 데이터 약 50GB. 다른 프로그램을 적게 실행하는 조건 |
| Coder 변형 | 12~16GB | 32GB | 저메모리 모드 코딩용으로 전문가 수를 줄인 모델. 한국어·일반 대화 품질에 주의 |
| Q2_0 / IQ2_XS | 24GB | 32GB | 저메모리 모드 큰 VRAM을 활용하는 공식 문서의 구성 예시 |
일반 모드는 전문가 데이터를 RAM에 보관하고, 운영체제와 다른 프로그램을 위한 약 10GB의 여유 공간도 잡습니다. IQ3_S는 전문가 데이터만 약 50GB여서, RAM 64GB PC에서도 다른 프로그램을 많이 열지 않는 편이 좋습니다. 대화가 길어지면 필요한 메모리가 더 늘어날 수 있습니다.
RAM 32GB PC에 VRAM 12~16GB 카드가 있다면 Coder를, VRAM 24GB 카드가 있다면 Q2_0·IQ2_XS를 저메모리 모드로 실행하는 구성이 안내돼 있습니다. 다만 Coder는 코딩용으로 전문가 수를 줄인 모델이라, 한국어 대화나 일반 질문에서는 품질이 떨어질 수 있습니다.
GPU와 운영체제
공식 설치 문서는 NVIDIA RTX 20·30·40·50 시리즈와 지원 AMD Radeon 카드에서 VRAM 12GB 이상을 기준으로 안내합니다. NVIDIA의 VRAM 8GB 카드에서도 실행 가능하다고 설명하지만, 속도는 느릴 수 있습니다.
공개된 속도는 어느 정도인가요?
개발자는 RTX 5070(VRAM 12GB), Ryzen 5 7600, RAM 64GB에서 측정한 결과를 공개했습니다. 짧은 대화의 답변 생성 속도는 Q2_0가 약 94 tokens/s, IQ3_S가 약 53 tokens/s입니다. tokens/s는 1초에 생성하는 텍스트 단위인 토큰 수를 뜻합니다.
측정에 사용된 엔진은 Q2_0가 0.1.36, IQ3_S가 0.1.26입니다. 서로 다른 버전의 공개 측정값으로, 최신 엔진을 같은 조건에서 다시 비교한 결과는 아닙니다. 공개 성능 측정 자료
5. 어디에 활용할 수 있나요?
개인 개발 환경에서는 문서 요약이나 코드 분석에 활용을 검토할 수 있습니다. OpenCode에 연결하면 로컬 모델의 답변을 바탕으로 파일을 읽고 수정하는 작업도 진행할 수 있습니다. 다만 실제 작업 품질은 선택한 모델과 도구의 호환성에 따라 달라집니다.
사내 프로그램에 AI 기능을 붙이기 전, 로컬 API로 연결을 시험해 보는 용도로도 사용할 수 있습니다. 여러 사람이 함께 쓰는 서비스로 운영하려면 동시 요청 처리 속도와 메모리 사용량을 별도로 시험해야 합니다.
설치 파일은 Strata 릴리스 페이지에서 운영체제와 GPU에 맞춰 선택할 수 있습니다.
마무리
Strata는 GPU에만 의존하지 않고 RAM과 SSD를 함께 활용해 큰 AI 모델을 실행하는 도구입니다. 앱에서 직접 대화할 수도 있고, 기존 코딩 도구에 로컬 API로 연결할 수도 있습니다.
사용을 검토한다면 먼저 실행하려는 모델을 정하고, 실제 문서나 코드 작업으로 답변 품질과 응답 시간을 확인하는 과정이 필요합니다.
참고 자료
이 글은 본인의 실제 경험과 학습을 기반으로 직접 작성하였으며, AI는 참고용으로만 활용하였습니다.