DGX Spark를 8대로 늘려도 한 요청의 답변 속도가 자동으로 8배가 되지는 않습니다. NVIDIA가 공개한 특정 단일 요청 실험에서 출력 생성 처리율은 1대 대비 약 4.43배, 입력 처리율은 약 1.94배였습니다. 어떤 구간이 빨라졌는지와 모델·정밀도·입출력 길이·통신 구성을 함께 봐야 자신의 업무 대기 시간을 판단할 수 있습니다.
8대 지원 발표와 설치 도구의 제공 시점
NVIDIA는 2026년 10월 22일 기술 블로그에서 DGX Spark 8노드 클러스터의 공식 지원과 실험 결과를 소개했습니다. 같은 글은 NVIDIA Sync의 8노드 지원을 연말 예정으로 따로 안내합니다. 하드웨어 구성 지원 발표와 관리 도구에서 설정할 수 있는 범위를 같은 시점으로 읽으면 안 됩니다.
10월 23일 확인한 Sync 사용 안내는 클러스터를 2~4대 구성으로 정의하며 문서 갱신일은 9월 2일입니다. 공식 연결 플레이북도 2~4대의 설정을 다루고 9월 24일 갱신으로 표시합니다. 이는 새 발표가 현재 화면의 8대 설정 기능까지 제공한다고 확인해 주는 자료는 아닙니다. 실제 도입 때는 설치한 Sync 버전의 지원 범위와 사용할 구성을 다시 대조하세요.
같은 실험에서 입력과 출력의 증가 폭이 다르다
블로그의 Table 2는 Qwen3.8-27B·NVFP4·입력 8,192토큰·출력 256토큰·동시 요청 1개 조건을 명시합니다. 추측 디코딩과 MTP는 사용하지 않았으며, 아래 8대 수치는 스위치 연결과 RoCEnante 통신 백엔드가 적용된 행입니다. 표는 그 실험의 두 행을 골라 증가 비율을 다시 계산한 것입니다.
| 처리 구간 | 1대 | 8대·스위치/RoCEnante | 1대 대비 재계산 |
|---|---|---|---|
| 입력 처리(prefill) | 2,635토큰/초 | 5,105토큰/초 | 5,105 ÷ 2,635 ≈ 1.94배 |
| 출력 생성(decode) | 11.86토큰/초 | 52.58토큰/초 | 52.58 ÷ 11.86 ≈ 4.43배 |
근거: NVIDIA 기술 블로그 Table 2와 바로 아래 실험 조건. 발표일: 2026-10-22, 확인일: 2026-10-23. 회사가 공개한 처리율이며 비율만 다시 계산했습니다. 독립 재현 시험이나 모든 모델·동시 요청 수의 성능표가 아닙니다.
입력 처리와 출력 생성은 다른 단계이므로 한 구간의 배수를 전체 응답 시간에 그대로 적용할 수 없습니다. 긴 문서를 먼저 처리하는 작업, 짧은 질문에 긴 답을 생성하는 작업, 여러 사용자가 동시에 요청하는 작업은 비교 조건이 달라집니다. 또 통신 백엔드가 포함된 8대 구성과 1대를 비교한 수치라서 노드 개수만 바꾼 효과로 분리해 읽을 수도 없습니다.
256토큰 출력은 몇 초인가: 범위를 정한 계산
출력 처리율이 일정하다고 가정하면, 출력 토큰 수를 초당 처리율로 나누어 출력 생성 구간만 단순 계산할 수 있습니다. 공개된 256토큰 조건을 사용하면 다음과 같습니다.
- 1대: 256 ÷ 11.86 ≈ 21.59초
- 8대·스위치/RoCEnante: 256 ÷ 52.58 ≈ 4.87초
이는 처리율을 일정하게 놓은 산술 예시이며 실제 측정한 전체 응답 시간이 아닙니다. 요청 대기열, 입력 처리, 모델 시작, 도구 호출·전송 시간은 포함하지 않습니다. 따라서 4.87초를 ‘버튼을 누른 뒤 답변이 끝나는 시간’이나 첫 토큰이 나타나는 시간으로 사용해서는 안 됩니다.
이 계산이 도움이 되는 질문은 ‘내 작업에서 출력 생성 시간이 얼마나 큰 부분인가’입니다. 입력 처리나 외부 도구 대기가 오래 걸리는 작업이라면 출력 생성만 빨라진 비율로 전체 업무 시간을 예측하기 어렵습니다. 실제 요청에서 각 구간을 나누어 관찰할 이유입니다.
팀의 시험에서는 무엇을 고정하고 기록할까
- 해결할 병목을 먼저 고릅니다. 모델을 적재할 용량이 필요한지, 한 요청의 대기를 줄일지, 여러 사용자의 총 처리량을 늘릴지 적습니다. 노드 수만으로 세 목표의 달성 여부를 함께 판정하지 않습니다.
- 비교 입력을 고정합니다. 모델 체크포인트·양자화, 입력/출력 길이, 동시 요청 수, 추측 디코딩 설정을 기록합니다. 시작 상태와 캐시 조건을 통제하지 못했다면 그 차이도 남깁니다.
- 연결 구성과 실행 환경을 적습니다. 노드 수와 연결 방식, 통신 백엔드, 드라이버·서빙 소프트웨어 버전을 함께 기록합니다. NVIDIA의 연결 플레이북은 ConnectX-7·QSFP 연결과 네트워크 설정을 다루므로 일반 LAN에 기기를 더 연결한 상황과 같은 조건으로 간주하지 마세요.
- 시간과 완료 품질을 함께 확인합니다. 첫 출력까지의 시간, 생성 처리율, 요청 전체 완료 시간, 실패·정답 기준을 구별해 기록합니다. 공개 실험과 다른 조건이면 직접 재현했다고 쓰지 않고 차이를 표시합니다.
시험 결과를 정리할 때 아래 빈 CSV를 사용할 수 있습니다. 한 행은 같은 설정으로 실행한 요청 한 건입니다. 시도마다 행을 추가하고, 측정하지 못한 항목을 0으로 채우지 마세요. 이것은 자체 기록 양식이며 NVIDIA 도구의 공식 출력 형식이 아닙니다.
측정일,모델과양자화,입력출력토큰,동시요청,노드와연결방식,백엔드와SW버전,첫출력초,생성토큰매초,전체완료초,완료품질과실패,캐시등조건차이 ,,,,,,,,,,
아직 공통 입력과 정답 기준이 없다면 동일 입력·정답표로 비교하는 연습 자료를 참고할 수 있습니다. 해당 자료의 짧은 합성 공지는 업무 품질 기준을 정하는 연습용이므로, 이 벤치마크의 8,192토큰 입력을 재현하는 데이터로 바로 사용하지는 않습니다.
이 수치로 결정할 수 있는 범위
공개 표는 특정 모델·정밀도·요청 길이·동시성·연결 구성의 비교 출발점입니다. 다른 모델의 속도, 실제 팀의 응답 지연, 구매 비용 대비 효과와 한국에서의 장비·스위치 구성 비용은 별도 확인이 필요합니다. 8대 지원 발표를 읽었다면 다음 단계는 사용할 모델과 업무 요청을 정하고, 현재 설치 도구의 지원 범위와 같은 조건의 측정을 연결하는 것입니다.
자료 확인일: 2026-10-23. 10월 22일 발표, 기존 Sync 안내의 9월 2일 갱신, 연결 플레이북의 9월 24일 갱신을 구별했습니다. 수치의 출처는 NVIDIA 자체 실험이며 이 글에서 장비를 실행한 측정값은 아닙니다.