국산 AI 반도체 추론 서버
퓨리오사 NPU를 장착하다.
네오, 더 새롭게.
HBM3 탑재로 초당 1.5TB의
비교할 수 없는 대역폭 확보
최대 8대
RNGD NPU 탑재 가능
매니코어 구조로
병목 없는 연산
W433, H176.5, D790, mm (4U)
Up to 128-Core Ampere® Altra® / Altra® Max, 3.0GHz, Arm® v8.2+ ISA
DDR4-3200 ECC RDIMM 8 Slots (1 DPC)
Up to 2TB
2.5” / 3.5” SATA® / SAS
Up to 12 Slots in Front Bay
PCIe® 4.0 ×16
4 Slots
2600W 3+1 Redundant PSU
80® PLUS Platinum 인증
Ubuntu Server 20.04, 22.04, 24.04
Rocky Linux 8.x, 9.x
전력, 비용, 동시성에서
GPU보다 더 효율적인
퓨리오사 RNGD NPU.
GPU 대비 더 낮은 초기 도입 비용으로 도입이 가능한 퓨리오사 AI NPU 추론 서버는
AI에 최적화된 아키텍처 설계로 안정적인 서비스 운영이 가능합니다.
TV 수준 전력으로
512TFLOPSFP8 성능의 초고효율 NPU를 만나다
Furiosa RNGD(레니게이드)는 AI 추론을 위한 세계적 수준의 성능과 비교할 수 없는 배포 유연성을 제공합니다. 획기적인 전력 효율성은 온프레미스부터 엔터프라이즈 데이터센터, 소버린 AI 클라우드까지 모든 사용 사례에 확장 가능하고 안전하며 비용 효율적인 솔루션을 제공합니다. 에너지 효율성이 뛰어난 AI 추론 가속기 솔루션입니다.
48GB HBM3 전용 메모리
1.5TB/s 대역폭
최대 512TFLOPSFP8성능
BF16, FP8, INT8, INT4 지원
H100보다 빠른 와트당 추론 성능
Llama 3 토큰 시험 기준
최대 180W TDP
TV 수준 전력소모
독보적인 와트 당 추론 성능으로 전력 비용 소모를 줄여줍니다. FuriosaAI 내부 시험 기준
한 서버에 최대 8개 RNGD 카드를 장착하여 대형 매개변수 모델의 동시성Concurrency을 확보할 수 있습니다.
RNGD에서 대규모 언어 모델을 최적화하기 위한 포괄적 소프트웨어 툴킷과 사용자 친화적인 API는 원활한 최첨단 LLM 배포를 촉진합니다.
LLM 추론,
Furiosa SDK에서 간편하게.
SDK를 통해 NPU에서 바로 실행 가능하며 최적화된 DNN 모델 아키텍쳐와
사전에 훈련된 모델 이미지 등을 모듈 형태로 제공합니다.
C · Python 기반 환경으로
손쉬운 개발을 가능케 하다
Furiosa SDK는 NPU를 사용하는 C · Python 응용을 작성하기 위한 소프트웨어 개발 키트입니다. 이 SDK를 이용하여 NPU 응용 애플리케이션 개발에 AI/ML 분야에서 가장 널리 사용되는 C · Python 생태계의 여러 도구와 라이브러리, 프레임워크들을 활용할 수 있습니다. 이 SDK는 다양한 모듈로 구성되며 추론 API, 양자화 API, 명령행 도구, 서빙을 위한 서버 프로그램을 제공합니다.
그리고
Ampere Altra Arm 칩으로
어떤 일이든 척척.
최대 3Ghz 128개의 Arm 코어로 동작하는 최고 성능 수준SOTA의 칩.
Ampere Altra 시리즈. NGINX, MySQL 등 각종 서버 프로그램부터
멀티모달 AI까지 충분히 구동하는 엄청난 능력 역시 Ampere Altra 덕분에 가능하죠.
최대 128개 Arm v8.2+ 코어
TDP 183W 저전력으로
초고성능 서버 지능 구동
200% 증가한 대역폭
PCIe 4 지원으로
사상 가장 높은 연결 속도
최대 2TB 메모리
DDR4 3200Mhz
8채널 8개 슬롯1DPC 지원
고성능 Arm 서버
다양한 워크로드를 처리할 수 있는
높은 성능의 기기
V-Raptor NEO는 사용자의 필요에 맞는 코어 수 구성을 제공합니다. 어떻게 가능해진 걸까요? 바로 12개로 촘촘하게 출시된 프로세서 제품 범주 덕분입니다. 최소 1.7Ghz 32코어부터 3Ghz 128코어까지. 최소 40W부터 183W TDP까지. 모든 게 당신 마음대로죠.
BMC 기능은 ASPEED 사의 전용 첨단 프로세서를 이용해 서버에 원격으로 접속 및 관리를 가능케 합니다. 즉, 서버와 멀리 떨어져 있어도 조작할 수 있다는 얘기. 어디를 가든 서버를 주머니에 쏙 넣고 다니는 셈이죠.
GPU 서버의 불편한 진실?
AI 추론은 GPU가
할 일이 아닙니다.
모델 추론은 학습에 비해 연산 부하가 적음에도 고성능 GPU를 사용하면 전력 소모와 운영 비용만 비대해져 자원 효율이 급격히 떨어집니다. 결과적으로 낮은 자원 활용도 대비 높은 TCO(총소유비용)를 초래하는 비경제적인 선택이 되기 쉽습니다. AI 추론은 NPU가 할 일이죠.
AI 추론에 GPU 서버를 사용하기에는 비싸고 과합니다.
추론 과정에서 GPU 사용 시 많은 전력과 비용이 낭비됩니다.
실제 AI 서비스 운영에서는 학습보다 추론 비중이 압도적으로 높습니다.
나에게 맞는 구성 살펴보기.
사용 가능한 대형언어모델 (LLM)
요약
|
생성형 인공지능
|
|
Arm® 기반 Ampere Altra® 프로세서
최대 128코어 3.0GHz 구성 |
|
FuriosaAI
RNGD NPU |
|
DDR4 3200
8채널 1DPC 8개 슬롯 최대 2TB 메모리 구성 |
|
M.2 NVMe®
8개 슬롯 최대 4TB SSD 구성 |
|
최대 20배 빠른 전송 속도
USB 3 지원 |
|
초고속 10기가비트 이더넷
|
|
Ubuntu Server 20.04 / 22.04 / 24.04
Rocky Linux 8 / 9 / 10 |
|
BMC 특화 칩
ASPEED® 2500 |
|
RNGD 결과는 SDK 2025.3.0을 사용하여 FuriosaAI에서 내부 측정을 기반으로 합니다.
GPU 결과는 비슷한 테스트 조건에서 RunPod의 vLLM 0.9.1을 사용하여 얻었습니다. |
프로세서
Ampere Altra® 시리즈
Q32-17
32코어 1.7GHz
TDP 40W
Q64-22
64코어 2.2GHz
TDP 124W
Q80-30
80코어 3.0GHz
TDP 161W
M128-30
128코어 3.0GHz
TDP 183W
Arm® v8.2+ 및 SBSA 4 명령어 집합 호환
TSMC 7nm FinFET 공정
코어당 1MB L2 캐시
0°C에서 90°C 작동 온도
4,962 핀 FCLGA
NPU
FuriosaAI
RNGD
256 TFLOPS (BF16)
512 TFLOPS (FP8)
512 TOPS (INT8)
1,024 TOPS (INT4)
TDP 180W
HBM3 48GB
PCIe 5 x16 연결
TSMC 5nm 공정
12 VHPWR 전원
PCIe 듀얼 슬롯 전체 높이 3/4 길이