NVIDIA H100 GPU, 이제 AWS에서 첨단 AI용으로 사용 가능

새로운 EC2 P5 인스턴스는 점점 더 복잡해지는 LLM 및 컴퓨터 비전 모델에 대한 교육 및 추론 실행에 특히 적합합니다.

 

 

올해 초 Amazon Web Services(AWS)와 NVIDIA는 대규모 언어 모델(LLM) 교육 및 생성 AI 애플리케이션 개발을 위한 차세대 인프라 구축에 중점을 둔 다단계 협업을 발표했습니다. 

이 협력의 결실은 이제 Amazon EC2 P5 인스턴스 의 정식 출시 발표와 함께 구체화되었습니다 .

 

 

Amazon Web Services(AWS) 고객은 이제 새로 출시된 Amazon EC2 P5 인스턴스를 통해 강력한 NVIDIA H100 GPU를 활용하여 최신 생성 AI 모델 등을 위한 업계 최고의 성능을 활용할 수 있습니다. Transformer Engines 및 4세대 Tensor 코어와 같은 아키텍처 혁신을 통해 NVIDIA H100은 전례 없는 AI 교육 및 추론 기능을 제공합니다.

기계 학습 모델이 수조 개의 매개변수로 진화하면서 교육 시간이 여러 달로 연장되었으며, 이는 데이터 충실도 증가와 엑사바이트 규모의 데이터 세트를 처리하는 고성능 컴퓨팅(HPC) 고객이 반향하는 추세입니다. P5 인스턴스는 훈련 시간을 크게 줄이고 AI/ML 및 HPC 워크로드의 확장성을 향상하여 이러한 요구 사항을 해결하도록 설계되었습니다.

 

 

이전 인스턴스 및 프로세서와 비교한 P5 인스턴스 및 NVIDIA H100 Tensor Core GPU 8개의 NVIDIA H100 Tensor Core GPU, 3세대 AMD EPYC 프로세서, 2TB의 시스템 메모리 및 30TB의 로컬 NVMe 스토리지를 제공하는 새로운 P5 인스턴스는 이전 세대 GPU에 비해 ​​교육 시간을 최대 6배까지 단축할 예정입니다.

기반 인스턴스. 이러한 성능 향상으로 고객의 교육 비용이 40% 감소합니다.

 

올해 "iPhone 순간"에 이어 AI가 주류 채택에 계속 도달하고 있기 때문에 이 타이밍이 매우 중요합니다. 

ChatGPT와 같은 액세스 가능한 대규모 언어 모델을 통해 개발자는 산업 전반에 걸쳐 혁신적인 애플리케이션을 빠르게 발견하고 있습니다. NVIDIA H100은 이러한 새로운 AI 사용 사례에 실제 배포에 필요한 가속 성능을 제공합니다.

 

P5 인스턴스는 고속 컴퓨팅, 네트워킹 및 스토리지로 구성된 Amazon EC2 UltraClusters를 통해 AI 워크로드를 유연하게 확장할 수 있습니다. NVIDIA의 Collective Communications Library를 활용하는 애플리케이션은 최대 20,000개의 H100 GPU를 동시에 활용할 수 있습니다. H100 GPU 머슬과 AWS의 페타비트 규모 네트워크의 결합으로 복잡한 AI 교육 및 HPC 애플리케이션을 위한 전례 없는 확장이 가능합니다.

 

 

EC2 UltraClusters의 P5 인스턴스는 최대 20엑사플롭의 집계 컴퓨팅 기능을 제공합니다.

말할 필요도 없이 고객은 이 제품의 엄청난 잠재력에 흥분하고 있습니다.

• Anthropic은 차세대 LLM을 교육하기 위해 가격 대비 성능이 크게 향상될 것으로 기대합니다.
• Cohere는 H100이 언어 AI 배포를 통해 더 빠른 비즈니스 성장을 실현할 것으로 보고 있습니다.
• Hugging Face는 기본 AI 모델의 빠른 제공을 기대합니다.
• Pinterest는 사용자에게 새로운 공감 AI 경험을 제공하는 것을 목표로 합니다.

이제 Amazon EC2 P5 인스턴스를 미국 동부(버지니아 북부) 및 미국 서부(오레곤) 리전에서 사용할 수 있습니다. 고급 AI 인프라에 대한 수요가 계속 증가함에 따라 이 오퍼링은 개발자와 연구원에게 이전에는 도달할 수 없었던 문제 영역을 탐색하고 솔루션을 더 빠르게 반복하며 혁신을 더 빨리 시장에 출시하는 데 필요한 도구를 제공합니다.