블로그

May 25, 2023

Jetson이 로켓 부스트를 얻습니다: 손

NVIDIA의 Jensen Huang이 GPU 무대에 오른 지 6개월이 지났습니다.

NVIDIA의 Jensen Huang이 GPU 기술 컨퍼런스(GTC) '22에서 무대에 올라 인공지능(AI)을 겨냥한 고성능 저전력 Jetson Orin Nano 시스템 온 모듈(SOM)을 공개한 지 6개월 만입니다. 모서리. 이제 GTC '23이 다가오고 있으며 Huang이 다시 무대에 올랐습니다. 이번에는 즉시 사용할 수 있는 Jetson Orin Nano 개발자 키트 번들을 출시합니다.

Jetson Nano의 "80배" 성능을 제공하는 새로운 Jetson Orin Nano는 회사의 최신 세대 Orin 그래픽 처리 장치(GPU) 아키텍처를 보급형 수준으로 가져오도록 설계되었습니다. 하지만 회사의 높은 약속을 이행할 수 있을까요?

Jetson Orin Nano SOM은 실제로 두 가지 형태로 제공됩니다. 하나는 다른 것보다 성능이 절반에 불과합니다. 보급형 Jetson Orin Nano 4GB는 이름에서 알 수 있듯이 32GB/s 대역폭의 4GB LPDDR5 메모리, 최대 1.5GHz에서 실행되는 6코어 Arm Cortex-A78AE CPU, 512 CUDA 코어 및 512개의 CUDA 코어를 갖춘 Orin GPU를 갖추고 있습니다. INT8 컴퓨팅의 초당 20테라 연산(TOPS)을 제공하는 16개의 Tensor 코어. 이와 대조적으로 Jetson Orin Nano 8GB는 온보드 메모리의 용량과 대역폭은 물론 GPU의 CUDA 코어와 Tensor 코어 수도 두 배로 늘리지만 CPU는 그대로 두고 40TOPS를 제공합니다.

개발자 키트를 구매하려는 사람들에게는 차이점이 없습니다. Jetson Orin Nano 8GB가 사전 번들로 제공되는 경우에만 사용할 수 있습니다. SOM이 쉽게 사전 설치된 캐리어 보드는 기술적으로 SOM 또는 고급 Jetson Orin NX SOM 중 하나를 수용합니다. 하지만 캐리어 보드를 외부에서 구입할 수 없기 때문에 그것도 문제가 됩니다. 개발자 키트 번들.

소형 캐리어 보드 자체는 Jetson Orin Nano SOM의 가장 필수적인 기능을 구현합니다. 단일 DisplayPort 1.2 비디오 출력, 4개의 USB 3.2 Gen. 2 Type-A 포트, 기가비트 이더넷 포트 및 USB Type-C 포트가 있습니다. 전원용은 아니며 번들 45W PSU 및 DC 잭을 통해 처리됩니다. 디버깅 및 USB 장치 작동을 위해.

기본 포트 왼쪽에는 USB 카메라 대신 또는 추가로 사용할 수 있는 22핀 MIPI 카메라 직렬 인터페이스(CSI) 포트 2개가 있습니다. 오른쪽에는 UART, SPI, I2C, I2S 및 펄스 폭 변조(PWM) 지원을 포함하는 채워진 40핀 범용 입출력(GPIO) 헤더가 있습니다. 번들 방열판과 팬을 위한 PWM 속도 제어 헤더도 있으며 외부 버튼 제어를 위한 12핀 헤더도 있습니다. SOM 상단 가장자리 아래에 다소 어색하게 위치해 있습니다.

보드를 뒤집으면 마지막 확장 옵션을 찾을 수 있습니다. SOM 상단 가장자리 아래에 거의 보이지 않게 숨겨진 microSD 슬롯, 802.11ac Wi-Fi 모듈이 미리 채워진 M.2 Key E 슬롯, M.2 Key M 슬롯에는 각각 4개 및 2개의 PCI Express(PCIe) Gen. 3 레인이 있습니다. 그러나 하나는 짧은 2230 크기 모듈로 제한되고 다른 하나는 2280 모듈용 장착 지점만 제공합니다.

NVIDIA의 큰 헤드라인을 장식하는 주장은 Jetson Orin Nano가 구형이고 상당히 저렴한 Jetson Nano에 비해 "80배의 AI 성능"을 제공한다는 것입니다. 이는 기술적으로는 사실이지만 큰 경고가 있습니다. NVIDIA의 계산은 Jetson Nano에서는 FP16 정밀도를 사용하고 Jetson Orin Nano에서는 INT8 정밀도를 사용하는 원시 컴퓨팅을 기반으로 합니다. 두 장치 모두에서 FP32 정밀도를 사용하면 공평한 경쟁의 장에서 게인이 80배에서 여전히 인상적인 5.4x로 떨어집니다. 하지만 INT8 정밀도에 대한 지원이 큰 이유가 되므로 INT8-대-FP16은 여전히 ​​합리적인 비교가 됩니다. 새 장치로 업그레이드하세요.

그렇다고 INT8에 대한 지원에 대한 향상이 없다고 말할 수는 없습니다. 그러나 결국 5.4x FP32 이득은 어딘가에서 나와야 합니다. 새롭고 더욱 강력한 GPU 아키텍처로의 전환뿐만 아니라 Jetson Orin Nano는 Jetson Nano에 비해 8배 많은 CUDA 코어 수와 32개의 Tensor 코어를 포함합니다. 또한 프로세서는 최신 Arm Cortex 아키텍처로 이동했으며, 약간 더 빠른 클럭 속도로 실행되는 2개의 추가 코어를 자랑하며, 2.5배 이상의 대역폭을 제공하는 LPDDR5로 이동하여 메모리가 2배 증가했습니다.