SeungWoo 님의 블로그

1. TensorRT (NVIDIA)TensorRT는 NVIDIA GPU에서 딥러닝 추론을 가속화하기 위한 SDK입니다. 모델의 네트워크 구조를 분석하고, 사용 중인 GPU 하드웨어에 맞춰 연산을 최적화하여 실행 파일을 생성합니다.주요 특징:Layer & Tensor Fusion: 중복되는 연산 노드를 하나로 합쳐 메모리 대역폭을 절약합니다.Precision Calibration: FP32 모델을 FP16이나 INT8로 양자화(Quantization)하여 속도를 비약적으로 높입니다.적합한 환경: 서버급 GPU(A100, RTX 시리즈)나 임베디드 보드(Jetson 시리즈) 환경.2. OpenVINO (Intel)OpenVINO(Open Visual Inference and Neural network Op..

Channel first/last 데이터 구조에 따른 추론 속도 차이 딥러닝에서 이미지 데이터는 가로 × 세로 × 채널의 세 축으로 구성되며, 메모리에 나열하는 순서(Channel First / Last)에 따라 GPU 연산 효율과 프레임워크 지원 방식이 달라집니다.→ "동일한 모델 연산량을 처리할 때, 입력 데이터의 배열 방식이 GPU 추론 속도에 실질적인 영향을 주는가?" Channel First / Last 개념 구조메모리 배치주요 프레임 워크Channel First (NCHW)(Batch, Channel, Height, Width)[R,R,R…] [G,G,G…] [B,B,B…]채널 전체가 하나의 블록으로 묶임PyTorch,cuDNN,TensorRTChannel Last(CHWC)(Batch, ..