AI Architecture 7. MLP와 메모리 장벽(Memory Wall)
지난 시간까지 우리는 하드웨어 비용을 줄이기 위해 데이터를 깎아내는 양자화(Quantization)…
-
-
AI Architecture 6. INT8 양자화(Quantization) 기초
지난 글에서 우리는 데이터 포맷(Number Format)의 차이가 하드웨어의 면적과 전력…
-
AI Architecture 5. 데이터의 무게: FP32가 하드웨어 면적과 전력 소모에 미치는 영향
지난 글에서는 학습(Training)과 추론(Inference)의 차이를 통해, 추론 전용 NPU가 어떻게…
-
AI Architecture 4. 학습(Training) vs 추론(Inference)
지난 글들에서 우리는 MAC 연산기와 메모리 계층, 그리고 병렬 처리(SIMD)가…
-
AI Architecture 3. 행렬곱(MatMul)의 미학: 딥러닝이 GPU/NPU를 선택한 이유
지난 글들에서 우리는 AI에서 인공 뉴런의 기본 연산인 MAC(Multiply-Accumulate)이 하드웨어에서…
-
AI Architecture 2. 활성화 함수의 비용: ReLU vs Sigmoid
지난 포스팅에서 우리는 인공 뉴런의 핵심인 MAC(Multiply-Accumulate) 연산이 하드웨어, 특히…
