[2024 하계 모각코] 3차 개인 계획 및 결과

적은 컴퓨팅 리소스에 적합한 AI 모델 및 기법

경량화된 모델 사용

1. 경량 신경망(Compact Neural Networks)
   • MobileNet: MobileNet은 모바일 및 임베디드 디바이스에서 효율적으로 동작하도록 설계된 경량 합성곱 신경망(CNN)이다. 깊이별 분리 합성곱(Depthwise Separable Convolutions)을 사용하여 연산량을 줄인다.
   • SqueezeNet: SqueezeNet은 적은 파라미터를 사용하면서도 성능을 유지하도록 설계된 CNN이다. 모델의 크기를 줄이기 위해 파이어 모듈(Fire Module)을 사용한다.
2. 효율적인 RNN(순환 신경망)
   • QRNN (Quasi-Recurrent Neural Network): QRNN은 RNN의 장점인 시간 순서 정보를 유지하면서 CNN의 병렬 처리가 가능한 장점을 결합한 모델이다. 이는 RNN보다 적은 리소스를 사용하면서도 높은 성능을 유지한다.

모델 경량화 기법

1. 프루닝(Pruning)
   • 학습된 모델에서 중요하지 않은 파라미터(뉴런이나 연결)를 제거하여 모델 크기를 줄인다. 프루닝 후에는 모델을 재학습하여 성능을 최적화한다.
2. 양자화(Quantization)
   • 모델의 파라미터를 낮은 정밀도로 표현하여 모델 크기를 줄이고 연산 속도를 높인다. 예를 들어, 32비트 부동소수점 수 대신 8비트 정수를 사용할 수 있다.
3. 지연 정밀도 감소(Low Precision Training)
   • 학습 과정에서 낮은 정밀도로 연산을 수행하여 메모리 사용량과 계산량을 줄인다.

효율적인 학습 및 추론 기법

1. 지연 합성곱(Dilated Convolutions)
   • 지연 합성곱을 사용하여 합성곱 신경망에서 더 큰 수용 영역을 확보하면서 연산량을 줄인다. 이는 특히 자연어 처리와 같은 시퀀스 모델에서 유용하다.
2. 지연 RNN(Dilated RNN)
   • RNN에서도 지연 기법을 사용하여 입력 시퀀스의 간격을 조절하면서 연산량을 줄인다.