Image Processing using Lambda

AWS Lambda를 이용한 이미지 처리 최적화 전략

1. AWS Lambda 소개

AWS Lambda는 서버리스 아키텍처를 실현하는 AWS의 서비스로, 개발자가 서버를 직접 관리하지 않고도 코드를 실행할 수 있는 환경을 제공합니다. 이 서비스의 주요 장점 중 하나는 자동 확장성입니다. 요청이 증가함에 따라 Lambda 함수는 자동으로 리소스를 조정하여 처리 능력을 높입니다. 반면, 사용량이 감소하면 리소스를 축소하여 비용을 절약할 수 있습니다.

2. 이미지 처리의 기본

이미지 처리에는 리사이징, 포맷 변경, 메타데이터 추출 등 다양한 조작을 포함합니다. 주로 이미지 품질을 개선하거나, 특정 정보를 추출하기 위해 사용됩니다. 클라우드 기반 이미지 처리는 대규모 이미지 라이브러리의 관리를 용이하게 하고, 애플리케이션의 응답성과 성능을 향상시킵니다. 서버리스 아키텍처(AWS Lambda)를 이용한 이미지 처리 구현은 자원 사용을 최적화하고, 비용을 절감할 수 있는 큰 이점을 제공합니다.

3. 이미지 파일 업로드 프로세스

클라이언트에서 이미지를 업로드하면 아래와 같은 과정을 거칩니다.

[클라이언트 -> 람다] 이미지 업로드 과정

[클라이언트 -> API] 이미지 업로드 과정

[배치 -> API] 파일 정리

4. 문제 인식: 이미지 확대 시의 메모리 최적화

메모리 관리의 기본

메모리 관리는 효율적인 소프트웨어 개발의 핵심 요소입니다. (특히 이미지 처리와 같은 리소스 집약적 작업에서 매우 중요합니다.) 효과적인 메모리 관리를 통해 애플리케이션의 성능을 최적화하고 시스템 안정성을 유지할 수 있습니다. 고해상도 이미지 처리를 수행할 때, 이미지 데이터는 상당한 양의 메모리를 소비할 수 있으며, 이로 인해 메모리 오버플로우나 애플리케이션의 응답 속도 저하와 같은 문제가 발생할 수 있습니다.

따라서, 메모리 할당과 해제를 적절히 관리하고, 불필요한 메모리 사용을 최소화하는 전략이 필수적입니다. 이를 위해ㅐ, 개발자는 메모리 사용 패턴을 장기적으로 모니터링하고, 프로파일링 도구를 활용하여 메모리 누수를 탐지해ㅐ야합니다. 추가로, 가능하면 변수의 스코프를 최소화하고, 대용량 처리 시 스트리밍 또는 청킄 단위 처리를 고려하여 메모리 사용량을 관리하는 것이 좋습니다.

현재 프로젝트에서 고려하는 부분들은 다음과 같습니다.

• 이미지를 극한으로 확대했을 때, 프로세싱에 문제가 없는가?

• 이미지를 극한으로 축소했을 때, 프로세싱에 문제가 없는가?

• 8k 이상의 초고해상도 이미지를 업로드 했을 때, 프로세싱에 문제가 없는가?

• 이미지를 움직였을때, 알맞은 위치로 업로드 되는가?(좌측 상단, 우측 하단 등)

마지막을 제외하고는 모두 메모리의 문제가 가장 컸습니다.

이미지 리사이징 및 크롭 처리

이미지 리사이징과 크롭은 일반적으로 웹 애플리케이션에서 사용자가 업로드한 이미지를 적절한 크기와 비율로 조정하기 위해 수행되는 작업입니다. 이러한 작업은 서버의 리소스를 상당히 소모할 수 있으며, 특히 대량의 이미지를 처리할 경우 메모리 사용 최적화가 중요해집니다. sharp 라이브러리는 Node.js 환경에서 효율적인 이미지 변환을 위한 도구로, 네이티브 바인딩을 통해 이미지 처리 성능을 대폭 향상시킵니다.

저는 sharp를 사용하여 이미지 리사이징과 크롭을 수행할 때, 체인 방식으로 메서드를 연결함으로써 중간 단계의 버퍼 생성을 최소화하고 메모리 사용량을 줄일 수 있었습니다. 이는 또한 코드의 가독성과 유지보수성을 향상시키는 이점을 제공합니다. 이미지 처리 시, 리사이징과 크롭 작업 전에 이미지의 초기 해상도와 목표 해상도를 고려하여 필요한 최소한의 데이터만 처리하도록 계획하여 메모리 사용량을 최적화 하였습니다.

CloudWatch를 통한 메모리 모니터링

AWS CloudWatch는 AWS 리소스 및 애플리케이션을 실시간으로 모니터링하는 서비스로, 메모리 사용량, CPU 사용량, 네트워크 트래픽 등 다양한 지표를 제공합니다. 특히 AWS Lambda와 같은 서버리스 아키텍처에서 CloudWatch를 사용하여 메모리 사용량을 모니터링하면, 함수 실행 시 발생할 수 있는 메모리 관련 문제를 신속하게 식별하고 대응할 수 있습니다. CloudWatch 알람을 설정하여 메모리 사용량이 임계값을 초과할 경우 알림을 받을 수 있으며, 이를 통해 메모리 사용량이 높아질 때 적절한 조치를 취할 수 있습니다. 또한, CloudWatch 로그를 분석하여 메모리 사용 패턴을 이해하고, 애플리케이션의 성능을 최적화하기 위한 인사이트를 얻을 수 있습니다. CloudWatch를 활용한 메모리 모니터링은 AWS Lambda 함수의 안정성과 효율성을 보장하는 데 중요한 역할을 합니다.

5. 문제 인식:

5.1. 기존불필요한 For Loop 처리 : Lambda의 실행 모델 변경

개발 초기 단계에서는 Lambda 함수가 여러 이미지 파일을 한번에 처리할 수 있도록 설계되었습니다. 하지만 실행 모델이 변경되면서, 각 이미지마다 개별적으로 Lambda 함수가 트리거되는 방식으로 전환이 되었고, 기존의 코드는 레거시 코드가 되었습니다.

5.2. 코드의 복잡성을 줄이고, 함수의 실행 효율성 개선

getFiles 함수는 여러 파일 정보를 처리하기 위해 설계되었으나, 실행 모델의 변경으로 인해 더 이상 적합하지 않게 되었습니다. 그래서, 'getFile 함수로 변경하여 단일 파일만 처리하는 구조로 개선하였습니다.

5.3. If문과 max메서드의 중복 문제 및 해결

코드 리팩토링 과정에서 발견된 if문과 Math.max 메서드의 중복 사용 문제를 해결했습니다. 기존에는 조건문을 통해 변수의 값을 검증하고 조정하는 방식을 사용했었지만, 리팩토링을 통하여 보다 효율적이고 간결한 코드로 개선했습니다.

5.4. 메서드 체이닝을 통한 메모리 관리

메서드 체이닝을 통해 메모리 관리를 효율적으로 개선하였습니다. 기존 코드에서는 중간 단계 결과를 각 변수에 저장하는 방식으로 처리가 됐었습니다. 변수에 저장을 하게 되면 쓸데없는 메모리를 점유하게 됩니다.

메서드 체이닝을 통해 중간값을 별도로 메모리에 저장하지 않고, 연속적으로 호출하여 최종 결과값만 가져오도록 하였습니다. 체이닝을 통해 유지보수성이 줄어들었지만, 결론적으로 메모리 성능은 향상되었습니다.