OCR 엔진 교체 후에도 메모리 누수 발생 시 대처법

최근 OCR 엔진을 Paddle에서 Tesseract로 변경한 후에도 메모리 누수가 발생하는 문제를 겪었습니다. 이 글에서는 메모리 누수의 원인을 추적하고 해결할 수 있는 방법을 정리합니다.

---

1. 문제 원인 파악

OCR이 문제인지 확인

1. Paddle vs. Tesseract 비교
   • 두 엔진에서 동일한 패턴으로 누수가 발생하는지 확인합니다.
   • OCR 호출 전후로 gc.collect()를 실행하고 메모리 사용량을 기록합니다.
2. Tesseract 호출 시 메모리 상태 확인
   • extract_text_with_tesseract 함수에 메모리 로깅 추가:
   def extract_text_with_tesseract(image, index):

       log_memory(f"OCR 시작 (index {index})")

       try:

           ...

       finally:

           log_memory(f"OCR 종료 (index {index})")

           gc.collect()

---

OCR 외 다른 문제인지 확인

1. YOLO 관련 데이터 처리
   • YOLO의 바운딩 박스 데이터가 참조 해제되지 않을 수 있습니다.
   • run_yolo_directly 함수에서 반환된 데이터를 바로 해제하는지 확인합니다.
2. 전체 처리 흐름 점검
   • 이미지나 데이터를 불필요하게 복사하거나, 여러 함수에서 참조를 유지하고 있는지 확인합니다.

---

2. 메모리 로그 추가 및 분석

1. 로그로 메모리 사용 추적
   주요 함수에 메모리 로깅을 추가:
2. def log_memory(context=""):

       process = psutil.Process(os.getpid())

       mem_info = process.memory_info()

       logger.info(f"[{context}] RSS: {mem_info.rss / 1024**2:.2f} MB | VMS: {mem_info.vms / 1024**2:.2f} MB")
3. 로그 추가 위치
   • upload 함수: 이미지를 로드한 직후.
   • handle_yolo_result: YOLO 처리 후.
   • handle_ocr_result: OCR 작업 후.
4. 메모리 증가 패턴 확인
   동일한 이미지로 테스트해, 특정 단계에서 메모리 누수가 발생하는지 비교합니다.

---

3. Tesseract 관련 개선

1. 이미지 크기 줄이기
   OCR에 전달하는 이미지를 최소 크기로 변환합니다.
   • 바운딩 박스로 잘라낸 이미지가 너무 크면, 크기를 조정한 후 OCR을 호출합니다.
2. 리소스 정리 명시
   • Tesseract 호출 후 메모리 정리:
   def extract_text_with_tesseract(image, index):

       try:

           ...

       finally:

           image.close()  # PIL 이미지 해제

           gc.collect()

---

4. YOLO 및 데이터 처리 최적화

1. YOLO 바운딩 박스와 OCR 간 데이터 전달 최적화
   • 슬라이싱된 이미지(image[y1:y2, x1:x2])는 메모리를 많이 사용하므로 작은 크기로 복사합니다.
   • YOLO에서 반환된 데이터를 바로 OCR에 전달하지 않고 정제합니다.
2. YOLO 메모리 해제 확인
   YOLO에서 반환된 데이터와 이미지를 즉시 해제합니다.

---

5. 도구 활용

1. Memory Profiler
   • @profile 데코레이터로 주요 함수의 메모리 사용량을 분석합니다.
   mprof run python your_script.py

   mprof plot
2. Tracemalloc
   • Python 내 객체의 메모리 사용 추적:
   import tracemalloc

   tracemalloc.start()

   
   

   # 특정 지점에서 스냅샷 찍기

   snapshot = tracemalloc.take_snapshot()

   top_stats = snapshot.statistics('lineno')

   print(top_stats[:10])  # 상위 10개

---

6. 결론

OCR 엔진 교체 후에도 메모리 누수가 발생한다면, 문제가 OCR 단계 외의 다른 부분에 있을 가능성이 높습니다. YOLO, Flask 요청 처리, 그리고 데이터 전달 방식을 점검하세요. 메모리 사용 로그를 분석하며 누수가 발생하는 특정 구간을 추적하는 것이 핵심입니다.

이 가이드가 문제 해결에 도움이 되길 바랍니다! 😊