PDF Download
PubReader
Export Citation
Email the Author
Share Facebook
Share Twitter
Cited by 0 Article
Metrics (View:80)
서 론
바나나는 전 세계 과일 생산량의 약 16%를 차지하며, 가장 널리 소비되는 과일 중 하나이다(Baglat et al., 2023). 바나나는 미네랄, 탄수화물, 식이 섬유, 비타민 및 페놀 화합물이 풍부한 식품이지만, 저장 중 껍질 색상, 질감, 그리고 화학 성분이 변화한다(Quevedo et al., 2008). 바나나는 숙성이 진행됨에 따라 폴리페놀 옥시다아제(polyphenoloxidase) 및 카테콜 옥시다아제(catechol oxidases)의 효소 활성으로 인해 껍질에 어두운 반점이 점차 형성되며, 이로 인해 상품성이 저하된다(Yap et al., 2017). 이에 따라 바나나 껍질 색상은 품질을 결정하는 중요한 요소로 작용한다.
기존 바나나 숙도 판별은 사람이 수작업으로 수행해 왔으나, 이 방식은 시간이 오래 걸리고, 노동력이 많이 필요하며, 분류의 일관성이 떨어지는 문제가 있다(Saragih & Emanuel, 2021). 따라서 바나나 가공 현장에서는 바나나 숙도 오분류로 인한 품질 관리 문제를 최소화하기 위해 비파괴적인 방식의 객체 검출(object detection) 기반 딥러닝 기술이 적용될 수 있다(Surya Prabha & Satheesh, 2015). 특히 인간의 개입을 최소화하면서 사물인터넷, 인공지능 등을 활용하여 공정을 자동화하고 실시간 모니터링하는 스마트 팩토리(smart factory; Nguyen et al., 2021)에 바나나 숙도 판별을 사용할 수 있을 것이다.
딥러닝의 한 종류인 YOLOv5 (You Only Look Once)는 Redmon et al. (2016)이 개발한 객체 검출 모델로서 빠르고 정확하게 실시간으로 객체를 탐지하는 특성을 가지고 있다(Yang et al., 2024). 하나의 이미지를 여러 장으로 분할하고, 분할된 이미지에 개별적으로 convolutional neural network (CNN) 모델을 적용하여 이미지를 분석하는 R-CNN 방식과 달리 YOLOv5는 한 번의 전체 이미지 분석을 통해 실시간으로 객체 검출이 가능하다(Chen et al., 2023, Khanam & Hussain, 2024). YOLOv5의 구조는 백본(backbone), 넥(neck), 그리고 헤드(head)로 나뉘어 있다. 백본은 입력 이미지에서 특징을 추출하여 특징맵(feature map)으로 변환하고, 만들어진 특징맵은 넥에서 고해상도 정보를 포함하도록 변환(upsampling)된 후, 기존의 저해상도 특징맵과 결합하여 최종 예측을 수행하는 헤드에 사용되는 특징맵이 만들어진다. 헤드는 최종 특징맵을 사용하여 객체의 바운딩 박스(bounding box), 클래스(class), 그리고 신뢰도 점수를 예측한다(Fig. 1) (Khanam & Hussain, 2024). 이러한 구조를 가진 YOLOv5는 가중치와 편향 파라미터 개수에 따라 다양한 모델(YOLOv5 s, m, l, x, s6, m6, l6, x6)을 제공한다. 모델이 s에서 x6으로 확장될수록 네트워크의 레이어 수(depth multiple)와 채널 수(width multiple)가 증가하여 객체 검출 정확도는 향상되지만, 연산량이 증가하여 학습 및 추론 속도가 상대적으로 저하된다(Yang et al., 2024). 컨베이어 벨트 위에서 이동하는 바나나의 숙도를 예측하는 과정에서는 높은 정확도가 요구되지만, 동시에 실시간으로 다량의 바나나를 빠르게 분석해야 함으로 바나나 숙도 분석을 위한 YOLOv5모델을 선정할 때는 객체 검출 속도와 예측 정확도 간의 균형을 고려해야 할 것이다. 따라서 본 연구의 목적은 1) 숙도에 따라 분류된 바나나 이미지를 YOLOv5s와 YOLOv5l모델에 학습시켜 정밀도(precision), 재현율(recall), mAP (mean Average Precision), 그리고 손실 값(loss)을 기준으로 모델을 평가하고, 2) 선정된 YOLOv5모델을 사용하여 컨베이어 벨트 위에서 이동하는 바나나의 숙도를 판별하는 소프트웨어 모듈을 개발하는 것이었다.
재료 및 방법
본 연구에서 YOLOv5 딥러닝 모델 학습에 필요한 바나나 숙도에 따른 이미지 데이터는 데이터 공유 플랫폼 Kaggle에서 제공하는 Banana Classification (‘unripe’, ‘ripe’, 그리고 ‘overripe’)의 바나나 이미지 데이터 세트와 데이터 공유 및 관리 플랫폼 Roboflow의 banana ripeness classification computer vision project에서 데이터 세트를 제공받아 사용하였다. 본 데이터는 중복 또는 흔들림이 포함된 이미지를 정제하여 총 2,486장을 확보하였다. Roboflow의 smart polygon 기능을 사용하여 각 이미지 중에서도 바나나만을 정밀하게 지정하여 어노테이션(annotation)하였고(Fig. 2), 어노테이션된 이미지를 분류된 대로 라벨링 하였다. 라벨링 된 ‘unripe’, ‘ripe’, 그리고 ‘overripe’ 바나나 데이터 세트의 개수는 각각 617, 909, 그리고 960이었다.
데이터를 training set, validation set, 그리고 test set의 비율로 초기에는 70:20:10으로 분할하였다. Training set은 YOLOv5모델이 바나나 이미지의 특징을 충분히 학습할 수 있도록 하기 위해 가장 많은 70%의 비율로 할당하였고, validation set은 과적합 여부 판단을 위해 20%로 분배하였으며, test set은 최종 성능 평가를 위해 독립적인 데이터로 10% 할당하였다. 이후 데이터 다양성을 확보하여 모델의 과적합을 방지하고 학습 성능을 개선하기 위해 training set에 이미지 증강 기법을 적용하여 그 비율을 높였다. 증강 기법으로 수평 반전(flip), 회전(–15°∼+15°, 90°), 그리고 블러링(최대 0.5 pixel)을 사용하였고, 이로써 2,800장의 이미지를 생성하여 이들을 원본 이미지와 함께 training set에 추가하였다(Fig. 3). 증강된 데이터 세트의 이미지 크기는 YOLOv5 권장 입력 이미지 크기인 640× 640로 조정하였고, 최종적으로 training set, validation set, 그리고 test set의 비율은 88:8:4로 분할하였다.
바나나 숙도를 예측하기 위해 YOLOv5 딥러닝 모델을 Google Colab 환경에서 Python (Ver. 3.10.12, Python Software Foundation, Wilmington, DE, USA) 언어를 사용하여 학습하였으며, 앞서 언급한 대로 제작한 데이터 세트를 다운로드하여 모델 학습에 사용하였다. PyTorch로 구현하여 설계된 YOLOv5 라이브러리를 사용하여 바나나 클래스가 포함된 ‘Microsoft common objects in context’ 데이터 세트로 사전 학습된 YOLOv5모델 중 YOLOv5s.pt와 YOLOv5l.pt 가중치가 각각 적용된 YOLOv5s와 YOLOv5l모델을 모델 학습에 사용하였다. 모델 학습은 NVIDIA Tesla T4 GPU (16 GB 메모리, CUDA 12.4, NVIDIA, Santa Clara, CA, USA)를 사용하여 진행되었고, 학습 하이퍼파라미터인 epoch와 배치크기는 각각 100과 16으로 설정하였다. 이외에도 손실 함수로는 경계 상자(box), 객체(object), 그리고 클래스(class) 손실을 동시에 계산하는 multi-task loss를 사용하였고(Li et al., 2024), 최적화 함수로는 계산 속도가 빠른 확률적 경사 하강법(stochastic gradient descent)을 사용하였으며(Isa et al., 2022), 활성화 함수로는 기울기 소실 문제를 방지하는 Leaky ReLU를 사용하였다(Raj & Prabadevi, 2025). 학습률(learning rate)은 YOLOv5의 기본 값인 0.01을 사용하였다. 본 연구에서는 YOLOv5의 기본 하이퍼파라미터 설정이 안정적인 학습을 진행시키기 때문에 하이퍼파라미터 최적화를 추가적으로 수행하지는 않았다(Isa et al., 2022).
학습 과정에서 validation set에 대한 평가 지표가 가장 높은 값을 기록한 시점의 YOLOv5s와 YOLOv5l모델의 가중치를 각각 best_s.pt 및 best_l.pt 형식으로 저장하였으며, best_s.pt와 best_l.pt를 적용한 각각의 모델을 사용하여 컨베이어 벨트 위에서 움직이는 바나나 숙도를 예측하였다.
모델의 성능은 정밀도, 재현율, mAP, 그리고 손실 값을 기준으로 평가하였다. 정밀도는 모델이 positive로 예측한 데이터 중 실제로 positive인 경우의 비율을 나타내며(식 (1)), 재현율은 실제 positive 데이터 중 모델이 올바르게 positive로 예측한 비율을 의미한다(식 (2)).
mAP 계산에 사용되는 Intersection over Union (IoU)는 Fig. 4와 같이 예측된 바운딩 박스와 실제 정답 바운딩 박스 간의 겹치는 영역의 비율을 나타내며, 특정 IoU 임계값(threshold) 이상을 만족하는 경우 정답 값(true positive)으로 간주한다. IoU의 임계값이 0.5 이상인 경우 이를 정답 값으로 간주하고, 해당 경우에 precision-recall 곡선을 생성하여 곡선 아래 면적인 average precision (AP)값을 계산한 후, 모든 클래스에 대한 AP값을 평균하여 얻어진 지표를 mAP@0.5라고 한다(식 (3))(Cheng et al., 2024). IoU의 임계값이 0.5에서 0.95일 경우 0.05 간격으로 각각의 AP값을 구하고 이들을 평균 내어 mAP@0.5:0.95 지표 값을 계산한다(식 (4))(Cheng et al., 2024).
N은 이미지 데이터 세트 내 객체 클래스의 총 수를 나타내고, APi는 각 클래스 i에 대한 mAP를 나타낸다.
t는 IoU 임계값을 나타내고, mAP@t는 특정 IoU 임계값 t에서의 mAP 값을 나타낸다.
손실 값은 box loss, object loss, 그리고 class loss로 구분되며, box loss는 예측된 바운딩 박스와 실제 바운딩 박스 간의 차이를 계산하고, object loss는 예측된 바운딩 박스 내에 객체가 존재할 확률을 평가하며, 그리고 class loss는 모델이 객체의 클래스를 얼마나 정확하게 예측하는지를 계산하는 지표로 사용된다(Li et al., 2024).
컨베이어 벨트 위에서 바나나 숙도 예측을 수행하고 모델 성능을 비교하기 위해 식료품점(E-mart, Seoul, South Korea)에서 익지 않은 바나나와 익은 바나나를 구매하여 준비하였다. 익지 않은 바나나와 익은 바나나는 구매 직후 사용하거나 4℃에서 보관(최대 24시간)하여 사용하였고, 너무 익은 바나나는 익은 바나나를 23±2℃에서 5일간 저장하여 준비하였다. 사용된 바나나는 익지 않은(‘Unripe’) 바나나 40개, 적당히 익은(‘Ripe’) 바나나 40개, 그리고 너무 익은(‘Overripe’) 바나나 40개였고, 이들을 0.28 m/s의 속도로 이동하는 컨베이어 벨트(폭: 0.85 m) 위에 무작위로 배치시켰다. 이때 실제 식품 공정 환경을 모사하기 위해 바나나 간의 간격과 방향을 다양하게 조정하였다. 컨베이어 벨트 주위 빛의 에너지 밀도는 일사량계(TM-207; Tenmars Electronics Co., Taipei, Taiwan)를 사용하여 측정하였으며, 그 값은 2.86 W/m2 (약 360 lux; Michael et al., 2020)이었다. 이후, 스마트폰(iPhone 14; Apple Inc., Cupertino, CA, USA)을 사용하여 영상을 촬영하였으며, 촬영에는 1,080 p 해상도(1920×1080)와 60 fps을 사용하였다. 컨베이어 벨트가 이동하는 동안 바나나가 움직이는 장면을 촬영하였으며, 이 영상 데이터는 YOLOv5모델을 이용하여 영상 속 바나나의 숙도를 예측하는 데 사용되었다. 숙도 예측에는 앞서 언급된 best_s.pt와 best_l.pt 가중치를 적용한 YOLOv5s와 YOLOv5l모델을 사용하였다. 두 모델은 예측 정확도와 추론 속도를 기준으로 평가되었고, 평가를 통해 결정된 가중치가 사용된 모델이 바나나 숙도 예측에 사용되는 최종 모델로 선정되었다.
결과 및 고찰
본 연구에서 YOLOv5s모델과 YOLOv5l모델을 각각 사용하여 바나나 이미지에 대한 숙도를 예측한 결과에 대한 mAP와 손실 값을 Fig. 5에 나타내었다. YOLOv5s와 YOLOv5l의 성능을 확인한 결과, YOLOv5s의 mAP@0.5는 0.961이고, mAP@0.5:0.95는 0.886로 측정된 반면, YOLOv5l의 그 값들은 각각 0.967, 0.926 결정되어 YOLOv5l이 더욱 더 높은 성능을 가졌음을 알 수 있었다. 이는 네트워크 깊이와 파라미터 수가 상대적으로 높은 YOLOv5l모델이 바나나 이미지를 더 정밀하게 학습하는 데 유리하였을 것으로 판단되었다(Wang et al., 2022).
또한, YOLOv5s와 YOLOv5l의 정밀도는 각각 0.924와 0.944로서 YOLOv5l이 더 높았으나, 재현율은 각각 0.933과 0.924로서 YOLOv5s가 근소하게 높았다. 이는 YOLOv5s가 낮은 네트워크 깊이로 인해 동일 객체에 대해 중복된 바운딩 박스를 생성하여 높은 false positive 결과를 가질 수 있기 때문이다(Casas et al., 2024). 본 연구에서 YOLOv5s를 사용하였을 때 실제로 존재하지만 탐지하지 못한 바나나는 감소하여 전체 바나나 중에서 모델이 탐지한 실제 바나나의 비율(재현율)은 높아질 수는 있으나 모델이 탐지한 바나나가 실제로 바나나일 확률(정밀도)이 상대적으로 낮아진 것으로 판단되었다.
Training set을 사용하여 학습한 모델의 손실 값을 확인한 결과, YOLOv5s의 box loss, object loss, 그리고 class loss는 각각 0.012, 0.009, 그리고 0.007이었고, YOLOv5l의 그 값들은 0.009, 0.004, 그리고 0.002로 YOLOv5s보다 적었다. 모든 손실 값들은 0에 가까웠다. Validation set을 사용하여 검증한 YOLOv5s의 손실 값은 각각 0.009, 0.007, 그리고 0.005였고, YOLOv5l의 그 값들은 0.004, 0.002, 그리고 0.001로 결정되어 YOLOv5s보다 0에 가까웠음을 알 수 있었다. 본 결과를 통해, YOLOv5s 및 YOLOv5l이 사용되었을 때 training set과 validation set의 손실 값들이 모두 0에 가까움을 앎으로써 두 모델이 모두 안정적으로 학습을 진행했음을 알 수 있었다(He et al., 2023; Song et al., 2021).
YOLOv5s와 YOLOv5l를 이용하여 컨베이어 벨트 위로 이동되는 바나나의 숙도를 예측한 결과를 Fig. 6에 보여줬다. 또한 바나나가 이동하는 영상을 분석하는 데 있어서 얻어진 파라미터를 Table 1에 요약하였다. 컨베이어 벨트 위 바나나 숙도 영상을 best.pt를 적용하여 예측한 결과, YOLOv5s는 ripe를 unripe로 잘못 분류하는 경향을 보였다(Fig. 6). 이는 YOLOv5s가 비교적 얕은 네트워크 깊이와 단순한 구조를 기반으로 개발된 경량화 모델로서, 정밀한 특징 추출에 한계를 지니기 때문에 바나나의 미세한 색상 차이를 구별하는 데 정확도가 저하될 수 있다(Zhao et al., 2022). 또한 학습에 필요한 가중치와 편향 파라미터의 수가 7.2×106개로 연산량이 상대적으로 적기 때문에(Wang et al., 2022) 바나나 숙도를 결정하는 복잡한 색상 및 텍스처와 같은 특징을 정밀하게 학습하는 데 한계가 있었던 것으로 판단된다. 반면 더 깊은 네트워크 구조를 기반으로 더 많은 가중치와 편향 파라미터 수(46.5×106)를 가지고 있는 YOLOv5l은 ripe와 unripe를 더욱 정확하게 구분하였으며, 영상 분석 시 오분류가 발생하지 않았다(Fig. 6). 이는 YOLOv5l이 높은 연산량을 요구하지만, 정교한 특징 추출을 통해 바나나의 숙도 예측 정확도를 향상시킬 수 있음을 보여준다(Yang et al., 2024).
| YOLOv5 models | Pre-process (ms) | Inference (ms) | NMS (ms) | Total (ms) |
|---|---|---|---|---|
| YOLOv5s | 0.8 | 11.7 | 2.4 | 14.9 |
| YOLOv5l | 0.6 | 27.6 | 1.8 | 30.0 |
컨베이어 벨트 위 바나나 숙도 영상의 연산속도를 비교한 결과, 원본 비율을 유지하면서 패딩(padding)을 추가하여 개별 프레임을 640×640 픽셀 크기로 변환하는데 소요된 시간은 YOLOv5s가 0.8 ms이고, YOLOv5l이 0.6 ms이었다. YOLOv5l이 0.2 ms만큼 빠르지만, 전처리가 완료된 이미지를 YOLOv5모델에 입력하여 객체를 탐지하는 과정인 추론(inference)에서는 YOLOv5s가 11.7 ms로, YOLOv5l (27.6 ms)보다 약 2.3배 빠른 속도를 보였다(Table 1). 이는 YOLOv5l모델이 YOLOv5s보다 약 3배 더 깊은 네트워크 구조와 2배 넓은 채널 너비를 가지고 있어 더 많은 연산을 요구하므로 추론 속도가 느려진 것으로 판단되었다(Wang et al., 2022). 또한, 중복된 바운딩 박스를 제거하여 최종적으로 하나의 객체에 대해 하나의 바운딩 박스만 남기는 작업인 non-maximum suppression (NMS)는 YOLOv5s가 YOLOv5l보다 더 많은 후보 바운딩 박스를 검출하여 NMS 시간이 0.6 ms만큼 소요되었다. 이는 YOLOv5s가 YOLOv5l보다 상대적으로 얕은 네트워크 구조로 되어 있어, 동일한 위치에 있는 객체에 여러 바운딩 박스를 배치하는 경향이 있기 때문으로 판단된다(Casas et al., 2024). 하지만 전처리와 NMS는 실시간 예측 성능에는 큰 영향을 미치지 않았다. 한 프레임당 예측 총 처리 시간은 YOLOv5s와 YOLOv5l가 각각 14.9 ms와 30.0 ms로 YOLOv5s가 YOLOv5l보다 약 2배 이상 빠르게 예측을 수행하였다.
실제 바나나 가공 현장에서는 오분류가 품질 관리 및 생산 효율에 영향을 미칠 수 있으므로 YOLOv5모델의 연산 속도보다 높은 예측 정확도가 보다 중요한 요소로 작용될 수 있다(Korchagin et al., 2021). 따라서 YOLOv5l이 더욱 깊은 네트워크 구조와 높은 특징 추출 능력을 바탕으로 YOLOv5s보다 객체 감지를 높은 정확도로 수행할 수 있으므로 바나나 숙도 예측을 위한 모델로 더 적합할 것으로 판단된다. 숙도 판별 소프트웨어 모듈을 실제 바나나 가공 공정에서 적용하기 위해서는 YOLOv5모델이 새로운 데이터를 계속해서 높은 정확도로 예측할 수 있도록 현장 데이터를 지속적으로 수집하고 다양한 특징을 자동으로 학습할 수 있는 기능을 추가 해야 한다. 또한, 바나나 가공 공정의 효율성과 생산성을 높이기 위해 카메라, 딥러닝 모델, 제어 시스템 등을 연동하여 숙도 예측 결과를 바탕으로 자동 선별 및 이송 공정까지 연계될 수 있도록 통합 자동화 시스템을 구성할 수 있을 것이다.
요 약
본 연구에서는 YOLOv5모델을 사용하여 컨베이어 벨트 위에서 이동하는 다수의 바나나 숙도를 동시에 결정하는 숙도 판별 소프트웨어 모듈을 개발하였다. 숙도에 따라 분류된 바나나 이미지 데이터 세트를 학습한 YOLOv5s와 YOLOv5l모델은 높은 mAP, 정밀도, 그리고 재현율 값을 보여주었다. 또한 학습이 진행되면서 두 모델의 손실 값은 점진적으로 0에 가까워지는 경향을 보이며 안정적으로 학습이 이루어짐을 나타내었다. 특히 YOLOv5l을 탑재한 숙도 판별 소프트웨어 모듈을 사용하였을 때 컨베이어 벨트 위에서 이동하는 바나나의 숙도를 오차 없이 정확하게 예측하는 것을 알 수 있었다. 이를 통해 개발된 숙도 판별 소프트웨어 모듈이 과일 가공 현장에서 바나나를 숙도 별로 선별하는 데 사용될 수 있음을 확인 할 수 있었다. 본 연구의 결과는 딥러닝을 이용한 비파괴적 숙도 판별 소프트웨어 모듈이 다양한 과일 및 농산물의 숙도와 품질을 예측하고 품질 관리 및 자동화 시스템을 구축하는데 새로운 기술로 적용될 수 있음을 보여주었다.
