딥러닝을 활용한 식품 이물질 탐지
기존의 식품 이물질 탐지
물리적 오염은 식품이 이물질로 인해 오염되었을 때 발생하며 이물질은 음식 배달이나 포장을 하는 과정에서 언제든 포함될 수 있으며 소비자가 이빨이 깨지거나 목에 걸리는 등의 심각한 위해를 가할 수 있고 그래서 사전에 이물질을 탐지하여 제거하는 예방 방법이 필요하지만 기존 연구들은 에지 기반 방법이나 임계 값 기반 방법들을 활용하여 식품에서 이물질을 탐지하였고 이는 탐지하는 식품이 매우 한정적이며 이물질의 방사선 감쇄도가 다양한 경우에는 대처를 잘할 수 없다는 단점을 가지고 있었다.
딥러닝을 활용한 컴퓨터 비전의 활용
최근 딥러닝을 활용한 방법들이 컴퓨터 비전에서 매우 좋은 성과를 보이고 있고 이에 따라 식품 산업에서는 딥러닝 네트워크를 사용하여 불량 제품을 탐지하는 연구사례가 많아졌으며 딥러닝의 신경망은 대량의 학습 데이터를 요구하는 데 산업에서는 이물질이 포함된 식품을 구하기 힘들기 때문에 대부분의 산업 이상 탐지 연구들은 비지도 학습 방법을 활용하였고 하지만 지도 학습 방법들은 정상 제품과 불량 제품의 차이가 거의 없는 포장 식품 X-Ray 영상에서는 성능이 좋지 않았기에 본 연구에서는 포장 식품 X-Ray 영상에서 지도 학습 네트워크로 실시간 이상 탐지를 수행하는 새로운 방법을 제안하며 본 연구에서는 포장 식품 안에서 유리 조각 돌 금속 조각들을 탐지하며 탐지 방법은 파스타 피스타치오 팥 그리고 과자에 적용되어 테스트를 하였고 본 연구에서는 X-ray의 특성을 활용한 Cut-Paste 방식의 데이터 증폭 알고리즘으로 딥러닝 네트워크를 학습시킬 데이터를 생성할 수 있었다.
딥러닝을 활용한 불량 제품 판독 기법
객체인 이물질들을 배경인 정상 제품 영상들에 붙여서 불량 제품 영상을 생성하였고 그리고 테스트 데이터는 현실에서의 불량 제품 영상들을 수집하여 구축하였고 생성된 학습 데이터셋을 기반으로 실시간 객체 탐지 네트워크인 YOLOv4를 학습시켰으며 테스트 데이터의 이물질을 탐지하도록 하였고 포장 식품 X-ray 영상에서 이물질이 탐지되면 불량 제품 이물질이 탐지가 안 되면 정상 제품으로 분류하게 하였고 본 연구에서는 이 방법을 포장된 파스타 피스타치오 과자 팥에서 모두 동일한 조건으로 실험하였고 그 결과 모든 종류의 포장 식품에서 정상 제품과 불량 제품을 94% 이상의 정확도로 분류할 수 있었으며 고해상도 X-ray 영상에서의 손실을 없애기 위해 패치 기반 학습과 새로운 후처리 알고리즘으로 FPR을 5% 아래로 낮출 수 있었고 정확도를 개선할 수 있었다.
객체 탐지 신경망을 이용한 판독 기법
지도 학습 기반 객체 탐지 신경망을 사용하여 포장 식품 X-ray 영상에서 실시간으로 이상 탐지를 수행하는 방법을 제안하며 얻기 힘든 불량 제품 데이터를 얻기 위해서 식품 영상에 이물질을 붙여서 학습 데이터를 생성하였는데 이러한 데이터 증폭은 X-ray의 특성을 반영하여 곱셈을 활용한 합성을 하여 붙였고 그 결과 실제 불량 제품 데이터와 매우 비슷한 학습 데이터를 만들 수 있었으며 생성된 데이터들로 3000장의 학습 데이터셋을 구축하였고 테스트 데이터는 직접 수집하였고 one stage detector인 YOLOv4를 학습하여 예측한 결과 모든 식품에서 정확도가 94% 이상이었고 또한 패치 기반 학습 방법을 적용하여 고해상도 영상에서의 생기는 손실을 줄일 수 있었으며 후처리 알고리즘을 통해 정확도를 더 향상했다.
실험실과 현실의 데이터 차이
현실에서 수집한 테스트 데이터에서의 성능은 본 연구에서의 학습 데이터셋이 현실에서의 데이터와 매우 비슷하다는 것을 증명하며 그리고 모든 식품에서 좋은 성능을 보여준다는 것은 본 연구에서의 방법이 다른 식품에도 비슷 한 성능을 보여줄 수 있다는 것을 의미하며 우리는 이 연구를 통해 포장된 파스타와 스낵에서 매우 정확한 결과를 도출해 낼 수 있었으며 특히 포장된 피스타치오와 팥에서는 현실에서 이상 탐지를 수행할 수 있을 정도의 성능을 도출해냈고 우리의 방법론은 우리가 사용한 데이터와 비슷한 데이터라면 동일한 성능을 낼 수 있으며 다양한 X-Ray 탐지에도 사용이 될 것으로 생각되고 현재 패치 기반 학습 방법은 매우 높은 정확도를 도출할 수 있도록 하는 학습 방법이며 현재 포장 식품 X-Ray 영상의 해상도는 가로 1000 세로 1024의 해상도를 가지고 있고 YOLOv4의 입력 크기만큼 패치를 생성하였을 때 4개의 패치가 만들어진다.
X-Ray 촬영 영상의 한계
하지만 X-Ray로 촬영되는 영상들은 이보다 더 큰 해상도를 가진 영상들도 많다. 예를 들어 물고기를 촬영한 X-Ray 영상의 해상도는 가로 1900 세 로 2000으로 현재 우리가 사용한 데이터의 약 2배가 넘는 해상도를 가지고 있고 이렇게 큰 해상도를 가진 영상에 대해 패치 기반 학습을 진행할 경우 패치가 훨씬 더 많이 만들어지게 되고 포장 식품에서 이물질을 탐지하는 성능은 보장할 수 있겠지만 예측하는 과정에서 많은 패치 개수만큼 속도가 매우 느려지게 된다는 단점이 있고 현재 YOLOv4의 속도는 약 50 FPS정도로 매우 빠른 속도를 가지고 있지만 많은 패치 개수만큼 속도가 너무 느려지는 것은 매우 곤란하기에 향후에 고해상도 영상을 처리하는 방법에 대한 연구가 필요하다는 제언을 남기며 성능은 유지하면서도 더 빠른 속도를 갖출 수 있도록 하는 연구를 해야 하며 또한 현재 탐지한 이물질들은 돌 유리 금속 조각들이었으나 이물질에는 이보다 더 다양한 이물질들이 존재하며 비닐과 머리카락 등의 이물질들이 있고 우리가 탐지한 이물질들은 이 중에서도 탐지 난이도가 보통 정도이지만 비닐 머리카락과 종이 같은 이물질들은 매우 어려운 탐지 난이도를 자랑하며 본 연구에서는 연구한 방법이 어려운 난이도의 이물질에도 탐지를 잘 수행하는지에 대한 실험이 필요하며 그에 따른 방법들을 연구할 필요가 있다.
* 참조문헌 : 지도 학습 기반 딥러닝을 활용한 포장 식품 X-Ray 영상 속 이물질 탐지 (김강직 2021)