1. 서 론

최근의 영상 처리 분야에서는 딥러닝과 머신러닝 기법이 우수한 성능을 보임에 따라, 영상에 대한 분류, 분석, 검출 등 의 목적을 가지고 다양한 분야에서 활용되고 있다. 그중에서 도 최근 주목받고 있는 분야로는 의료 분야가 있다. 의사의 인력이 점점 부족해지고 기술에 발전에 따라 다양한 의료 영상들이 등장하면서 의료영상을 진단을 보조할 수 있으면서 진단율을 높여줄 수 있는 연구들이 활발해지고 있다[1]. 국내에서는 대표적으로 Vuno의 BoneAge[2], Lunit의 Insight[3] 등과 같은 기계학습 기반의 의료 진단 보조 소프트웨어도 많이 개발되고 있다. 목적에 따라서 컴퓨터단(층)촬영영상(CT: Computed Tomography), 자기공명영상(MR: Magnetic Resonance), X-ray 등 다양한 의료 영상들이 존재하는데, 본 연구에서는 소장 촬영을 목적으로 오랜 시간 동안 방대한 데이터 셋을 가지며, 많은 진단 시간을 필요로 하는 캡슐내시경 영상에 주목하였다.

캡슐내시경은 식도에서 항문까지 긴 위장관을 촬영하기 위한 장비로, 특별한 마취없이 행해질 수 있고 다른 내시경과는 다르게 이물감이나 거부감이 덜하기 때문에 점차 사용량이 늘어나고 있다. 캡슐내시경의 가장 큰 장점은 대장 내시경으로는 판독이 어려운 소장을 촬영할 수 있다는 것이다. 이때 캡슐내시경은 약 8시간에서 10시간의 측정 시간을 가지고 1초에 약 2장의 사진을 찍는다.

캡슐내시경은 식도, 위장, 소장 그리고 대장을 차례로 이동하면서 촬영하게 되며 이들을 위장관 랜드마크라 부른다. 위장관 랜드마크는 위장관 교차점을 기준으로 나뉘게 되며, 식도와 위장의 교차점은 식도 위 경계(식도 위 이음부), 위장과 소장의 교차점은 유문판, 소장과 대장의 교차점은 회맹판막 이라 한다. 의사 혹은 판독관은 위장관 교차점을 기반으로 위장관 랜드마크를 관찰하는 데 영상에서 해당 지점이 환자마다 다르다. Fig. 1은 캡슐내시경 영상의 구성을 간략하게 보여준다.

Fig. 1.

Sequence of Wireless Capsule Endoscopy Video

현재, 캡슐내시경은 다음과 같은 문제점을 지니고 있다. 첫째, 캡슐내시경의 촬영 과정에서 많은 양의 데이터가 쌓이게 되며 이를 판독하는 의사는 보통 1시간에서 2시간의 판독 시간이 필요하다. 캡슐내시경 영상의 데이터가 크기 때문에 판독 시간이 오래 걸리게 되며, 특히 수많은 이미지 중 병변을 가지고 있는 이미지를 찾기 어려워지고, 촬영의 주목적이 소장 촬영이므로 이를 위한 시간이 걸리게 된다.

둘째, 병원 현장에서 캡슐내시경 시술에 어려움을 겪고 있는 정체(retention) 현상이 있다. 정체 현상이란 캡슐이 특정 위치에 정체되어 모든 구간을 통과하지 못하는 현상을 의미 한다. 정체 현상이 발생하면 실시간 추적을 통해 정체 현상을 해결하기 어려운 상황이며, 최악의 경우 소장을 촬영하지 못하고 배터리가 소진되어 촬영에 실패할 수 있다.

이러한 문제점들을 해결하기 위해서 다양한 연구들이 진행되고 있다. 대표적으로 영상의 판독 시간을 줄여주고, 영상 진단을 보조하기 위한 연구들이 있다. 이러한 연구들은 병변을 찾거나, 위장관 랜드마크를 구별하거나, 위장관 교차점을 추정하는 것에 초점을 맞추었다. [4-6]의 연구는 캡슐내시경 영상에서 다양한 병변들을 진단 보조를 목적으로 한 연구들 이며, [7-9]의 연구는 캡슐내시경 영상 내에서의 노이즈 영상처리 및 중복 영상 처리, [10-14]의 연구는 위장관 랜드마크 분류 및 위장관 교차점을 추정하는 연구들이 진행되어왔다. 그러나 위장관 교차점 추정의 경우에는 식도 위 경계에 대해서는 좋은 성능을 보였지만, 회맹판의 경우에는 오차가 큰 문제점을 가지고 있다. 따라서 본 논문에서는 이를 보완하기 위 한 위장관 분류 모델 기반의 교차점 추정 기법을 제안한다.

제안하는 기법은 크게 두 가지 모델로 구성되어 있다. 첫 번째는 위장관 랜드마크 분류기 모델, 두 번째는 분류기의 결과를 이용한 위장관 교차점 추정 모델이다. 위장관 랜드마크 분류기는 이미지의 특성을 학습할 수 있는 CNN 학습모델을 이용하여 캡슐내시경 영상을 위장관 랜드마크 별로 분류한다. 또한, 위장관 교차점 추정은 분류기를 통해 나온 결과를 지수 이동 평균을 이용해서 일정시간 이상한 위장관 랜드마크라고 인식할 경우 인식할 수 있는 위장관 교차점 추정기를 설계한다. 최종적으로, 위장관 랜드마크 분류기의 성능은 무작위로 환자 데이터를 섞은 후 분류기를 학습했을 경우에는 95%의 정확도를 보였고 8-fold 교차 검증 방식을 이용해서 학습했을 경우에는 평균 정확도가 71%를 보였다. 위장관 교차점 추정기는 유문판의 경우 87.5%, 회맹판의 경우 100%의 정확도를 보였다. 기존의 연구들에 비해서 회맹판 인식률이 증가하였으며, 100프레임 이내로 위장관 교차점 의심 구 역을 설정해 초당 10프레임의 속도로 판독을 진행한다면 10초안에 위장관 교차점을 찾아낼 수 있다.

2. 관련 연구

기존 캡슐내시경 관련 연구는 병변 진단 보조, 위장관 랜드마크 분류 그리고 위장관 교차점 추정 등의 연구가 수행되고 있다. 본 장에서는 병변 추출과 위장관 교차점 추정에 대한 기존의 연구를 소개한다.

2.1 캡슐내시경 영상 병변 추출 기법

[4]의 연구에서는 폴립과 종양에 초점을 둔 연구이다. 종양을 검출할 때 RGB 이미지를 HSV 이미지로 변화시킨 후 로그가버 필터를 이용한 후 모폴로지(Morphology) 연산을 이용해서 의심 구역을 탐지하고 해당 구역의 이미지를 다시 RGB 값을 사용하여 SVM(Support Vector Machine)을 사용해서 종양을 검출한다. 폴립 검출 또한 로그 가버(Gabor) 필터를 이용하고 SUSAN 엣지(Edge) 검출을 이용해서 폴립의 후보군을 검출했다. 폴립의 경우에는 민감도 100%, 특이도 67.5%였으며 종양의 경우에는 민감도 75%, 특이도 73.3%의 결과를 보여주었다. 하지만 학습에 사용한 영상 표본들이 약 50장으로 많지 않았으며, 폴립의 경우 SUSAN 엣지 검출을 사용하는데 실시간으로 진단할 수 없다는 단점이 있다. [5]의 연구는 종양을 인식하는 연구이며 LBP(Local Binary Pattern)을 추출한 뒤 다양한 SVM을 이용해서 색공간마다 결과를 비교하였다. [6]의 연구에서는 웨이블릿(Wavelet)과 Emphasis를 이용해서 폴립의 특징을 추출했으며, 약 96%의 정확도를 보였다.

2.2 캡슐내시경 위장관 랜드마크 분류 및 교차점 추정 기법

[10]의 연구에서는 두 개의 CNN 모델과 은닉마크로프 모델을 이용해서 위장관 랜드마크를 분류하였다. 노이즈 영상을 먼저 CNN을 통해서 분류하고, 노이즈 영상을 제외한 영상을 다시 다른 CNN모델을 통해서 위장관 랜드마크를 분류하였다. 14명의 환자 데이터를 이용했으며, 전체적으로 랜드마크 분류기의 성능은 약 88% 정도의 정확도를 보였으며, 노이즈 영상도 77% 제거된 결과를 보여주었다. [12]특허에서는 이미지 센서 뿐만 아니라 pH, 속도, 가속도 센서 등을 사용해서 위장관 교차점을 추정한다. [11]의 연구에서는 MPEG-7을 이용하여 두 가지 특징을 추출하고(Scarable Color, Homogeneous Texture), SVM(Support Vector Machine)과 베이지안 분류기(Bayesian Classifier)를 이용해서 위장관 랜드마크를 분류하고, 위장관 교차점을 추정하였다. 식도에서 위장, 위장에서 소장의 경우에는 중간값 오차가 각 2, 211프레임으로 낮았지만, 소장에서 대장의 경우에는 중간값 오차가 1070프레임으로 높은 수치를 보여주었다.[13, 14]의 논문에서는 캡슐내시경 영상을 작은 이미지로 나누어서 각 구역마다 특징을 추출한 뒤 SVM을 통하여 위장관 교차점을 추정하였다. [10]의 논문과 비슷하게 식도에서 위장, 위장에서 소장의 경우에는 중간값 오차가 각 10, 121 프레임으로 낮았지만, 소장에서 대장의 경우에는 평균 424프레임을 보여주었고 평균값은 2,035프레임의 결과를 보여주었다. 결과를 보면 소장에서 대장의 교차점의 오차는 상당히 컸으며, 교차점 모두 중간값 오차에 비해 평균 오차 값이 높은 값으로, 적절한 위치로 추정하지 못한 환자가 많은 것으로 평가된다.

3. 위장관 랜드마크 분류 기반 교차점 추정 기법

3.1 캡슐내시경 이미지 특징

랜드마크별 이미지의 특징을 살펴보기 위해서 히스토그램을 이용해 분석하였다. Table 1에서는 환자별 R, G, B의 평균값을 보여준다, 위장관 랜드마크는 사람마다 다른 색상을 가지고 있는 것을 알 수 있다. 5번 환자는 다른 환자에 비해서 색공간의 값이 매우 차이 나는 것을 확인할 수 있으며 이는 학습에 영향을 미칠 수 있다고 판단된다. 또한, 대장 사진의 경우에는 환자별로 값이 상이한데, 이는 많은 배설물들이 존재하기 때문이다.

Fig. 2.

Representative Gastrointestinal Landmarks Image (Stomach, Small Intestine, Large Intestine)

Fig.2는 각각 위,소장,대장의 영상이다. 각 영상을 살펴보면 위의 경우에는 다른 두 위장관에 비해 큰주름을 가지고 있고 탄력적인 것처럼 보인다. 소장의 경우에는 영양소를 흡수하기 위해서 융털을 가지고 있다. 이러한 특징으로 인하여 주름의 겉의 부분은 오돌토돌한 특징을 보인다. 대장의 경우에는 주름이 탄력이 없어 보이며, 소장처럼 융털을 가지고 있지 않고 대부분의 영상에 이물질이 껴있는 경우가 많다.

3.2 캡슐내시경 학습 노이즈 영상

캡슐내시경은 음식물이 소화되는 경로를 통과하며 촬영하기 때문에 음식 잔여물 등의 이유로 인해 점막 내부가 제대로 촬영되지 않은 노이즈 영상이 존재할 수 있다. 노란액체로 가득 찬 영상도 있으며, 배설물만 보이는 영상, 캡슐내시경의 통신 불량으로 인하여 생기는 영상, 거품으로 가득 낀 영상 등 많은 영상이 존재하는데, 이는 위장관의 병변을 파악하는 데 있어서 유의미한 정보를 주지 않는다. 노이즈 영상들을 전처리한다면, 판독 시간을 줄일 수 있을 뿐만 아니라 의미 없는 영상을 학습하지 않기 때문에 학습에 있어서 좋은 결과를 낼 수 있다. [5]의 연구에서는 유사도와 엔트로피, 명암도를 이용하여 장시간의 판독을 요구하는 캡슐내시경 영상 중 중복된 영상을 제거하였다. [6]의 연구도 판독 시간을 줄이기 위하여 노이즈영상과 장기 사진을 분류한 후에 은닉마크로프 모델을 이용해서 영상을 분류하여 판독에 있어 쉽게 수행할 수 있게 했다. [7, 8]의 연구에서는 SVM과 K-평균 군집화를 이용하여 판독에 있어서 의미 없는 노이즈 영상을 제거하여 판독시간을 단축시키려 한다.

본 논문에서는 위장관 랜드마크 분류기의 성능을 향상시키기 위해서 노이즈 영상들을 제거하였다. 8명 환자의 데이터를 확인하여 과도하게 거품이 끼거나 잘 보이지 않는 영상들을 제거하여 데이터 셋을 만들었다. 4.2절에서는 노이즈가 학습에 어느 정도의 영향을 끼치는지 노이즈가 있는 데이터셋과 없는 데이터 셋의 학습을 통해서 비교한다.

3.3 위장관 랜드마크 분류기 설계

본 논문에서는 위장관 교차점 추정을 위해, Fig. 3과 같은 모델을 제안한다. Fig. 3의 전반부(CNN 분류기)는 위장관 교차점 판독에 앞서 먼저 위장관 랜드마크를 분류한다. 5개의 합성곱층과 2개의 풀링 층으로 구성하였으며 모델의 상세한 사항은 Table 2에 명시되어 있다. 본 논문에서는 이와 같은 모델 구조를 기반으로 학습을 수행하였으며, 추가적으로 FC1층에서 많은 변수로 인해 분류기가 훈련 데이터에 편향될 수 있기 때문에 이를 해결하기 위해 FC1 층에 모델을 학습시킬 때는 25%의 dropout을 적용했다. 실험에서는 동일하게 설계된 모델에서 노이즈 영상에 유무에 따른 데이터 셋의 결과를 비교하며, 나온 결과 값을 이용하여 위장관 교차점을 추정한다.

Fig. 3.

Sequence of Estimating Gastrointestinal Tract Junction

3.4 위장관 교차점을 탐색을 위한 필터 설계

3.3절에서 설계한 모델을 훈련 시킨 뒤 나오는 결괏값을 이용하여 위장관 교차점을 추정하는 필터를 설계한다. 먼저 CNN 분류기의 결과값을 정형화하는 과정이 필요한데, 결괏 값은 Equation (1)에 따라 결정할 수 있도록 하였다.

[TeX:] $$$\mathrm{GL}(\mathrm{t})$$$는 위장관 랜드마크(Gastrointestinal Landmark)를 의미하며, 소프트맥스를 통해서 0∼2의 정숫값이 나오게되며 각각 위장, 소장, 대장의 이미지를 의미한다. 각 환자의 시계열 이미지를 분류기를 통해서 나온 이상적인 결과는 Fig.4와 같다. 그림과 같이 각 교차점을 기준으로 위장관 랜드마크가 변화하는 경우가 이상적인 결과이다.

Fig. 4.

Ldeal Result from CNN Classifier on a Patient

Fig. 5.

Results from Several Patients Through CNN Classifier

하지만 분류기의 성능에 따라 잘못 판단하는 경우가 나오게 되며, 이를 고려하기 위해서 저역통과필터중 하나인 지수이동평균(Exponential Moving Average) 필터를 사용하였다. 사용한 필터의 식은 Equation (2)와 같으며 가중치 값을 조정하여 [TeX:] $$$\mathrm{GL}(\mathrm{t})$$$의 값과 과거의 값들의 가중치를 조정할 수 있다.

위장관 교차점을 인식하는 과정은 다음과 같다. 먼저, [TeX:] $$\mathrm{F}(\mathrm{t})$$의 값이 일정 기준 값(Threshold)을 처음 넘은 시점을 각 환자별로 저장해 놓는다. 각 환자별로 설정한 기준 값을 처음 넘었을 경우 해당 시점을 위장관 교차점 의심 구역으로 저장해 놓는다. 위장에서 소장으로 넘어가는 기준 값을 T 라고 하면 소장에서 대장으로 넘어가는 기준 값은 (T+1)이다. 이에 대한 설명은 Fig. 6에 설명되어 있다.

Fig. 6.

Algorithm for Deciding the Suspected Transition Point

4. 실험 결과

4.1 실험 환경

총 8명 환자의 데이터로 노이즈를 포함하면 위장 20,175장, 소장 114,046장, 대장 48,884장의 영상을 이용했다. 데이터를 무작위로 샘플링하는 방식과 7명의 데이터를 학습에, 1명의 데이터를 검증에 활용하는 교차 검증 방식을 수행하였으며, 가장 적은 데이터를 기준으로 1:1:1 비율로 맞춰 학습을 진행했다.

4.2 위장관 랜드마크 분류기 검증 결과

4.2절에서는 설계된 CNN 기반의 랜드마크 분류기의 성능을 검증한다. 검증 방식은 크게 두 가지로, 랜덤샘플링 기반의 학습 모델 검증과 환자 별 교차 검증이 있다. 먼저, Table 3은 랜덤샘플링 기반의 학습 모델 검증 결과이다. 두 결과를 비교하면 노이즈의 유무에 따라 모델의 정확도가 약 2% 증가한 것을 볼 수 있다. 노이즈 영상이 삭제되면서 학습 성능이 올라간 것을 확인할 수 있다. 하지만 이 경우 학습 모델이 데이터 셋에 과적합 되어 성능이 우수하게 나올 수 있기 때문에 다른 검증 방식을 진행하였다.

Table 4, 5는 교차검증(CV, Cross Validation)을 진행했을 때의 결과이며 각각 학습 노이즈 영상을 포함하고 학습한 결과와 제거한 후 학습한 결과이다. 1, 3, 5 환자의 경우에는 정확도가 매우 떨어지고, 나머지 환자의 경우에는 준수한 정확도가 나왔다. 이 결과를 보아 환자마다 데이터의 차이가 심하다는 것을 알 수 있고, 해당 환자의 특징은 다른 환자에게서 나타나지 않았다는 의미로 받아들여진다. 또한 노이즈를 제거한 후에는 1, 2, 4번의 환자의 경우에는 정확도가 증가하였고, 7번 환자의 경우에서만 정확도가 하락하였다. 랜덤 샘플링 모델의 정확도와 환자별 8-fold 교차 검증의 큰 정확도 차이를 개선하기 위해서는 각 환자와 비슷한 데이터의 환자가 존재해야 하는데 이를 해결하기 위해서는 많은 환자, 증상이 비슷한 환자의 데이터를 수집해서 학습을 시킨다면 차이를 개선할 수 있을 것으로 판단된다.

4.3 위장관 교차점 추정

위장관 교차점 추정에 사용되는 모델은 8-fold 모델은 결과가 상이하기 때문에, 노이즈를 제외하고 랜덤샘플링을 통해서 학습한 모델을 사용하였다. Fig. 5는 Equation(1)의 결과를 통해서 얻은 일부 환자의 데이터이다. X축은 프레임, 빨간 수직선은 실제 위장관 교차점을 의미한다. Table 6은 가중치 값은 0.01, 기준값은 0.85로 설정한 후의 결과이다. 오차의 값은 3.4절에서 제안한 방식을 이용해서 얻은 값과 실제 위장관 교차점의 프레임 값의 차이이다. Table 6을 보면 2번 5번 환자가 유문판의 오차가 큰 것을 알 수 있다. 8명의 환자 모두의 오차 값의 평균은 유문판의 경우 61이며, 회맹막판의 경우에는 47이다. 유문판의 평균 오차가 큰 이유로 는 2, 5번 환자의 오차가 크기 때문이다.

위장관 교차점 의심 구역을 지정하기 위해서, 환자마다 저장한 위장관 교차점 의심 구역의 값과 실제 위장관 교차점의 차이 값을 얻고, 모든 환자에 대해 차이 값의 평균을 얻는다. 모델을 평가할 때에는 Equation (3)을 이용한다.

Predict는 환자마다 저장한 값이고, Suspected area는 최종적인 위장관 교차점 의심 구역이다. 심 구역 안에 실제 위장관 교차점이 들어있다면 성공적으로 예측한 것으로 한다. 이렇게 얻은 오차의 평균값을 Equation (3)을 통해서 의심 구역을 확인해 보면 5번 환자의 경우에는 의심 구역 안에 들어오는 것을 확인할 수 있었다. Fig. 7은 환자들의 데이터를 위장관 교차점 의심 구역을 표시한 것이다. 각 환자의 첫 번째 그래프는 지수이동평균을 거친 값이며, 두 번째와 세 번째 그래프는 위장관 교차점 구역의 값을 확대하여 보여준다. 초록색 구역은 교차점 의심 구역, 빨간색 수직선은 실제 위장관 교차점 구역을 표시했다. 2번 환자는 유문판의 경우에는 실제 위장관 교차점이 의심 구역과 오차 8프레임을 보였다. 유문판의 경우에는 8명중 7명의 환자는 모두 의심 구역 안에 실제 교차점이 있었으며 회맹판은 8명의 환자 모두 의심 구역 안에 실제 교차점이 있다는 것을 확인할 수 있었다.

Fig. 7.

Result from Gastrointestinal Tract Junction Estimator

5. 평 가

위장관 랜드마크 분류기의 성능의 경우에는 노이즈의 유무에 있어 없는 경우의 정확도가 더욱 높았으며, 8명의 환자 데이터를 무작위로 학습했을 때와 8-fold 방식을 이용해서 모델을 평가했을 때 매우 상이한 결과를 볼 수 있었다. 원인을 생각해보면 3.1절에서 분석했듯이 환자마다 데이터의 분포가 상이한데 이를 간과하고 8명의 데이터로 학습을 진행하여 낮은 정확도를 가진 것으로 추측된다. 이는 표본을 늘리면 해결될 수 있다고 판단된다.

또한, 위장관 교차점을 추정할 때 쓰인 모델은 환자의 데이터를 무작위로 섞은 후 노이즈를 제거한 분류기 모델을 사용하였다. 유문판의 경우에는 8명의 환자중 7명의 환자가 의심 구역 안에 들어왔으며, 회맹판의 경우에는 8명의 환자 모 두 의심 구역 안에 들어온 것을 확인할 수 있었다. Table 7에서는 기존 연구 [11, 13, 14]와 에러값을 비교한 표이다. 회맹판의 중간값 에러보다 확연히 더 적은 오차를 가지며, 평균 오차 또한 더 적은 값을 가진다. 하지만 이는 8명의 환자의 데이터를 사용했다는 점에서 해당 모델이 과적합일 가능성이 있을 수 있기 때문에 이를 개선하기 위해서 더 많은 환자의 데이터를 활용해 모델의 신빙성을 높일 수 있다고 판단된다.

6. 결 론

본 연구에서 8명의 데이터를 이용해서 캡슐내시경 영상에서 CNN 랜드마크 분류기를 이용한 위장관 교차점 추정 방법을 제안하였다. 위장관 랜드마크 분류기의 경우 무작위로 샘플링한 후 학습했을 경우에는 95%, 8-fold 방식을 사용해서 학습했을 때에는 평균 71%를 보였다. 위장관 교차점 의심 구역의 프레임은 100프레임으로 판독관이 초당 10프레임의 속도로 영상을 판독한다고 가정하면 판독관은 약 10초안에 위장관 교차점을 찾을 수 있다고 여겨진다. 이번 실험을 근거로 더많은 환자의 데이터를 이용하여 랜드마크 분류기 및 위장 대부분의 환자에게 적용될 수 있는 모델을 학습시키고, 이를 이용해서 일반성과 범용성을 지닌 위장관 위치 추적 모델을 개발 및 고도화할 예정이다.