1. 서론

최근 사물인터넷(IoT)의 기술이 빠르게 발전하면서 자율 주행, 증강/가상현실, 이미지 인식 등 고성능의 컴퓨팅을 요 구하는 애플리케이션이 급증하고 있다[1]. 고성능의 애플리케 이션은 대개 시간에 민감하고 계산 집약적이며, 이로 인하여 많은 양의 컴퓨팅 자원과 높은 QoS(Quality of Service) 보장이 요구된다. 이런 고성능의 서비스를 단말에서 제공하기는 어렵기 때문에 대게 충분한 컴퓨팅 자원이 있는 클라우드 (Cloud) 서버로 오프로드(Offload) 한다.

그러나 기존 클라우드 컴퓨팅은 데이터 연산과 처리 모두 중앙에 집중되어 있기 때문에 기하급수적으로 증가하는 데이 터들을 전송하고 처리하는 데 긴 응답 시간과 정체 현상이 발 생할 수 있다. 이로 인해 상당한 지연시간이 발생하므로 QoS 요구 사항을 만족시키는 것이 점점 어려워진다.

그래서 이 문제를 해결하기 위해 멀티 액세스 엣지 컴퓨팅 (Multi-access Edge Computing, MEC)이 차세대 기술로 부상했다[2]. 중앙 집중식 클라우드 서버에 비해, MEC 서버 는 사람 및 사물과 근접한 네트워크 종단에 컴퓨팅 자원을 분 산 배치한다. 사용자(단말)와 지리적으로 근접하기 때문에 오 프로드된 작업을 바로 처리하고, 빠른 연산이 가능하기 때문에 QoS 요구사항 만족도가 증가할 뿐만 아니라 작업의신뢰성을 향상시킬 수 있다.

MEC 시스템에서 다뤄야 할 문제 중 하나는 이동성이다. 사용자가 현재 서비스 중인 MEC 서버의 영역 밖으로 이동하 였을 때 시스템은 현재 MEC서버에서 이동 대상인 MEC서버로 태스크 마이그레이션(migration)을 수행해야 한다. 특히, 이동성이 많은 환경에서 효율적인 태스크 마이그레이션은 QoS 요구 사항 만족에 아주 중요한 고려사항이다. 제한적인 서비스 영역을 가지는 MEC 서버들 사이에서 사용자의 높은 이동성은 서비스 중단과 QoS 저하를 초래하기 때문이다. 그래서 이동성에 맞게 MEC 서버 간 마이그레이션 진행 여부 와 대상을 결정하는 태스크 마이그레이션이 중요하다[3].

사용자들의 높은 이동성으로 인해 특정 MEC 서버만 혼잡 해지는 경우가 발생할 수 있으며, 이는 MEC 서버들의 로드 불균형을 초래한다. MEC 서버들의 로드 불균형은 MEC 시스템의 처리량이 낮아질 뿐만 아니라 MEC 서버들의 큐잉 지연시간이 길어져 낮은 QoS를 초래할 수 있다.

그래서 이러한 문제는 MEC서버들 간 로드밸런싱을 통해 특정 MEC 서버만 혼잡해지는 경우를 줄임으로써 시스템 의 처리량을 향상시켜 서비스의 QoS 만족도도 향상시킬 수 있다[4]. 그러나 마이그레이션을 진행하는 데 필요한 시간과 컴퓨팅 자원에 대한 추가 비용이 필요하다. 따라서 본 논문에 서는 이동성이 높은 차량 엣지 컴퓨팅(Vehicular Edge Computing, VEC) 환경에서 차량 엣지 컴퓨팅 서버 (VECS, VEC Server)들의 큐잉 지연시간을 이용한 로드 밸런싱을 하면서 마이그레이션 비용을 최소화하기 위한 효율적인 태스크 마이그레이션 전략을 제안한다. 그리고 본 논문은 협력적인 VECS 그룹 환경을 채택하여 그룹 내 VECS들과 협업할 수 있는 환경을 가정하였다.

본논문의구성은다음과같다.2장에서는 관련연구에 대해 소개하고, 3장에서는 시스템 모델에 대해 설명한다. 4장에서는 본 논문에서 제안하는 알고리즘을, 5장에서는 실험 및 결과 분석을, 마지막으로 6장에서는 결론 및 향후 연구를 다룬다.

2. 관련 연구

태스크 마이그레이션은 사용자의 높은 이동성과 고성능을 요구하는 애플리케이션으로 인해 발생하는 QoS 저하와 길어 지는 지연시간 문제를 효율적으로 해결할 수 있는 해결책으 로 인식되고 있다. 높은 이동성과 제한적인 서비스 영역을 가 지는 MEC 서버로 인해 태스크 마이그레이션에 관한 연구가 많이 진행되고 있다.

[5]에서는 시스템의 최대 이득을 얻기 위해 Q-learning을 기반으로 한 태스크 오프로딩 및 마이그레이션 기법을 다루 었다. 태스크의 속성, 사용자의 이동성 및 사용자의 셀 체류시간을 기반으로 오프로딩 및 마이그레이션 결정하는 기법을 제안하였다. 이 외에도 기존의 핸드오버 기법을 사용하며, 실 시간 서비스를 위해 QoS 기반의 마이그레이션 여부를 결정 하는 기법[6] 또한 제안되었다. [5,6]은 마이그레이션 대상으 로는 사용자의 이동 대상인 MEC 서버이며, 해당 MEC 서버 로 마이그레이션 진행 여부만을 결정하는 기법들이다.

마이그레이션 진행 여부뿐만 아니라 대상도 결정하는 마이 그레이션 기법도 연구되고 있다. [7]에서는 차량의 이동성과 지연 제약조건을 고려하면서 전체 시스템 비용을 최소화하기 위해 최적의 MEC를 선택하는 기법이다. 이때, 차량의 위치 에서 근접한 모든 MEC 서버가 대상이 된다. 본 논문에서는 협력적인 VECS 그룹 내 모든 VECS가 마이그레이션 대상이 되지만, [7]은 근접한 서버만 대상이 되는 점이 차이다. [8]에 서는 마이그레이션을 진행시 사용하는 통신 비용과 마이그레 이션 비용을 최소화하기 위한 마이그레이션 여부 및 대상을 결정하는 기법을 제안하였다. 이는 마이그레이션 비용을 기 반으로 마이그레이션 여부 및 대상을 결정하였지만, 본 논문 은 마이그레이션 비용뿐만 아니라 서버의 상태도 고려한 마 이그레이션 기법을 제안하였다.

높은 이동성 또는 많은 사용자로 인해 MEC 서버들 사이 의로드불균형이발생할수있다.이는QoS저하와연산지 연시간을 초래한다. 그래서 현재 로드 밸런싱을 고려한 오프 로딩 및 마이그레이션 기법들이 연구되고 있다.

[9]에서는 단말과 MEC 서버의 로드 밸런싱을 고려한 오프 로딩 기법을 제안하였다. 태스크의 지연시간을 최소화하기 위하여 MEC 서버의 컴퓨팅 자원을 활용하여 로드 밸런싱을 고려하였다. 그리고 [10]에서는 유틸리티 함수를 이용하여 로 드 밸런싱을 고려한 오프로딩 기법이 제안되었다. 단말과 MEC 서버에서의 서비스 지연시간을 이용하여 QoS 기반의 유틸리티 함수를 설계하여 에너지 소비를 최소화하는 기법을 제안하였다. [9,10]은 단말과 MEC 서버 사이의 로드 밸런싱 만 고려하고, MEC 서버들 사이는 고려하지 않았다는 한계점 이 있다. 또한, [11]은 서버의 로드와 서버의 네트워크 로드 의 편차를 이용하여 로드 밸런싱을 고려하여 최적의 서버로 오프로딩하는 기법을 제안하였다. [12]는 VECS 서버들 간의 워크로드의 편차를 이용하여 로드 밸런싱을 고려한 태스크 마이그레이션 기법을 제안하였다. [11]은 자원의 활용률로, [12]는 태스크의 연산 작업량으로 서버의 로드를 정의하였으 며, 본 논문은 서버의 큐잉 지연시간으로 정의하였다. VECS 들의 로드 차이를 이용하여 로드 밸런싱을 고려했다는 점에 서는같지만,본논문은로드밸런싱뿐만아니라태스크가 지연제약 조건에 만족함에도 불구하고 발생할 수 있는 불필 요한 마이그레이션을 방지하고자 마이그레이션 비용에 대해 서도 고려했다는 점에서 차이가 있다.

본 연구에서는 차량 엣지 컴퓨팅 환경에서 차량의 이동성에 맞게 강화 학습 기법인 Deep Q-learning(DQN)[13]을 적용

한 태스크 마이그레이션 기법을 제안한다. 본 기법은 VECS들 의 로드 밸런싱과 마이그레이션 비용을 고려하여 서비스의 QoS 만족도와 시스템의 처리량을 향상시키고자 제안하였다.

3. 시스템 모델

Fig. 1처럼 본 논문에서 제안된 시스템은 M개의 VECS가 각 RSU(Road Side Unit)에 배치되었으며, 이는 하나의 협력적인 VECS 그룹을 구성하고 있다고 가정한다. VECS들은 서로 백홀(Backhaul) 채널을 통해 연결되며, 각 VECS들은 [TeX:] $$M / M / 1$$ 큐를 모델화했다. 그리고 각 VECS들은 VECS 그룹 컨트롤러와 연결되어 있다. VECS 컨트롤러는 차량과 그룹 내 VECS들에 대한 정보를 모두 수집하며, 마이그레이션 여부 및 대상에 관한 결정을 한다. 마이그레이션 결정 시점은 기존의 핸드오버 기법을 사용하여, 차량이 인접한 VECS들 간 서비스 커버리지가 중첩되어 있는 곳에 위치하게 될 때 이뤄진다. 개의 차량들이 도로를 주행하며, 차량에서 발생된 태스크는 해당하는 VECS로 오프로드 한다. 차량에서 발생한 태스크 [TeX:] $$n \in N$$은 [TeX:] $$s_{n}=\left\{i_{n}, \lambda_{n}, T_{n}^{\max }\right\}$$로 정의되며, [TeX:] $$i_{n}$$는 태스크의 사이즈, [TeX:] $$\lambda_{n}$$는 태스크를 처리하기 위해 요구되는 CPU 사이클 이고, [TeX:] $$T_{n}^{\max }$$는 태스크의 최대 허용 가능한 지연시간이다. 각 차량은 하나의 태스크를 발생시키며, 태스크는 하나의 VECS 에서만 수행 할 수있다. 차량 n과 VESC [TeX:] $$m \in M$$사이의 전송 속도는 다음과 같다.

[TeX:] $$B_{n}$$는 전송 대역폭, [TeX:] $$P_{n}$$는 차량의 송신전력 그리고 [TeX:] $$\sigma^{2}$$는 잡음이다. [TeX:] $$H_{n, m}$$는 차량 n과 VECS m사이의 채널 이득이다. 차량 n의 태스크가 VECS m으로 오프로드 될 때, 전송 지연시 간은 다음과 같다.

태스크의 연산 결과는 태스크의 입력 크기보다 훨씬 작아 다운로드 지연시간은 고려하지 않고 업로드 지연시간만 고려 한다. 만약 차량 n이 VECS m에서 태스크를 수행한다면, VECS m의 큐잉 지연시간은 다음과 같다.

여기서, [TeX:] $$C_{m}$$은 VECS m의 컴퓨팅 능력이고, [TeX:] $$x_{n, m}$$는 차량 n의 태스크가 VECS m에서 수행 중인지의 여부를 나타내는 이진 변수이다. VECS m으로 오프로드된 차량 n의 태스크를 수행하는데 소요되는 지연시간은 다음과 같다.

여기서, [TeX:] $$T_{m}$$은 태스크 n이 VECS m에 배정된 시간부터 큐에 서 대기하는 시간이고, [TeX:] $$\lambda_{n} / C_{m}$$은 태스크 n이 VECS m에서 연산 되는 시간이다. 마이그레이션 지연시간은 백홀 채널을 통해 VECS m에서 VECS [TeX:] $$m^{\prime}$$로 전송되는 지연시간이며, 다음과 같다.

여기서 [TeX:] $$R_{b}$$는 백홀 채널의 전송 속도이다. 따라서 태스크의 총 지연시간은 다음과 같다.

본 논문에서의 목표는 VECS들 사이의 큐잉 지연시간의 차이를 최소화하면서 QoS 만족도와 시스템의 처리량을 향상 시키는 것이다. VECS들 사이 태스크가 얼마나 적절하게 분 산되었는지 측정하기 위해 각 VECS들의 큐잉 지연시간의 차 이를 이용한다.

마이그레이션이 진행될 때 VECS m에서 VECS [TeX:] $$m^{\prime}$$으로 연산 복제 비용과 VECS m의자원릴리즈와같은추가적인비 용을 발생된다[14]. 그래서 차량 n의 마이그레이션 비용은 태스크의 사이즈에 따라 결정되며, 다음과 같다.

여기서 [TeX:] $$\mu$$는 양의 계수이다. MG는 모든 차량들의 태스크들의 [TeX:] $$M G_{n}$$의 총합이며, 다음과 같다.

본 논문의 목표는 큐잉 지연시간을 고려한 로드 밸런싱을 최적화시킴으로써 전체적인 QoS를 향상시키는 것이다. 그리 고 마이그레이션 비용을 최소화하는 것이다. 두 목표 각각 0-1 사이의 값으로 정규화하고, 가중치 [TeX:] $$w \in[0,1]$$를 사용하여 가중치 합계로 정의된다. 결과적으로, 식은 다음과 같이 표현 가능하다.

제약조건 (10a)는 차량에서 발생한 태스크의 총 지연시간 (6)이 태스크의 허용 가능한 최대 지연시간[TeX:] $$\left(T_{n}^{\max }\right)$$을 만족해 야 한다. 차량과 VECS의 개수가 증가할수록 문제의 크기가 점점 커진다는 문제점이 있다. 기존의 최적화 기법 대신, 본 논문은 강화 학습 기법인 DQN을 사용하여 이 문제를 해결 하고자 한다.

4. 제안하는 알고리즘

본 논문에서는 강화 학습인 DQN을 기반으로 마이그레이션 여부 및 대상을 결정하는 알고리즘을 제안한다. VECS 컨트롤러는 에이전트 역할을 한다. VECS들뿐만 아니라 차량들의 정보들을 관찰하여 서비스의 QoS를 만족하면서 전체 시스템의 처리량을 높이고 마이그레이션 비용을 최소화하는 마이그레이션 결정을 내릴 수 있다.

Q-learning은 Q 함수(Q-function)을 사용하여 최적의 행동을 선택하는 강화 학습의 일종으로 상태(State), 행동(Action) 그리고 보상(Reward)로 구성되어 있다. 최적의 정책을 찾기 위해 Q 테이블(Q-table)에 저장된 Q 값(Q value)이 가장 큰 행동을 선택하는 Q 함수는 다음과 같다.

현재 상태[TeX:] $$(s)$$, 행동[TeX:] $$(a)$$, 보상(r) 그리고 새로운 상태[TeX:] $$\left(s^{\prime}\right)$$와 행동[TeX:] $$\left(a^{\prime}\right)$$에 대한 최댓값을 구한다. [TeX:] $$\alpha$$는 학습률(Learning rate)이고, [TeX:] $$\gamma$$는 할인율(Discount factor)이다. 최적의 Q 함 수는 다음과 같이 표현 가능하다.

그러나 상태, 행동 공간의 차원이 높은 경우 Q-learning 의 효율성이 저하된다. 이 문제를 해결하기 위해, 신경망을 활용하여 각 활동의 보상을 예측하는 DQN 기반의 마이그레

이션 기법을 제안한다. DQN은 상태 공간이 크고 복잡한고 차원 환경에 더욱 적합하다.

DQN은 신경망을 사용하여 [TeX:] $$Q^{*}(s, a)$$를 학습시킨다. DQN의 Q함수는 [TeX:] $$Q^{*}(s, a ; \theta)$$로 정의되며, [TeX:] $$\theta$$는 메인 DQN의 가중치를 의미한다. 네트워크는 손실함수 [TeX:] $$\operatorname{Loss}(\theta)$$을 최소화하면서 학습되며, 다음과 같다.

여기서 [TeX:] $$y=r+\gamma \max _{a^{\prime}} Q\left(s^{\prime}, a^{\prime} ; \theta^{\prime}\right)$$는 타겟 Q값이고, [TeX:] $$\theta^{\prime}$$는 [TeX:] $$\theta$$를 주기적으로 갱신한다. DQN은 다음 Table 1과 같다.

본 논문에서 정의한 상태[TeX:] $$(s)$$, 행동[TeX:] $$(a)$$ 그리고 보상[TeX:] $$(r)$$의 정의는 다음과 같다. VECS들의 큐잉 지연시간을 이용하여 로드 밸런싱을 최적으로 하기 위해 차량이 발생한 태스크 정보와 해당 태스크를 현재 수행 중인[TeX:] $$\operatorname{VECS}\left(l_{n}\right)$$ 그리고 마이그레이션 결정 여부에 대한 이진 정보[TeX:] $$\left(o_{n}\right)$$를 반영해야 한다. 따라서 상태는 [TeX:] $$S=\left\{i_{n}, \lambda_{n}, l_{n}, o_{n}\right\}$$으로 표현 가능하다.

VECS 컨트롤러는 현재 상태[TeX:] $$(s)$$를 기반으로 행동[TeX:] $$(a)$$을 선택하고, 해당 행동을 취한다. 행동은 마이그레이션 진행 여부 및 대상을 결정할 수 있도록 정의하였다. 행동[TeX:] $$A=\left\{a_{1}, a_{2}, \ldots, a_{M}\right\}$$으로 표현 가능하다. 만약 [TeX:] $$a_{n}$$이 지금 서비스 받고 있는 [TeX:] $$\operatorname{VECS}\left(l_{n}\right)$$와 같다면 마이그레이션을 진행하지 않고, 다르다면 [TeX:] $$a_{n}$$으로 마이그레이션을 진행한다.

VECS 컨트롤러는 행동[TeX:] $$(a)$$을 취함으로써 보상[TeX:] $$(r)$$을 얻는다. 본 논문에서 제안한 알고리즘의 목표인 QoS 만족도와 시스템 처리량을 향상시키기 위해 식 (10)처럼 VECS들의 큐잉 지연시 간 차이와 마이그레이션 비용을 최소화하는 방향으로 학습을 진 행한다. 따라서 부정적인 보상으로 [TeX:] $$r=-\left(w Q D^{d i f f}+(1-w) M G\right)$$와 같이 표현 가능하다.

5. 실험 및 결과 분석

제안한 마이그레이션 알고리즘에 대한 성능을 측정하기 위해 실험을 진행하였다. 총 5개의 RSU에 각 VECS가 배치된 환경을 고려하였다. RSU의 반경은 250m이고, 각 VECS의 컴퓨팅 능력은 10GHZ이다. 차량은 푸아송 분포를 이용하여 발생시켰다. 태스크의 사이즈 [TeX:] $$i_{n}$$는 [100,150]MB, 이에 요구 되는 CPU 사이클 [TeX:] $$\lambda_{n}$$는 [40,75]Gycles 범위 내에서 무작위 로 발생시켰고, [TeX:] $$T_{n}^{\mathrm{max}}$$는 60s다. [TeX:] $$B_{n}$$은 10MHZ, [TeX:] $$P_{n}$$은 1W이 고, [TeX:] $$\sigma^{2}$$은 [TeX:] $$10^{-11} \mathrm{~mW}$$ 그리고 [TeX:] $$R_{b}$$는 20MHZ이다. [TeX:] $$\mu$$는 0.002, [TeX:] $$\omega$$는 0.5 그리고 타임 슬롯의 길이는 5s로 설정하였다[15]. 본 실험은 샌프란시스코의 이동성 데이터를 사용하였다[16]. DQN을 위해 [TeX:] $$\alpha$$는 0.01, [TeX:] $$\gamma$$는 0.9, [TeX:] $$\epsilon$$는 0.9로 설정하였다. 리플레이 메모리의 용량은 500, 미니배치의 사이즈는 32로 설정하였다.

본 논문에서 제안한 DQN 기반의 마이그레이션 기법인 Proposed의 성능 비교를 위해 No Migration, Nearest, Random, Compare1 그리고 Compare2 총 5가지 기법을 비교하였다. No Migration은 차량의 이동과 상관없이 처음에 오프로드된 VECS에서 태스크가 완료될 때까지 마이그레이션을 진행하지 않는 기법이다. Nearest는 차량의 이동에 따라 지리적으로 가장 근접한 VECS로 마이그레이션을 항상 진행하는 기법이다. Random은 마이그레이션 진행 여부와 대상을 랜덤으로 결정하는 기법이다. Compare1은 VECS들 의 워크 로드의 편차를 이용한 로드밸런싱을 고려한 마이그 레이션 결정 기법[10]이다. Compare2는 마이그레이션 진행 시 사용되는 네트워크에 대한 비용과 마이그레이션 비용을 고려하여 마이그레이션을 결정하는 기법이다[6]

Fig.2는 강화 학습 모델 훈련 성능 평가에 관한 실험이다. 강화 학습이 적절히 작동하였는지 보기 위해 에피소드에 따 른 에피소드 리워드를 분석하였다. 본 논문에서 정의한 리워 드는 부정적인 보상이므로 리워드 값이 작을수록 좋다. DQN 모델을 200번 동안 학습하였으며, 에피소드가 반복될수록 본 논문의 목표인 리워드가 감소하였으며, 리워드의 값은 에피

소드 150 이후 안정화되는 것을 볼 수 있다. 이 의미는 제안한 기법의 강화 학습 정책이 최적으로 작동한다는 것을 보여 준다.

Fig. 3과 4는 차량의 도착률과 속도에 따른 VECS들의 큐잉 지연시간들에 대한 차이를 보여주는 실험이다. Fig. 3과 4를 보듯이 마이그레이션을 진행하는 것이 진행하지 않는 경우보다 VECS들의 큐잉 지연시간의 차이가 작다는 것을 볼 수 있다. 이는 특정 VECS로 치우치는 경향이 덜 한다는 의미로 로드 밸런싱이 적절하게 되었다는 것이다.

Fig. 3에서 Proposed 기법을 No Migration, Nearest, 그리고 Random 기법과 비교하였을 때 약 47%, 30% 그리고 38%만큼 차이가 난다. No Migration이 성능이 가장 안 좋은 이유는 푸아송 분포에 따라 차량을 각 VECS 반경에 분포했기 때문에 특정 VECS로 몰리는 경향이 더 크기 때문이다. Nearest는 마이그레이션을 항상 진행하므로 No Migration 보다는 성능이 좋지만, Proposed보다는 안 좋다. 가장 가까운 곳으로 마이그레이션을 진행하기 때문에 특정 VECS로 몰리는 경우도 발생하기 때문이다. Random은 마이그레이션 여부를 랜덤으로 정하기 때문에 마이그레이션을 진행하는 경우도 있어 No Migration보다는 성능이 좋지만, 진행하지 않는 경우도 있고 대상을 랜덤으로 정하기 때문에 Nearest보다는 성능이 안 좋다. 그리고 차량의 도착률이 증가할수록 큐잉 지연시간의 차이가 커지다가 도착률이 높아진 경우에는 VECS들 대부분 꽉차있기 때문에 차이가 다시 줄어드는 것을 확인할 수 있다.

Fig. 4에서는 Proposed 기법을 No Migration, Nearest, 그리고 Random 기법과 비교하였을 때 약 46%, 31%, 39%만 큼 차이가 난다. 차량의 속도가 높다는 것은 그만큼 차량의 이동성이 높다는 것이 의미하며, 이는 마이그레이션을 결정 할 기회가 많다는 것을 의미한다. 그렇기 때문에 VECS 큐잉 지연시간을 고려하여 로드 밸런싱을 할 기회가 많아진다. 그래서 속도가 높아질수록 큐잉 지연시간의 차이가 증가하는 것을 볼 수 있다.

Fig. 5와 6에서는 차량의 도착률과 속도에 따른 서비스 거절률(Blocking)을 보여주는 실험이다. 여기서, 서비스 거절률은 큐가 꽉 차서 거절되는 수를 의미하며, 이를 거절된 수를 전체 태스크 수로 나누어 정의하였다. Fig. 5에서 Proposed 기법을 No Migration, Nearest, 그리고 Random 기법과 비교 하였을 때 약 49%, 38%, 43%만큼 차이가 났으며, Compare1과 Compare2 기법과 비교하였을 때, 약 17%, 31%만큼 더 좋은 성능을 보인다. Fig. 6에서는 Proposed 기법을 No Migration, Nearest, Random, Compare1 그리고 Compare2 기법과 비교하였을 때, 약 48%, 34%, 41%, 14% 그리고 30% 만큼 성능 차이가 난다.

No Migration은 특정 VECS로 몰리는 경우가 많아 거절률이 높고, 그다음으로는 Random이 높다. 그 이유로는 마이그레이션을 진행하지 않는 경우도 있으며, 대상도 랜덤으로 선정하기 때문에 이미 거절률이 높은 VECS를 선택하는 경우도 많으며, 특정 VECS만 선택하는 경우도 발생하기 때문이다. 이에 비하면 근접한 VECS로 진행하는 Nearest도 한쪽으로 치우치는 경향이 있지만 이는 차량의 경로에 따라 달라지는 경우도 있기 때문에 No Migration, Random보다는 성능이 좋다. VECS의 워크로드 편차를 이용하여 VECS의 상태를 고려하여 마이그레이션 여부와 대상을 결정했기 때문에 Compare1이 Proposed 다음으로 성능이 가장 좋다. 그

리고 VECS의 상태보다는 마이그레이션 진행시 드는 네트워크 비용과 마이그레이션 비용을 고려한 Compare2가 그다음으로 성능이 좋다. Compare2는 VECS들의 로드 밸런싱을 고려하기보다는 마이그레이션과 네트워크 비용에 더 치중했기 때문에 Proposed와 Compare1과 성능 차이가 난다.

Fig. 7과 8에서는 차량의 도착률과 속도에 따른 QoS 만족도를 보여주는 실험이다. 여기서 QoS 만족도는 지연시간 내 완료한 태스크 수를 전체 태스크 수로 나누어 정의하였다. Fig. 7에서 Proposed 기법이 No Migration, Nearest,

Random, Compare1 그리고 Compare2 기법과 비교하였을 때, 약 32%, 23%, 25%, 14% 그리고 20%만큼 더 좋은 만족도를 보인다. Fig. 7에서는 각각 약 38%, 26%, 30%, 15% 그리고 21%만큼 더 좋은 만족도를 보인다. 로드밸런싱을 고려한 Compare1이 Proposed 다음으로 QoS 만족도가 높았고, 그다음으로는 마이그레이션 비용을 고려한 Compare2가 높았다. Fig. 3,4와 Fig. 5,6에서 보였듯이 큐잉 지연시간의 차이를 통해 로드 밸런싱을 하면 VECS들의 서비스 거절률이 낮아져 시스템의 처리량이 높아지며, 이로 인해 QoS 만족도 가 높아지는 것을 확인할 수 있다.

6. 결 론

차량 엣지 컴퓨팅 환경에서 차량들의 높은 이동성으로 인해 특정 MEC 서버만 혼잡해지는 경우가 있어 MEC 서버들의 로드 불균형이 발생된다. 이는 MEC 시스템의 처리량이 낮아질 뿐만 아니라 MEC 서버들의 큐잉 지연시간이 길어져 낮은 QoS를 초래한다. 이를 해결하고자 본 논문은 강화 학습 기법인 DQN을 이용하여 태스크의 VECS 마이그레이션 여부 및 대상을 결정하는 기법을 제안하였다. 제안한 기법은 QoS 만족도와 시스템의 처리량을 향상시키기 위해서 VECS들의 큐잉 지연시간을 이용한 로드 밸런싱을 최적화하고 마이그레이션 비용을 최소화하는 것이다. 실험을 통해 VECS들 사이의 큐잉 지연시간 차이와 서비스 거절률 그리고 QoS 만족도에서 다른 기법들에 비해 우수한 성능을 보임을 확인하였다. 하지만 본 논문은 멀티 유저 환경에서 싱글 에이전트를 고려한 상황이며, 협력적인 VECS 그룹의 개수를 고정시킨 환경이다. 보다 동적인 환경에 있어 효율적으로 학습하기 위해서는 멀티 에이전트를 고려한 마이그레이션 연구가 필요하다.