Research on Advanced Navigation Aids System based on Augmented Reality

재용 오; 오석 권

doi:10.5394/KINPR.2016.40.4.183

요 약

최근 해양 사고 및 그 피해가 증가함에 따라 선박의 안전 항해에 대한 관심이 높아지고 있다. 이에 해양 사고에 대한 규제를 강화 하고, 최신의 IT 기술들을 적용한 다양한 항해 장비들을 개발하여 항해사의 안전운항을 지원하고 있다. 그러나 너무 복잡하고 많은 정보를 무 분별하게 제공하는 경우가 많아 오히려 항해사의 의사결정에 방해가 되는 경우가 있어 정보를 표시하고 서비스하는 효율적인 방법에 대한 연 구가 필요한 실정이다. 이러한 배경으로 본 논문에서는 다양한 항해정보를 보다 직관적으로 제공하기 위한 방법으로 증강현실 기술을 적용하 였으며, 이를 통해 항해사가 신속하고 정확한 의사결정을 내릴 수 있도록 지원하는 증강현실 기반의 차세대 항해지원 시스템을 제안한다. 또 한, 구현된 요소 기능들은 선박운항 시뮬레이터 및 실선 시험을 통해 시스템의 적용 가능성과 효용성을 검증하였다.

핵심용어: 해양안전, 안전운항 시스템, 의사결정, 증강현실, 선박운항 시뮬레이터

ABSTRACT

Many maritime accidents have been caused by human-error including such things as inadequate watch keeping and/or mistakes in ship handling. Also, new navigational equipment has been developed using IT technology to provide various information for safe navigation. Despite these efforts, the reduction of maritime accidents has not occurred to the degree expected because, navigational equipment provides too much information, and this information is not well organized, such that users feel it to be complicated rather than helpful. In this point of view, the method of representation of navigational information is more important than the quantity of that information and research is required on the representation of information to make that information more easily understood and to allow decisions to be made correctly and promptly. In this paper, we adopt Augmented Reality (AR) technologies for the representation of information. AR is a 3D computer graphics technology that blends virtual reality and the real world. Recently, this technology has been widely applied in our daily lives because it can provide information more effectively to users. Therefore, we propose a new concept, a navigational system based on AR technology; we review experimental results from a ship-handling simulator and from an open sea test to verify the efficiency of the proposed system.

Keywords: maritime safety, safe navigation system, decision making, augmented reality, ship-handling simulator

서 론

최근 해상 교통량이 급격하게 증가하고, 선박이 대형화, 고 속화 되는 등 해상 교통 환경이 변화함에 따라 해양 사고의 위험성은 더욱 증가하고 있다. 실제로 해양안전심판원의 자료 에 의하면 최근 5년 동안의 해양사고는 꾸준한 증가세를 보이 고 있으며, 이러한 해양사고의 원인 중 운항과실이 전체의 80% 이상을 차지하고 있다. 이 중 충돌에 의한 사고가 가장 많이 발생하는 것으로 나타났으며, 주요 원인은 경계소홀 등 인적 과실인 것으로 나타났다(Ministry of Oceans and Fisheries, 2015). 이처럼 해양 사고가 증가하고 이에 따른 피 해가 늘어남에 따라 선박교통관제시스템(VTS, Vessel Traffic Service System)과 항로표지시스템 등을 통해 항해사 의 안전 항해를 실시간 지원하고, 관련 법규를 제정하는 등 해 양사고 방지를 위하여 끊임없는 노력을 기울이고 있다. 특히, 최신의 IT 기술들을 적용한 항해 장비들을 개발하여 항해사 에게 안전운항을 위한 다양한 정보를 제공할 수 있게 되었다. 그러나 이러한 장비들의 복잡한 기능들이 항해사에게 오히려 부담이 되고 안전 운항에 방해가 되기도 한다(Jung, 2015, 2016). 이처럼 모든 항해 장비가 항해사에게 유익한 정보를 제 공한다고 보기는 어려우며, 각 항해 장비의 현행 문제점과 개 선 방안을 항해사의 관점에서 분석할 필요가 있다.

STCW1)에 따른 선교 업무 분석 결과에 따르면 현재 운영 되고 있는 항해장비의 문제점 중 일부는 해당 장비에서 개선 이 가능한 것들도 있지만, 대부분 불필요한 정보가 너무 많거 나 제공되는 정보의 제공 방법이 적절하지 못하다는 의견이 많았다. 특히 위험 상황에 대한 경보 기능은 RADAR와 ECDIS를 통해서 제공되고 있지만 텍스트 메시지 혹은 경고 음을 통한 정보 제공 방법이 비효율적이고 직관적이지 않아 개선이 필요한 부분으로 조사되었으며, 제한된 화면 공간에서 의 효율적인 정보 전달 방법에 대한 연구가 필요한 것으로 나 타났다(Jeong, 2012).

이와 같은 배경에서 본 논문에서는 직관적인 정보 제공의 수 단으로 선교 환경에서 활용될 수 있는 증강현실 기술 기반의 항해지원 시스템을 제안하고, 실험을 통해 시스템의 적용 가능 성에 대하여 고찰하고자 한다.

선행 연구 분석

서론에서 언급한 바와 같이, 선교 내 항해 장비들의 복잡성 으로 인해 안전 운항에 방해가 되는 경우가 발생하기도 한다. 따라서 향후 개발되는 항해지원 시스템은 정보의 양을 늘리기 보다는 효과적인 정보 제공 방법을 통해 항해사의 의사 결정 을 지원해야 한다. 특히 항해 정보의 직관성은 정보의 과잉에 따른 문제점을 해결할 수 있는 중요한 요소이며, 본 논문에서 는 증강현실(AR, Augmented Reality) 기술을 이용하여 이를 개선하고자 한다.

증강현실은 가상현실(VR, Virtual Reality)의 한 분야로 실 제 환경에 가상의 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽스 기법이다. 이 기술은 실세계 영상에 정보를 중첩하여 표시할 수 있는 특 징을 가지며, 선박 운항 정보 중 견시를 통해 수집되는 정보가 많은 비중을 차지하고 있음을 고려할 때 선교에서의 정보 제 공 수단으로써 매우 효과적인 방법일 수 있다.

이러한 증강현실 기술은 최근 모바일 기기의 발달과 함께 다양한 연구가 진행되고 있으며, 항공기, 자동차, 선박 등 여 러 산업 분야에의 적용 사례가 급증하고 있다.

전투기 및 민간 항공기에는 조종사의 시계를 확보하고 조 종 수행 능력을 향상시키기 위해 증강현실 디스플레이 기술인 HUD(Head Up Display) 시스템이 활용되고 있다. 이러한 HUD 기술은 최근 들어 자동차 분야에의 적용이 시도 되고 있으며, 주행 중 정보 습득을 위한 운전자의 시각적 간섭 최소 화를 목적으로 사용되고 있다(Kim, 2008). 한편, 선박은 항공 기나 자동차에 비해 상대적으로 느린 조종 특성을 가지고 있 지만, 최근 선박의 운항 정보가 다양해지고 선박의 성능이 향 상됨에 따라 효율적인 정보 시현 기술이 필요하게 되었으며, 정보 표현의 수단으로 증강현실 기술을 이용한 다양한 항해 지원용 시스템이 연구 개발되고 있다.

유럽의 e-Navigation 프로젝트인 ACCSEAS에서는 Figure 1과 같이 HMD(Head Mounted Display)를 이용한 착용형 항 해지원 시스템을 개발하여 시뮬레이터 실험을 수행한 바 있 다. 이 시스템은 항해사의 물표 인지 속도 향상을 목표로 하고 있으며, 정확한 정합(registration)을 위해서는 추가적으로 선 박 및 항해사의 자세 정보 등을 이용하는 연구가 필요하다고 언급하고 있다(ACCSEAS, 2015). 한편, 최근에는 Figure 2와 같이 모바일 장치를 이용한 항해 지원 어플리케이션들이 다양 하게 개발되어 요트와 같은 소형 선박의 항해에 활용되고 있 다(B&G, 2015).

Fig. 1.

AR Navigation System (ACCSEAS project)

Fig. 2.

AR Navigation Mobile App. (SeaNav. B&G)

그러나 이러한 항해 지원용 증강현실 시스템들은 모두 서 로 다른 사용자 인터페이스(User Interface)를 가지고 있으며, 표출하는 정보의 종류 및 표시 방법 또한 표준화가 되어있지 않아서 사용자의 불편을 초래하기도 하고, 그 활용에도 제약 이 따른다. 특히 정확하지 않은 정보의 무분별한 제공은 해양 사고와 같은 심각한 문제를 야기할 수 있으며, 어떠한 정보를 어떻게 표출할 것인가에 대한 연구가 반드시 필요한 실정이다 (Olivier Hugues, 2010). 이에 본 논문에서는 항해사를 대상으 로 설문 조사를 수행하여 항해에 필요한 필수 정보를 식별하 고, 이를 효과적으로 표현할 수 있는 증강현실 기반 사용자 인 터페이스를 제안한다. 또한, 이를 구현하기 위한 항해지원 시 스템에 대해 기술하며, 선박운항 시뮬레이터 및 실선 적용 시 험을 통해 구현된 시스템의 효용성과 적용 가능성을 검토해 보고자 한다.

증강현실 기반 항해지원 시스템

3.1. 사용자 요구사항 분석

증강현실 기반의 항해지원 시스템을 설계하고 구현하기 위 한 첫 번째 단계로 설문조사를 통한 사용자 요구분석을 수행 하였다. 본 설문 조사는 필수 항해 데이터를 식별하고, 각 데 이터의 효과적인 표현 방법 및 표시 위치에 대한 질문으로 구 성되어 있으며, 항해 경험이 있는 20명의 항해사를 대상으로 수행되었다. 설문 분석 결과 항해 데이터의 표현 방법과 표시 위치에 대한 질문에는 대부분의 응답자들이 현행 항해 장비와 유사한 형태를 선호하였으며, fairway와의 이격거리 표시 기 능 등 새로운 기능에 대한 요구사항도 조사되었다. 또한, 개발 되는 증강현실 시스템은 주로 입·출항 상황에서 효과적으로 활용될 수 있을 것으로 응답하였다. 한편, 정확한 항해 정보 제공을 위해서는 ECDIS 시스템과의 연계가 반드시 필요하며, 안전 항로(fairway), 정박/묘박지(anchorage), 지형지물(land area), 계획 항로(route plan) 정보가 안전 운항을 위해 필수적 이라고 응답하였다. 본 설문조사를 바탕으로 식별된 증강현실 항해지원 시스템을 위한 필수 항해 데이터는 Table 1과 같다.

Table 1.

List of Navigational Data

Nav. data	Details	NMEA
GPS	UTC/LAT/LON/SOG/COG	$RMC
heading	heading	$HDT
speed	Speed Through Water(STW)	$VHW
AIS	AIS messages	$VDM
echo sounder	depth (DPT)	$DPT
tidal current	current direction/Speed	$VHW
wind	wind direction/Speed	$VWR
rate of turn	Rate of Turn(RoT)	$ROT
rudder indicator	rudder indicator	$RSA
RADAR target	RADAR target	$TTM
CCTV camera	color image, pan/tilt	-
ownship attitude	roll/pitch	-

3.2. 증강현실 사용자 인터페이스의 설계

설문 조사 분석 결과를 바탕으로 증강현실 항해지원 시스 템의 정보를 ¹⁾자선 정보, ²⁾타선 정보, ³⁾ECDIS 정보로 구분하 였다. Figure 3에서와 같이 자선 정보는 주로 선교의 ODD(Overhead Data Display)에 표시되는 정보로 자선의 위 치, 방위, 선속, 선회율(RoT) 등으로 구성되며, 그래프 등의 직관적인 인터페이스를 이용하여 증강현실 화면의 상단에 출 력하도록 하였다. 타선 정보는 해당 위치에 중첩 출력하며, 사 용자 선택 시 세부 정보를 표시하도록 하였다. 세부 정보는 AIS 데이터를 바탕으로 생성하며, RADAR 물표와 AIS 물표 는 심볼을 이용하여 구분하였다. ECDIS 정보는 자선의 위치 에 따라 선택적으로 표시하며, 전자해도 심볼 표준을 따른다.

Fig. 3.

User interface of augmented reality navigation system

또한, 모든 정보의 표시 여부는 사용자가 선택할 수 있으며, 정보 표시 색상을 임의로 조절할 수 있도록 설계하였다.

3.3. 시스템 구성

증강현실 기반의 항해지원 시스템의 하드웨어는 PTZ(Pan Tilt Zoom) 카메라, AHRS(Attitude and Heading Reference System), 항해 데이터 통합 장치(NMEA Combiner), 사용자 콘솔로 구성되며, 부가적으로 카메라 제어를 위한 조이스틱 장 치를 포함하고 있다. 소프트웨어 시스템은 항해 데이터 통합 모듈, 사용자 인터페이스 모듈, 정합 모듈, 증강영상 렌더링 모 듈로 구성되며, 모듈 간 데이터의 흐름은 Figure 4와 같다.

Fig. 4.

Configuration of navigation aids system based AR

시스템은 첫 번째 단계로 항해 데이터 통합 장치를 통해 항해 데이터를 수집하고, ECDIS 연동 모듈을 통해 ENC(Electronic Navigational Chart) 데이터 및 계획항로 정 보를 추출한다. 다음 단계로, 사용자 인터페이스 모듈에서는 수집된 항해 데이터를 이용하여 화면 구성 요소를 생성하고, 조이스틱 등의 사용자 입력을 처리하며, 최종적으로 정합 모 듈과 렌더링 모듈을 통해 증강 영상을 실시간 생성하여 항해 사에게 제공한다. 또한, 본 연구에서는 다양한 조건에서의 테 스트를 수행하기 위해서 시뮬레이터를 사용하며, 이를 위한 연동 모듈을 포함하고 있다. 각 모듈별 세부 사항은 다음과 같다.

1) 항해 데이터 통합 모듈

항해 데이터 통합 모듈은 선교의 여러 항해 장비로부터 수 집된 항해 데이터를 가공하고 통합 관리하는 기능을 수행한 다. 수집된 모든 항해 데이터는 NMEA-0183 표준을 따르며, GPS 시간(UTC, Universal Time Coordinated)을 기준으로 동기화되어 공유 메모리(Shared Memory)를 통해 타 모듈과 공유된다. 또한 본 모듈에서는 성능 향상을 위해 멀티 쓰레 드 방식을 적용하여 입력되는 항해 정보를 병렬적으로 처리 할 수 있도록 하였다.

2) ECDIS 연동 모듈

제안하는 시스템은 ECDIS의 ENC 데이터를 기반으로 증 강현실 항해지원 시스템에 필요한 요소를 추출하여 사용한 다. 요구사항 분석을 통해 식별된 데이터를 ENC로부터 추출 하고, 추출된 데이터는 별도의 데이터베이스 시스템에 저장 되며, 자선의 위치에 따라 선택적으로 표시된다. 한편, ECDIS를 통해 입력되는 계획 항로(route plan) 정보를 바탕 으로 다음 경유점(waypoint)까지의 거리 및 도착 예정 시간 정보를 계산한다.

3) 사용자 인터페이스 처리 모듈

사용자 인터페이스 모듈은 항해사에게 제공되는 사용자 인터페이스(GUI)를 구성하고, 마우스와 조이스틱과 같은 사 용자 입력 처리 기능을 수행한다. 또한, 수집된 항해 데이터 를 이용하여 화면 구성요소를 생성하며, 이때 각 구성 요소 의 표시 여부 및 색상 정보를 반영한다.

4) 증강영상 생성 모듈

증강영상 생성 모듈에서는 수집된 항해 데이터와 전자해도 데이터 등을 모두 통합하여 증강영상을 생성한다. 증강영상을 생성하기 위해서는 가상의 3차원 공간에서 증강현실 요소들 을 배치하고 이를 실세계 영상과 실시간 합성하게 되는데, 본 연구에서는 영상 합성의 성능 향상을 위해 GPU 가속 기능을 지원하는 3차원 그래픽스 엔진(Unity3D)을 사용하였다. 한편, 증강현실 시스템에서는 가상의 객체와 실세계 영상 간의 위 치를 일치시키는 정합(registration) 과정이 선행되어야 하며, 본 모듈에서는 선박에 설치되어 있는 GPS 및 AHRS 센서를 통해 실시간 획득되는 선박의 위치(위도, 경도) 및 자세(pitch, roll) 데이터에 따라 가상 공간상에 카메라를 위치시켜 정합을 수행한다.

5) 시뮬레이터 연동 모듈

구현된 증강현실 기반의 항해지원 서비스와 시스템은 다 양한 해상 환경에서 항해 장비로서의 활용 가능성을 검토해 야 하며, 이를 위해 본 연구에서는 선박운항 시뮬레이터를 활용하였다. 시뮬레이터 연동 모듈은 카메라 영상 및 센서 데이터를 가상으로 생성하는 역할을 수행하며, 각 데이터의 생성 주기 및 형식을 실선 환경과 동일하게 구현하여 실험에 적용하였다.

실험 및 고찰

본 연구에서는 구현된 기술을 기반으로 증강현실 항해지원 시스템의 시작품을 제작하였으며, 이를 이용하여 시뮬레이터 및 실선 적용 실험을 수행하였다. 각 실험에서는 시작품의 기 능별 정상 동작 여부를 테스트하고, 선교 환경에의 적용 가능 성을 검토하였으며, 항해 장비로의 사용성을 평가하였다. 실 험에 사용된 시작품의 세부 사양은 Table 2와 같다.

Table 2.

Specification of prototype system

	Specification
PC system	♦ CPU : Intel i7 3.0GHz
	♦ RAM : 16GB
	♦ GPU : NVIDIA GTX750
	♦ OS : Windows 7
Monitor	♦ LCD monitor, 23 inch
PTZ Camera	♦ AXIS P5534E (Resolution : 1280×720 pixel)

4.1. 실험 조건

모든 실험은 승선 경험이 있는 항해사를 대상으로 수행되 었다. 실험 전 시스템의 사용법에 대해 충분히 숙지한 후, 선 박의 입·출항 상황에서 본 시스템을 사용하도록 하였으며, 실험 종료 후 설문과 인터뷰를 통해 시스템의 사용성과 추가 적인 요구사항에 대한 의견을 수집하였다. 시뮬레이터 실험 의 경우 선박해양플랜트연구소의 FMB(Full Mission Bridge) 를 사용하였으며, 보다 사실적인 실험을 위해 부산 북항의 해상 교통 현황 분석 자료를 활용하여 실험 시나리오를 제작 하였다(SafeTechResearch, 2013). 한편, 실선 실험은 목포해 양대학교 실습선인 “새누리호”에 시작품 시스템을 설치하고 목포항의 입·출항 상황에서 실험을 진행하였다. 상세 실험 조건은 Table 3과 같으며, 실험 환경은 Figure 5와 같다.

Table 3.

Experiments condition

	Simulation test	Sea test
target harbour	Busan port entry	Mokpo port entry
ownship	Tanker	SAENURI
traffic-ships	15 vessels	> 30 vessels
weather	dense fog	light fog
# of subjects	12	5

Fig. 5.

Experiments for usability test (a) AR navigation system with ship-handling simulator, (b) SAENURI at Mokpo harbor, (c) prototype of AR navigation system

4.2. 실험 결과

본 실험은 시작품 시스템의 운영상의 문제점을 파악하고 각 기능별 동작을 확인하는 과정을 포함하고 있다. 실험 결과 하드웨어 및 소프트웨어 시스템은 시뮬레이터와 실선 환경에 서 안정적으로 동작하였으며, 전체 시스템의 성능을 결정하는 증강 영상 갱신율은 평균 30Hz 이상으로 측정되었다. 또한, 항해데이터 통합 모듈에서는 데이터의 누락 없이 수신된 모 든 데이터를 처리하였다. Figure 6은 시뮬레이터 및 실선 실 험에서의 사용자 화면이다.

Fig. 6.

Screenshot of experiments, (a) simulation test, (b) sea test

자선 정보는 Figure 7의 (a)와 같이 항해 데이터와 연동하 여 화면의 상단에 그래프 형태로 출력되며, 그래프 아래쪽에 표시되는 방위환(azimuth circle) 정보도 자선의 방위에 따라 동작하였다. 타선 정보는 Figure 7의 (b)에서처럼 RADAR 및 AIS 데이터와 연동하여 해당 타선의 위치에 정보가 직접 표시 된다. 이러한 기능은 타선 정보를 파악하는데 기존의 항해장비 보다 직관적이기는 하지만, 타선의 위치가 중첩되는 경우 오히 려 인지가 어려운 경우도 발생하였다. ECDIS 정보는 Figure 7의 (c)에서와 같이 전자해도 심볼 표준을 적용하여 표시하 며, 항상 동일한 크기의 심볼을 사용하기 때문에 거리 정보 파악이 어렵다는 문제점도 파악되었다. 한편 계획항로 데이터 로부터 계산된 다음 경로점(waypoint)까지의 방위 및 거리 정보가 자선 정보와 연동되어 출력되었다.

Fig. 7.

Results of experiment (a) ownship information, (b) trafficship information, (c) ECDIS information

4.3. 사용자 설문 분석

시뮬레이터 실험 후 항해사를 대상으로 증강현실 시스템의 기능별 만족도에 대한 설문 조사를 수행하였다. 설문은 5점 척도의 기능별 질문 항목과 기타 의견 항목으로 구성하였다.

설문 분석 결과, Figure 8과 같이 기능별 만족도를 묻는 질 문에는 자선 정보에 대한 만족도가 가장 높게 나왔으며, 타선 정보에 대한 응답이 상대적으로 작게 나타났다. 또한 전체 시 스템에 대한 만족도는 효율성과 효과성 항목이 높은 점수를 보였으며, 가독성과 명확성 항목에서는 평균 이하의 점수가 나타났다. 상대적으로 낮은 점수를 보이는 가독성과 명확성 항목은 입·출항 시 수평선 부근에 타선이 밀집함에 따라 물표 정보가 중첩되어 표시되고, 이로 인해 정보 식별에 어려움이 발생한 것으로 추측된다.

Fig. 8.

Survey results of AR navigation system

(a) satisfaction of functions, (b) satisfaction of AR system

한편 실험에 참가한 항해사들과의 인터뷰를 진행하였다. 증강현실 항해장비에 대한 효용성에는 대부분 긍정정인 반응 을 보였지만, 새로운 항해 장비를 사용하는데 필요한 추가적인 업무로드에 대한 우려가 많은 것으로 나타났다. 또한 증강현실 화면에서의 정보의 표시 방법에 대해서는 응답자의 성향에 따 라 다양한 의견들이 제시되었으며, 각 사용자에 최적화 된 사 용자 인터페이스의 개발이 필요할 것으로 판단된다.

결 론

첨단의 IT 기술들이 융합된 다양한 항해 장비들을 통해 항해사의 안전 운항을 지원하고 있지만, 다양하고 많은 정보 를 무분별하게 제공하기 보다는 효율적으로 정보를 표출하고 서비스 하는 방법에 대한 추가적인 연구가 필요한 실정이다. 이러한 배경에서 본 논문에서는 증강현실 기술을 기반으로 하는 항해 지원 시스템을 제안하였으며, 제안하는 시스템은 카메라를 통해 입력된 영상에 다양한 항해 정보를 중첩 제공 함으로써 항해사가 항해 관련 의사 결정을 신속하고 정확하 게 내릴 수 있도록 지원한다. 또한, 시스템의 기능을 검증하 기 위해 선박운항 시뮬레이터 및 실선 적용 실험을 수행하였 으며, 시작품의 하드웨어 및 소프트웨어가 실선환경에서 안 정적으로 동작함을 확인하였다. 실험과 함께 진행된 설문조 사에서는 대부분의 피 실험자들이 증강현실 기반의 항해지원 시스템의 효용성에 대해 긍정적이었지만, 새로운 항해장비에 대한 업무로드 증가에 부담을 가지고 있는 것으로 파악되었 다. 한편, GPS가 가지는 위치 오차로 인해 증강 영상의 정합 오류가 발생하기도 하였으며, 수평선 주변에 표시되는 정보 가 너무 많아서 정보 식별이 어려워지는 등 개선이 필요한 사항들이 식별되었다.

향후 선교에는 증강현실 기술의 효과를 극대화 할 수 있는 투명 디스플레이 기반의 다양한 항해지원 시스템이 개발되어 활용될 것으로 전망하며, 이러한 증강현실 기술을 통해 해양 사고를 방지하고 운항 효율을 증대할 수 있기를 기대한다.