/ 자기지도학습 / 센서퓨전 / 라벨링 / 정밀지도 / OTA / 현대모비스 / 테슬라) 현대차 자율주행 (HDA2 / ADAS / 인공지능 / 머신러닝 / 딥러닝 / SCC-ML

 

1) 현대차 자율주행 현황

– 현재 현대자동차에 적용되고 있는 스마트 센스는 자율주행 2단계에 해당. 완전한 자율주행은 아니지만 부분적으로 운전자의 감시하에 반자율주행이 가능한 수준

– 내비게이션을 기반으로 고속도로 반자율주행을 가능하게 하는 고속도로 주행지원시스템(HDA), 차선이탈방지보조(LKAS), 운전자주의경고(DAW) 등의 기술 보유

– 현대차는 고속도로주행보조(HDA) 기술을 중심으로 부분 자율주행을 개발. 2020년 상용화를 시작하는 HDA2는 고속도로에서 3단계에 가까운 자율주행이 가능해질 전망이다.

– 2018년 2월에는 서울~평창 간 고속도로 약 190km 구간을 4레벨 자율주행으로 완주해 기술력을 입증

<출처: HMG JOURNAL>

2. HDA (Highway Driving Assist, 고속도로 주행 보조)

– 현대차는 차로 유지와 차간 거리를 제어하는 2단계 주행 편의 시스템인 HDA를 2015년부터 판매한다. 그리고 곧 출시될 신차에는 성능이 더 개선된 HDA2를 탑재할 예정이다. HDA2는 HDA 대비 정밀도를 높이고 몇 가지 추가 기능을 지원

– 기본적으로 전방 차량과의 거리 유지 및 속도 유지, 차선 내 위치 유지, 그리고 코너에서 속도를 떨어뜨리는 NSC-C 기능과 더불어 맵데이터를 기반으로 나들목(IC) 및 분기점(JC)에서도 속도를 떨어뜨리는 기능 추가

– 깜빡이 점등 시 차량 스스로 주변 상황을 파악하고 능동적으로 차선 변경도 가능. 이는 테슬라와 벤츠 등 일부 자동차업체가 최근 양산차에 적용하기 시작한 기술로 차세대 주행 보조장치의 핵심 기술.

– 또 차선 변경 또는 끼어들기 차량을 인식해 속도를 떨어뜨리는 기능도 추가. 차량 전방으로 들어오는 차량의 인지속도를 향상시키고 차선변경 기능을 탑재하여 주변 상황을 정밀하게 파악할 수 있는 기술 적용

– 앞으로는 주행 시 차량 주변의 물체를 정확하게 인지하는 것뿐만 아니라 높은 수준의 센서 퓨전 기술을 통해 앞차는 물론 앞차에 대한 인지까지 할 수 있도록 개선할 계획이다.

*센서퓨전 : 여러 센서로부터 받은 신호 융합

<출처 : Top Rider>

3. 머신러닝 기반 스마트 크루즈 컨트롤(SCC-ML)

(1) 개요-현대차그룹은 2019년 10월 도로에서 전방 차량과 일정 간격을 유지하며 운행하는 반자율 주행 기술인 ‘스마트 크루즈 컨트롤(SCC)’의 업그레이드된 버전으로 머신러닝 기반 SCC 공개

– 자동차가 스스로 운전자의 성향을 분석해 마치 사람이 운전하는 것처럼 자연스러운 스마트 크루즈 컨트롤 기술을 구현, 앞으로 HDA2와 접목하면 레벨 2.5 수준의 반자율 주행이 가능할 전망이다.

– 기존 SCC는 운전자가 앞차와의 거리, 제한속도, 반응 정도를 직접 설정해야 하고 조절단계가 세밀하지 않아 일부 운전자는 사용을 꺼렸다. 한편 SCC-ML은 운전자의 직접적인 설정 없이 차량 스스로 운전자의 주행성향을 파악하여 자율주행에 활용

– 이로써 사람이 운전하는 것과 같은 원활한 운행이 가능해져 기존 SCC의 급가속이나 급제동 같은 불편을 없앤다.

(2) 원리-SCC-ML은 머신러닝(Merchine Learning) 인공지능을 통해 운전자의 주행 성향을 분석하여 놀라운 수준으로 운전자의 주행 패턴을 재현. 기본원리는 운전자가 1시간 정도 운전하면 머신러닝에 의해 10,000개의 주행 패턴 중 가장 가까운 1개가 선택되는 방식.

<출처: HMG JOURNAL>

– 우선, 전방 카메라나 레이더등의 각 센서가 운전자의 주행 정보를 수집해, ADAS의 두뇌인 제어 컴퓨터에 전송.제어컴퓨터는 이들 정보 중에서 운전자의 운전성향 정보(차간거리를 어느 정도 유지할 것인가, 얼마나 신속하게 가속할 것인가, 주행환경에 얼마나 빠르게 반응할 것인가 등 3가지)만을 추출. 그리고 10,000개 이상의 주행패턴 중 운전자의 운전성향에 가장 유사한 것을 적용.

– 특히 제어 컴퓨터는 여러 센서로부터 각종 정보를 받지만 신호가 다르기 때문에 이를 융합하기가 쉽지 않다. 이때 센서 퓨전 기술을 적용하면 제어 컴퓨터가 다양한 신호의 정보를 정리하여 하나의 인터페이스로 처리 가능

– 주행 패턴 학습에 필요한 최소 시간은 편차가 있을 수 있으나 약 1시간 정도. 이후에는 데이터가 누적되어 새로운 주행정보를 지속적으로 업데이트하기 때문에 운전자의 최근 추세를 반영 가능.이전 데이터의 중요도는 점차 저하되지만 완전히 사라지지 않는다.

– 머신러닝에 의해 기존 10,000개의 주행 패턴 외에 새로운 주행 패턴을 만드는 것은 우선 배제. 이는 안전성이 입증된 것만 적용해 만에 하나 어떤 변수는 만들지 않겠다는 뜻으로 해석된다.

– 그리고 1만 개의 패턴이면 거의 모든 운전자를 만족시킬 수 있어 충분히 많을 경우의 수로 볼 수 있다. 향후 안전 검증된 패턴을 추가 개발하고 클라우드에서 패턴 데이터를 업데이트(OTA, Over The Air)하는 방법도 고려

– 구글워미의 경우 알파고에 적용된 딥러닝 인공지능 적용하여 레벨 3 이상의 자율주행 기술 개발. 한편, 현대차그룹은 SCC-ML에 여러 층수로 구성된 딥러닝 뉴럴네트워크 대신 단층의 머신러닝 뉴럴네트워크 적용

– 개발당시 딥러닝 적용도 고려하고 있었으나 뉴럴네트워크가 복잡해질수록 예기치 못한 오류가 발생할 수 있어 안전한 방법을 선택. 그리고 단층의 머신러닝 기술로도 운전자의 주행성향은 충분히 구현되었기에,

– 또는 인텔 모빌아이(Mobileye)처럼 큰 알고리즘 대신 상황별로 작은 알고리즘 몇 개를 만들고 여기서 나온 결과값만 다시 통합하여 대응하는 방식을 따른 것일 수도 있다. 기대하다

<출처: PAN. SPOT>

4) 자기지도 학습 (Self-Supervised Learning)

(1) 메커니즘 이해 – 지도 학습(Supervised Learning)은 학습 데이터만으로 의미 있는 정보를 얻는 방식으로 데이터가 많아야 규칙이 만들어지기 때문에 예측할 수 없는 것이 튀어나오는 현실 세계에 적용하기 위해서는 레어 케이스까지 담은 방대한 데이터가 필요함

– 강화학습(Reinforcement Learning)은 학습 데이터 대신 보수(Reward) 함수를 활용해 지식을 키우는 방식.실패해도 한번 더 시도하면 좋은 게임등에서는 효과가 있지만, 실제의 사람이 사는 세계에 적용하기에는 위험한 방식이라고 해 주로 시뮬레이션내에서 적용. 인간은 가로수에 부딪히면 큰 사고가 난다는 것을 이해하기 때문에 부딪치지 않으려고 하지만 강화학습은 수천 수만 번은 가로수와 충돌하면서 학습하고

– 비지도학습의 한 방법인 자기지도학습은 주어진 데이터를 바탕으로 주변 상황과 조건까지 예측하고 인지하는 보다 발전된 형태의 기계학습법. 자기지도학습으로만든인공지능은상식선에서생각할수있는정보까지추측가능.즉, 세계가 어떻게 움직이는지 메커니즘을 이해하고 배경지식을 쌓는다는 점이 특징.

– 예를 들면, 사람은 눈으로 입력된 연속적인 장면을 보고, 다음의 상황을 예측. 손에서 공을 떨어뜨리면 현재 위치보다 아래로 향하며, 공이 바닥에 닿으면 바닥보다 위로 튀어오르는 것을 당연히 예상

– 똑같이 자기지도 학습이 된 뉴럴넷은 이런 메커니즘을 이해하고 있기 때문에 나중에 새로운 데이터를 넣었을 때 더 빠르고 정확하게 이를 학습해 효율성능을 향상시킨다.

(2) 학습방법-자기지도학습은 2018년 말부터 BERT나 GPT2 등의 자연어 처리 분야에서 놀라운 성능을 보여 왔다. 현재는 화상이나 영상 처리에 있어서도 이러한 방식이 적용되기 시작했고,

– 자연어 처리에 자기지도학습을 적용하는 방법은 쉽게 설명하면 아래와 같이 문장에서 일부 단어를 숨겨놓고(마스킹, Masking) 주변 문맥을 이해하고 그 단어를 예측하게 한 뒤 올바른지를 알려주는 방식.

E.g.) · 원문 : ~~~ 딥러닝은 인공지능의 일종. 컴퓨터: ~~~~~ 딥러닝은 ( )의 일종. ~~~~~

– 영상인식에서의 자기지도학습 훈련방법은 먼저 이미지를 격자상으로 구역을 구분하고 CNN(콘볼루션 뉴럴 네트워크)을 통해 각 격자에 어떤 특징이 있는지를 파악

– 그 후 무작위로 격자 안에서 어떤 일부분을 제거하고 이를 신경망으로 채울 수 있도록 한다. 그 다음 채운 이미지와 실제 이미지가 얼마나 닮았는지 채점하는 과정을 여러 이미지로 반복해서

<출처: AI Dev – 인공지능 개발자 모임>

– 이러한 학습에는 시계열의 영상 데이터가 효과적.과거의 화상을 입력해, 뉴럴 네트워크(neural network)는 다음의 화상을 예측하는 방식. 테슬라도 정적 이미지보다 비디오 클립을 활용한 시계열 이미지를 학습에 사용하고 구글은 딥러닝 연구에 사용하기 위해 유튜브로부터 35만 시간의 잘 정리된 비디오 클립 데이터셋 공개

– 단, 참고로 테슬라의 경우, 다음의 비디오 프레임 전체를 예측하기 보다는, 인식 대상을 박스화한 그 박스의 이동 궤적만을 예측. 소프트웨어의 경량화에 의미가 있다고 생각한다

(3) 자동화를 통한 선순환-딥마인드의 최근 연구결과에 따르면 일반 방식대로 사람이 일일이 라벨링을 하고 데이터를 넣어 학습한 뉴럴 네트워크보다 같은 뉴럴 네트워크이지만 자기지도학습으로 학습한 것은 절반 정도의 라벨링 데이터만으로도 더 높은 이미지 인식 성능, 즉 2배 이상의 데이터 효율을 발휘

– 또 전체 데이터 세트의 5%를 넣은 일반 뉴럴 네트워크(neural network)보다 1%를 넣은 자기 지도 학습 뉴럴 네트워크(neural network)가 높은 성능을 발휘한 적도 있다. 위에서 설명한 대로 이미 배경지식을 갖추고 있어 더 빨리 배울 수 있기 때문이다. 테슬라의 차량 자동 라벨링 기술도 이를 기반으로 하여 학습을 위해 적은 양의 데이터만을 사람이 라벨링하여 어느 정도 학습하고 나면 차량 스스로 라벨링이 가능

– 테슬라 차량은 전 세계에 약 75만 대이며 차량마다 카메라 8대가 달려 있다. 이런 차들이 모으는 영상만 한 달에 수천만 시간. 이는 그동안 수작업으로 활용 가능해진 영상보다 훨씬 많은 양으로,

– 테슬라는 준지도학습(Semi-Supervised Learning)의 하나인 능동학습(Active Learning)을 통해 어떤 비디오클립이 뉴럴 네트워크 학습에 가장 유용한지 자동으로 선택하고, 도조(Dojo)라는 프로그램에 의해 가속화된 자기지도학습을 통해 뉴럴 네트워크 훈련

– 따라서 테슬라와 같이 차량 스스로 이러한 방대한 데이터를 스스로 라벨링하여 데이터를 서버로 보내고 서버에서는 이를 가지고 다시 학습하여 인공지능의 성능을 더욱 높이는 선순환 구조는 시간과 비용, 데이터 활용 등 여러 측면에서 매우 중요

<출처:Tesla>

5. 현대모비스 영상인식

– 2019년 초 현대모비스는 차량, 보행자, 도로 지형지물 등을 인식하는 글로벌 톱 수준의 딥러닝 기반 고성능 영상인식 기술을 2019년 말까지 확보하고 이를 자율주행 지원 전방 카메라센서에 2022년부터 본격 양산 적용하기로 했다.

– 딥러닝 기반의 영상인식 기술은 자동화 기법으로 영상 데이터를 학습시킨 인공지능. 이날 간담회에서 현대모비스는 초당 딥러닝 컴퓨팅 기술은 영상인식 데이터의 품질과 신뢰성을 크게 향상시켰기 때문에 수작업으로 축적한 데이터 양이 자율주행 및 영상인식 분야의 글로벌 경쟁력을 결정짓던 시대는 끝났다고 말했다.

– 자동화기법과 수작업으로 축적한 데이터와 같은 표현으로 미루어볼 때 현대차도 테슬라와 같은 자기지도학습 및 자동라벨링 기술을 적용했을 가능성도 있을 것으로 보이지만 아직 확인되지는 않았다.

– 자율주행 카메라 센서에 적용되는 대부분의 소프트웨어와 하드웨어에 대한 독자적 기술력을 갖추고, 특히 영상인식기술의 핵심인 객체(대상) 인식성능을 글로벌 선도업체와 대등한 수준에서 구현 가능하다고 현대모비스는 설명했다.

– 또한 주차지원 용도로 활용되어 온 서라운드 뷰 모니터(SVM)에 객체를 탐지하는 영상인식 기술을 적용하면 저속 주행 상황에서 전방뿐 아니라 측면 충돌을 방지하기 위한 긴급 제동 등의 자동 제어가 가능하다.그리고 이미 개발이 완료한 자체 레이더와도 조합해서 카메라와 레이더 간 데이터 융합(센서 퓨전)을 통해서 센서 성능을 높이고 자율 주행 분야의 기술 경쟁력을 선도한다는 방침.

6. 정밀 지도

– 정밀지도는 자율주행차를 위한 지도로 항법지도와 ADAS지도는 도로 단위로만 인식할 수 있지만 정밀지도는 신호기나 각 차선 단위까지 상세하게 표현할 수 없다.눈이나 안개가 짙게 끼면 카메라나 센서만으로는 주변 상황을 제대로 인지하지 못하는데 이때 정밀지도가 도로의 모든 상황을 알려준다면 안전성이 크게 상승할 수 있다.

<출처: HMG JOURNAL>

– 현대엠엔소프트는 자동차 내비게이션을 위한 항법지도와 ADAS 지도에 이어 정밀지도도 구축 중이다. 자동차 위에 카메라 센서를 장착하는 MMS(Mobile Mapping System) 차량에 정밀도가 높은 상대 위치측정 방식의 DGPS(2개 이상의 GPS), 차량 속도와 거리를 통해 터널 안에서도 정확한 위치를 알 수 있는 관성항법장치(INS), 차량의 이동거리를 통해 정확한 거리를 측정하는 DMI, 그리고 4개의 카메라 등을 탑재했다.

– 이렇게수집된데이터를GPS상시관측소데이터와비교하여오차값을보정하고데이터취급쉽게후처리한후MAC(MapAutoCreation)솔루션적용

– 수집한 데이터는 이하와 같이 수많은 포인트 클라우드 데이터로 이루어지는데, MAC는 이러한 데이터를 자동적으로 추출·분류해, 하나의 오브젝트로 정리해 이것이 차선인지 표지인지 횡단보도인지 등을 구분해 인식하는 과정을 자동적으로 실시하는 기술.

<출처: HMG JOURNAL>

– 길이 100km의 도로에는 수많은 신호등과 표지판, 차선 정보가 존재. 기존에는 이들 작은 요소를 추출하는 데 각각의 편집 도구를 사용해 육안으로 검증해야 하기 때문에 많은 시간이 걸린다. 지금까지는 1인당 100km의 정밀지도를 만드는 데 200시간 이상 걸렸지만 지금은 MAC를 통해 1인당 8시간 수준으로 크게 줄었다.

– MAC도 핵심은 자동 편집 툴과 인공지능 딥러닝. 수집한 영상 속 물건에 이름표를 붙인 뒤(라벨링) 컴퓨터가 계속 학습. 이 정보를 바탕으로 차선과 표지를 구별하고 나중에 스스로 정보를 추출. 테슬라의 자동 라벨링 기능과 유사하다고 추측.

– 현재 약 30종 이상의 도로표지판을 인식하고 있으며 인식률은 98% 이상. 2019년 4월 MAC 기술을 활용하여 고속도로를 포함한 전국 자동차 전용도로 약 16,000km의 정밀지도를 구축, 스트리밍 형태로 제공. 2021년 양산차 탑재 목표

– 또한, 고화질 지도를 구축하기 위해 레드박스(Red Box)를 개발.도로의 차선, 시설, 구조물을 정확하게 인식할 수 있고 도로의 변경 여부를 실시간으로 감지. 레드박스를 통해 수집된 정보는 무선통신(OTA)을 통해 현대엠엔소프트 플랫폼으로 이동. 플랫폼에 전송된 데이터는 정밀지도로 제작되어 실시간으로 업데이트되어 다시 사용자에게 전달

7. Path Prediction (도로예측)

– 아래 동영상에서 테슬라 차량은 도로가 어떻게 생겼는지 잘 보이지 않아도 커브인지 아닌지 등을 예측하고 주행

– 이는 비전 데이터뿐 아니라 이런 상황에서 실제로 운전자가 얼마나 핸들을 꺾는지, 기어는 어떤 상태인지, GPS 값은 얼마인지 등의 데이터를 수집해 왔기 때문이다. 테슬라의 인공지능은 비전 데이터에 추가하여 이러한 실제 주행 방법을 흉내내는, 즉 두 사람의 오차를 최소화하는 모방학습(Imitation Learning)을 통해 정확도 높은 예측주행이 가능

– 위에서 설명한 현대차의 SCC-ML도 운전자의 운전 스타일에 대한 데이터를 모아 뉴럴 네트워크 학습을 진행해 이미 운전자의 주행 패턴을 수준 높게 모방할 수 있다. 따라서 현대차도 테슬라와 마찬가지로 이 같은 예측 주행을 구현할 가능성이 있다.

8. 현대차 딥러닝 과제

(1) 딥러닝 적용 상황 – 현대 자동차가 생각하는 자율 주행을 위한 딥러닝 적용은, , 판단, 제어 영역. 현대차는 현재 딥러닝을 주로 자율주행 인지 분야에 활용. 인식기능은 기존의 서포트 벡터 머신이나 가오리인 부스트(기계학습 메타알고리즘)와 같은 기계학습 방식으로 해결해 왔으나 심층신경망을 적용한 딥러닝 기술을 적용하여 성능이 비약적으로 상승

*서포트 벡터 : 기계학습 중 패턴인식, 자료분석을 위한 지도학습 모델

– 딥러닝은, 영상으로 패턴을 분석해, 이상 징후를 사전에 감지하거나 주변 자동차의 움직임을 예측. 판단 영역에 딥러닝을 적용하면 차량의 센서로부터 얻은 정보뿐만 아니라 V2X, 정밀지도 등을 활용해 보다 안전하고 정확한 판단을 내릴 수 있다.

– 판단이 내려지면 그 다음은 제어영역, 즉 판단대로 행동하는 것이며 이에 따라 비보호좌회전이나 로터리 교차로 진입 등 사람도 대응하기 어려운 상황에 잘 대처할 수 있을 것으로 기대된다.

– 다만, 심층 뉴럴 네트워크(neural network)가 어떠한 결정을 내릴지, 어떠한 동작을 실시할지에 대해서는, 인간이 그 알고리즘을 이해하거나 추론하거나 하는 것이 곤란하기 때문에, 판단이나 제어 분야에 아직 적용하는 것이 곤란한 상황. 하지만 최근 자율주행차가 지켜야 할 규칙을 인간이 정리해 둔 전문가 시스템과 교차 검증하여 딥러닝을 제어 및 판단에도 점차 적용

*전문가 시스템: 인간이 특정 분야에 대해 가지는 전문적인 지식을 정리해 컴퓨터에 기억시키는 시스템

– 현대차는 2015년부터 영상인식 분야에 딥러닝을 적용하는 연구를 시작. 개발된 결과는 실제 자동차에 적용되어 테스트되고 있다. 현재는 본격적으로 딥러닝을 적용하기 위해 차량용 임베디드 제어기에서 다수의 알고리즘을 동시에 작동시키는 작업 중,

(2) 선결과제-현대차가 말하는 딥러닝 적용 선결과제는 우선 다양한 환경과 만일의 사태에 대비하여 정확도와 안정성을 높이기 위한 대규모 훈련 데이터가 있어야 하며, 이러한 방대한 양의 데이터를 신속히 처리할 수 있는 고성능 GPU 기반 하드웨어 필요

– 두 번째는 네트워크 축소. 딥러닝 학습 연산은 대부분 소수점으로 행해져 컴퓨터가 처리하는 속도가 느리다. 따라서, 소수점 연산을 정수 연산으로 바꾸는 작업이 필요하고, Neural net으로부터 필요 없는 부분을 잘라내 모델 자체를 가볍게 하는 방법도 부상하고 있다.

– 셋째, 네트워크의 이위안화는 큰 뉴럴 네트워크와 작은 뉴럴 네트워크로 나누어 대량의 데이터로 학습하는 큰 뉴럴 네트워크들이 작은 뉴럴 네트워크들을 가르칠 수 있도록 해야 한다는 설명

<출처: SlideShare 다양한 컨볼루션 레이어 테크닉 및 경량화 기법>

태그: