테슬라 오토파일럿(Autopilot) 기능
AutoPilot 기능 소개
오토파일럿(AutoPilot)은 전방 카메라와 레이더, 차량 둘레에 있는 12개의 초음파 센서로 차량을 조종하고 속도를 조절하는 기능이다.
지금까지는 카메라가 오토파일럿 기능의 주된 정보 원천이었다. 그동안 레이더는 이미지 처리 기술의 보조 역할을 해온것이다. 그러나 2016년 5월 오토파일럿 모드에서 사망한 사고를 계기로 작동 방식을 바꿨다. 이제는 1/10초마다 레이더를 발사해 3차원 영상을 얻는 증 사물 식별 기능을 개선했다.
오토파일럿에는 여러가지기능이 있다.
- 교통 인식 크루즈 컨트롤(Traffic Aware Cruise Control)
- 지정된 최고 속도로 운행하며 앞차와 간격이 가까워지면 속도를 줄이거나 정차. 앞차와 간격이 늘어나면다시 최고 속도로 가속
- 오토 스티어(Autosteer)
- 현재의 차로를 계속 유지하면서 운행
- 인접 차로자동차 관찰기능
- 자동 차로 변경(Auto Lane Change)
- 센서 혹은 측면 카메라로 옆 차로의 공간을 확인하여 차로 변경
- 오토파일럿 내비게이션 고속도로(Navigation on Autopilot on the highway)
- 고속도로 진입로에서 나들목, 진출로까지 자율주행
- 오토파키(AutoPark)
- 평행주차, 직렬주차
- 차량 호출(Summon; 서몬)
- 주차장에서 무인 단거리 직진 전진, 후진
- 스마트 호출(Smart Summon; 스마트 서몬)
- 옥외 주차장에서 차주의 스마트폰 위치까지 무인 자율 저속 이동
- 스마트 호출은 옥외 주차장의 주행선 정보를 오픈스트리맵에서 사용하는 것으로 알려져 있다.
120만 화소로 360도 커버가 가능한 8개의 카메라에서 얻은 초당 36프레임의 2차원 데이터를 통해 실시간으로 추론을 진행한다. 라이다는 사용하지 않으며 순차적으로 레이더, 초음파센서 등 기타 센서들이 대부분 제거되고 있는 추세이다. 각 센서마다 데이터 생성 패턴이 다르고 sql상에 부하가 생기며 이로 인해 전처리 과정이 힘들고 데이터 엔진에 부담이 가기에 시간적으로나 금전적으로나 큰 비용이 발생하기 때문이라고 한다.
실제로 레이더를 사용하지 않는주행을 2022년 5월에 성공적으로 진행하였다.
네트워크
위치에 따라 차이가 있는 각각의 카메라 특성을 제거하기 위해 정규화 과정을 거친 데이터들은 인공 신경망(RegNet, BiFPN)을 통해 이미지의 반복적 특징을 추출하고 이를 합성한다. 여기에 쿼리 기반 어텐션 신경망을 더해, 이미지 인코딩으로 3차원 위치 정보를 얻어 규정된 쿼리로 맵핑하면 실시간으로 공간상에 3차원 점유정보가 담긴 벡터 네트워크가 생성된다.
이를 기반으로 차선 네트워크와 객체 네트워크를 생성할 수 있는데, 우선 차선 네트워크는 점유 네트워케에 지도 데이터를 더해 차선 연결을 부호화한 특수 언어를 사용한다. 격자점상으로 가능한 모든 곳에 좌표를 생성하고 여러 좌표들을 이어서 선을 만들어 차선을 생성한다.
객체 네트워크는 점유 네트워크에 속도와 가속도, 위치 등의 운동 데이터를 처리하여 타객체의 경로를 예측하는 데 쓰인다.
경로 계획
네트워크들을 기반으로 가벼운 쿼리 신경망을 추가하여 최종적인 최적화 신경망을 구축한다. 벡터 공간 상에 수 백가지 후보 경로중에 하나를 선택하고 액추에이터를 제어하여 object detection, traffic detection, line change 등의 기능이 가능하게 한다.
관심있게 본 내용
주변 환경을 인지할때 어떤 센서들을 이용해서 Sensor Fusion을 진행하는지에 대해 관심있게 보았다.