[해외DS] 데이터 어노테이션, 자율주행 자동차 ‘눈’ 되는 AI 어떻게 도와줄까?

자동차 주변 환경 판단하는 AI, 정확성이 생명 자율주행 AI 머신 러닝 알고리즘 훈련 때 꼭 필요한 ‘데이터 어노테이션’ LiDAR 및 컴퓨터 비전 카메라 이용해 로 데이터 만들 수 있어, 공통점은 어노테이션 필요하단 것

Policy Korea

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 파비 데이터 사이언스 연구소(Pabii Data Science Institute)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

사진=Tayeb MEZAHDIA from Pixabay

‘자율주행 자동차’는 항상 미래 지향적인 개념이었지만, 최근 AI가 발전한 덕에 점점 현실로 다가오고 있습니다. 그렇지만 ‘완전 자동화’를 위해서는 자동차가 주변 환경을 이해하고 탐색할 수 있어야 하는데, 이때 AI가 판단 실수를 한다면 엄청난 재앙이 일어날 수 있습니다.

이래서 자동차가 주변 세계를 이해할 수 있도록 머신 러닝(ML) 알고리즘을 정확하게 훈련시키는 게 정말 중요합니다. 훈련 과정에는 이미지나 비디오 같은 ‘로 데이터(Raw data)’에 ‘어노테이션’ 작업을 한 데이터가 이용되는데, 나중에 언급하겠지만 이런 데이터 어노테이션 작업은 하청업체가 진행합니다.

지금부터 The Science Times는 자율주행 자동차의 머신 러닝과 ML 알고리즘의 훈련 방식을 정리한 내용을 살펴보겠습니다.

LiDAR와 3D 포인트 클라우드

LiDAR는 AI 차량이 도로를 ‘탐색’하는 과정에 도움을 주는 방식 중 하나로, Waymo나 Valeo 등 수많은 대기업에서 이용됩니다. LiDAR는 보통 자동차 위에 장착하는 큰 상자처럼 생겼는데, 빛의 펄스를 내보낸 뒤 그 빛이 물체에 반사되어 다시 돌아오는 데 걸리는 시간을 측정합니다. 빛이 되돌아오는 속도가 빠르면 물체가 차량에 매우 근접해 있다는 것을, 속도가 느리면 물체가 좀더 멀리 있다는 것을 의미합니다. 이 과정을 통해 LiDAR는 AI가 물리적인 세계를 보는 방식을 디지털화한 3D 포인트 클라우드를 만들어냅니다.

이렇게 만들어진 3D 포인트 클라우드는 앞서 언급했던, 자율주행 자동차의 머신 러닝을 위한 로 데이터로 쓸 수 있습니다. 단 그 전에 AI 시스템이 쉽게 학습할 수 있도록 데이터 어노테이션 작업을 해야 하는데, 시간이 굉장히 오래 걸리기 때문에 회사는 보통 하청업체를 이용합니다.

데이터 어노테이션은 다양한 방식으로 진행됩니다. 단순히 객체에 태그를 지정하는 ‘라벨링’ 작업도 있지만, 각 픽셀이 어떤 종류를 표현하고 있는지에 따라 라벨링을 하는 ‘시맨틱 분할(semantic segmentation)’ 같은 좀더 발전한 어노테이션 작업이 필요할 수도 있습니다. 정확히 어떤 어노테이션 작업이 필요한지는 프로젝트의 목표에 따라 달라집니다.

컴퓨터 비전 카메라

컴퓨터 비전 카메라는 LiDAR 대신 쓸 수 있는, 흥미로운 방식입니다. 실제로 테슬라가 좋은 효과를 얻기 위해 HydraNet에 이 방식을 쓰고 있기도 합니다. 자율주행 카메라는 인간의 눈과 같은 방식으로 작동합니다. 현재 대부분의 디지털 카메라에 채택된 기술과 흡사하다고 생각하면 됩니다. 기본적으로, 컴퓨터 카메라는 자동차, 도로 위의 선, 보행자 그리고 도로에서 마주칠 수 있는 수많은 다른 것들을 식별할 수 있습니다. 인간이 그렇게 할 수 있는 것처럼 말입니다.

컴퓨터 비전 카메라는 LiDAR보다 저렴하기에 수요가 높지만, AI 시스템 훈련을 위한 데이터 어노테이션 작업을 더 많이 해야 할 수도 있습니다. 보통 자율주행 자동차의 머신 러닝을 위해서는 비디오에 어노테이션 작업을 해야 하는데, 비디오는 초당 30프레임(fps) 혹은 고화질 비디오인 경우 60프레임으로 촬영되기 때문에 이미지보다 시간이 오래 걸립니다. 또 이러한 각 프레임에는 태깅, 선 및 스플라인, 바운딩 박스 및 기타 다른 방식의 어노테이션 작업이 이루어져야 합니다. 역시나 시간이 오래 걸리고, 확장성이 뛰어난 팀도 필요하기에 기업에서는 보통 이런 비디오 어노테이션 서비스를 전문적으로 제공하는 하청업체를 이용합니다.

AI 차량의 미래는 확실히 흥미진진하다

아직까지 완전 자율주행차는 없지만, 레벨 5 자동화는 현실화되고 있습니다. 기술이 발전하면 사람들은 AI 차량을 좀더 편안하게 타고, 운전할 수 있을 것입니다.

하지만 중요한 건 AI 시스템이 적절히 훈련된 게 맞는지 ‘확실하게’ 확인하는 겁니다. 어떤 상황에 처했든 ‘올바른’ 결정을 내릴 수 있는지 말입니다.


Self-driving cars have always been a futuristic concept, but thanks to the latest developments in AI, we are closer to making it a reality. However, in order to achieve full automation, the cars need to be able to understand and navigate in their immediate surroundings. Any mistake in judgment from the AI can have disastrous consequences. This is why it is so important to accurately train the ML algorithms that allow the car to understand the world around it. The training is done with raw data like images and videos, but this raw data needs to be annotated. As we will see later on, companies usually hire companies that provide data annotation services to perform such work. In this article, we will take a look at machine learning in self-driving cars and how ML algorithms are trained.

LiDAR and 3D Point Clouds

One of the ways companies like Waymo, Valeo, and many other big market players are relying on LiDAR to help the AI vehicle navigate the road. LiDAR looks like a big box that is usually mounted on top of cars, and it sends out pulses of light that bounce off objects and then return back to the LiDAR. If the light returns quickly, that means the object is within close proximity to the vehicle, and consequently, if it takes the light longer to return, then the object is further away. LiDAR produces a 3D Point Cloud, which is a digital representation of how the AI sees the physical world.

While these 3D Point Clouds are great for raw training data for machine learning in self-driving cars, this data needs to be prepared with various data annotation methods to make it easy for the AI system to learn. This is a very time-consuming process, which is why companies usually hire data annotation services to do this work. For example, they might perform labeling, where data annotators simply tag objects, or more advanced annotations might be needed, such as semantic segmentation, where each pixel is labeled with a corresponding class of what is being represented. The exact types of data annotation will depend on the requirements of the project.

Computer Vision Cameras

An interesting alternative to LiDAR is using computer vision cameras. This is something that Tesla is using to great effect with their HydraNet. Cameras in autonomous driving work in the same way our human vision works and utilize similar technology found in most digital cameras today. Basically, just like a human would be able to identify a car, lines on the road, pedestrians, and many other things that may be encountered on the road, computer vision cameras will be able to identify them as well.

Computer vision cameras are popular because they are cheaper than LiDAR, but they might require more data annotation to train the AI system. Machine learning in self-driving cars usually requires videos to be annotated, which is more time-consuming than images because videos might be shot in 30 frames per second (fps) or even 60 fps for high-quality videos. Each and every one of those frames will need to be annotated with things like tagging, lines and splines, bounding boxes, and other types of annotation. Such tasks are quite time-consuming and require highly scalable teams, so companies often prefer to outsource such tasks to professional providers of video annotation services.

The Future of AI Vehicles is Certainly Exciting

While we do not have fully autonomous vehicles on the road yet, we are getting close to level 5 automation. As technology advances, people will be more comfortable riding and driving in AI vehicles. The important thing is to make sure that the AI system is properly trained to make sure they can make the right decisions regardless of the scenario they are in.

Similar Posts