이전에 카메라와 라이다를 연동하여 진행하던 포스트가 있었는데, 알고있는 지식의 양이 너무 한정적이기 때문에 제대로 설명할 수 없었다. 그 후 다시한번 연구하는 시간을 가졌기 때문에 다시한번 포스팅을 진행해보고자 한다. 카메라와 라이다를 퓨전하기 위해서 제일 처음 해야 할 일은 좌표계를 통일시키는 것이다. 라이다를 중심으로 좌표계를 생성한다면 라이다에서 우리가 보는 데이터는 World frame의 좌표계이다. 이 때 우리는 이 World frame을 Camera frame으로 변환해줘야 한다. World frame과 Camera frame은 같은 단위계에서 중심만 바뀔 뿐이므로 라이다와 카메라의 실제 물리적 거리만 반영해주면 된다. 위 수식 마지막 부분에서 R과 t가 그 역할을 한다. R은 보통 3*3 행..

gnaseel.tistory.com/44?category=0 [Sensor fusion] Camera - Lidar 퓨전 이전에 카메라와 라이다를 연동하여 진행하던 포스트가 있었는데, 알고있는 지식의 양이 너무 한정적이기 때문에 제대로 설명할 수 없었다. 그 후 스스로의 부족함을 카메라와 라이다를 퓨전하 gnaseel.tistory.com 위 최신 링크가 더 이론적이며 유용함. ----------------------------------------------------------- 센서퓨전을 공부하다보니 앞으로 내가 연구할 분야라면 개발경험을 쌓는 것도 좋은 경험이 될것 같았고, 았 오랜만에 코딩하며 개발하고 싶어서 센서퓨전에 관한 프로젝트를 진행하기로 결정했다. 라이다와 카메라를 퓨전해서 물체를 인식..

K-means Clustering은 무엇인가 K-means Clustering(이하 KC)은 대표적인 분리형 군집화 알고리즘중 하나이다. 이 알고리즘은 point cloud를 Clustering할 때 사용되는데, Expectation과 Maximization을 반복하며 최적을 찾아가는 알고리즘이다. 아래 설명을 보다보면 매우 RANSAC과 유사한 논리를 전개하는 것을 볼 수 있을 것이다. 이제부터 실제 예시를 통해 clustering이 어떻게 진행되는지 알아보자. 알고리즘 구조 위와 같은 point cloud에 KC를 적용해보자. 우선 KC를 적용하려면 군집의 수를 정해야 한다. 군집의 수가 정해지면 모든 point들 중 랜덤으로 군집의 중앙이 선정된다. 군집의 수를 2라고 설정하고 진행해보겠다. 포인트..

PFH Point Feature Histogram 아무리 검색을 해도 PFH에 대한 한국어 검색 결과를 찾을 수 없어서, 직접 공부한 후 정리하기로 했다. 아마 PFH에 대해 공부를 할 정도의 사람이면, 영어로 된 레퍼런스를 뒤져 정보를 얻는데 익숙하기 때문에 구태여 한글로 정리된 문서가 필요 없었던 것 같다. PFH는 무엇인가? Point Feature Histogram의 약자로, xyz좌표로 이루어진 Point cloud에서 특징을 추출할 때 사용된다. histogram을 기반으로 특징을 서술하는 descriptor이며, Point cloud에서 특징을 추출할 때 주로 사용되는 FPFH의 기반알고리즘이다. 인접한 포인트들의 법선벡터 및 거리를 이용하여 histogram을 만든 후 특징으로 사용한다. ..