EdgeFuse

로봇과 같은 엣지 디바이스에서 멀티모달 센싱은 이미 표준이 되어가고 있습니다. 가시광 카메라와 열화상 센서 두 개만 써도 이미지 리사이즈에 CPU가 버거워집니다. 프레임이 도착하는 속도를 CPU가 따라가지 못하면서 두 스트림은 점점 어긋납니다.

여기에 LiDAR, 레이더, SAR까지 더해지면 어떻게 될까요? 센서가 늘어날수록 전처리 부담은 선형이 아닌 방식으로 커집니다. 이것은 튜닝으로 해결할 수 있는 문제가 아닙니다.

원시 프레임을 CPU로 보내는 대신, FPGA 패브릭에 DODA 오버레이를 배치해 센서와 애플리케이션 코어 사이에 둡니다. 가시광 카메라(45 FPS, 1280×960)와 열화상 센서(9 FPS, 160×120)에서 픽셀이 도착하는 즉시 DODA가 리사이즈와 시간 정렬을 처리합니다. ARM 코어에는 이미 동기화된 스트림 하나만 전달됩니다.

마지막 픽셀이 도착하는 순간 전처리가 완료됩니다 — CPU 단독 기준선 대비 전처리 19× 가속.

같은 하드웨어에서 나란히 비교합니다. CPU 단독 처리(왼쪽)에서는 가시광과 열화상 프레임이 어긋나 열화상 오버레이가 사람의 실제 위치에서 벗어납니다. DODA 전처리(오른쪽)에서는 두 스트림이 단단히 고정됩니다.

CPU 단독DODA 적용

동기화에 더해, EdgeFuse는 주변 밝기에 따라 EO와 IR의 융합 가중치를 연속적으로 조정합니다. 고정된 임계값 없이, 조명이 변하는 대로 블렌드가 부드럽게 이동합니다. 빛이 충분하면 가시광 뷰가 주를 이루고 열화상이 PIP로 표시되고, 빛이 줄어들면 융합된 열화상 뷰가 전면에, 가시광이 PIP로 바뀝니다.

전환은 즉각적입니다. FPGA에서 센서 가까이 판단이 이루어지기 때문에 애플리케이션은 이미 전환된 스트림을 추가 지연 없이 받습니다.

모든 것이 ARM Cortex-A53이 탑재된 FPGA SoC 보드 한 장에서 동작합니다. 열화상(IR) 센서와 가시광(EO) 카메라는 보드에 직접 연결되며, DODA 프로토타입은 FPGA 패브릭에, 애플리케이션은 A53에서 실행됩니다.

이 프로토타입은 촉박한 일정 속에서 완성되었습니다. 현재의 19× 가속은 시작에 불과합니다. 두 가지 근접 목표:

• FPGA 위의 DODA 오퍼레이터로 구현하는 칼만 필터 기반 센서 융합.
• CPU 도달 전에 렌즈 왜곡을 보정하는 EO/IR 기하학적 교정.
• 두 개선이 완료될 경우 CPU 단독 기준선 대비 약 100× 가속 예상.