시각장애인을 위한 AI 드론 에이전트 기반 키오스크 접근 지원 시스템. 지난 편에서 PnP로 "키오스크가 정면 몇 m, 몇 도 틀어져 있는지"를 알아냈다. 이번 편은 그 숫자를 처음으로 움직임으로 바꾼 기록이다. 눈이 손을 움직이는, 비전 폐루프의 첫 순간.아는 것과 가는 것은 다르다지난 편까지 드론은 "볼" 줄 알았다. 벽에 붙은 ArUco 마커 네 개를 하나의 평면으로 묶어 PnP를 풀면, 카메라 기준으로 벽이 정면 1.68m에 있고 22도 틀어져 있다는 것까지 나왔다. 그런데 아는 것과 그리로 가는 것은 전혀 다른 일이다. PnP가 뱉는 값은 카메라가 본 상대 좌표고, 드론을 움직이려면 그걸 월드 좌표의 목표점으로 바꿔 PX4에 넘겨야 한다. 이번 작업(SCRUM-25)은 그 변환과 제어를 붙여, ..
시각장애인을 위한 AI 드론 에이전트 기반 키오스크 접근 지원 시스템. 이번 편은 개발 진도가 아니라, 환경 사고 한 건을 처음부터 끝까지 추적한 기록이다. 결론부터 말하면 코드 문제가 아니었다.증상지난 편에서 PnP까지 잘 돌던 시뮬레이션이었다. 그런데 어느 날 PX4를 띄우니 콘솔이 여기서 멈췄다.INFO [init] Starting gazebo with world: .../worlds/kiosk.sdfINFO [init] Starting gz guiINFO [init] Waiting for Gazebo world...INFO [init] Waiting for Gazebo world...INFO [init] Waiting for Gazebo world... Waiting for Gazebo ..
시각장애인을 위한 AI 드론 에이전트 기반 키오스크 접근 지원 시스템. 드론이 스스로 키오스크 앞까지 날아가, 화면을 이해하고, 버튼을 눌러 주문을 돕는 것이 목표다. 1년짜리 산학 캡스톤. 이 글은 그 여정의 다섯 번째 기록이다.지난 편까지지난 편에서 시뮬레이션 안에 키오스크 목업 벽을 세우고, 거기 붙인 ArUco 마커 네 개를 드론 카메라로 검출하는 데까지 성공했다. 화면 위에 마커의 네 꼭짓점 픽셀 좌표가 찍히고, id 0~3이 배치대로 인식됐다.그런데 검출은 시작일 뿐이다. "마커가 화면 어디에 보인다"는 것과 "그래서 키오스크가 나로부터 얼마나 떨어졌고, 얼마나 비뚤게 서 있는지"는 전혀 다른 이야기다. 이번 편의 주제가 바로 그 간극을 메우는 도구, PnP다.이번 편은 개념부터 제대로 잡고 ..
시각장애인의 키오스크 접근을 돕는 AI 드론 에이전트를 만들고 있다. 1년짜리 산학 캡스톤 프로젝트이고, 이 글은 시뮬레이션에서 ArUco 마커를 검출하기까지의 기록이다. 지난 글([PX4 SITL 환경 구축])에서 만든 환경 위에 벽을 세우고, 드론이 그 벽을 보게 만드는 과정이다.지난 편까지지난 글에서 WSL2 위에 PX4 SITL과 Gazebo를 올리고, 파이썬으로 좌표를 던지면 드론이 그 자리로 날아가는 것까지 확인했다. 2m × 2m 사각형 궤적을 돌고 원점으로 복귀하는 데 성공했고, 로그에서 뽑은 궤적 그래프도 남겼다.거기까지는 빈 공간에서 좌표만 따라 도는 것이었다. 드론은 아무것도 보지 않았다.이번 목표는 그 빈 공간에 키오스크(벽)를 세우고, 드론이 카메라로 그걸 인식하게 만드는 것이다...
시각장애인의 키오스크 접근을 돕는 AI 드론 에이전트를 만들고 있다. 지난 글에서 기체와 카메라를 골랐고, 이번엔 그게 도착하기 전까지 뭘 했는지에 대한 기록이다.PX4, Gazebo, ROS2가 각각 뭔가시작하면서 제일 헷갈렸던 게 이거였다. 이름은 다 들어봤는데 뭐가 뭔지 몰랐다. 정리하면 이렇다.PX4 — 드론의 두뇌드론이 뜨려면 프로펠러 4개의 회전수를 초당 수백 번 조절해야 한다. 바람에 밀리면 반대쪽 모터를 더 돌리고, 기울면 바로잡고. 사람이 할 수 있는 일이 아니다. PX4가 그걸 한다.실기에서는 Pixhawk라는 보드 안에 들어간다. 그런데 이걸 PC 위 프로그램으로 그냥 돌릴 수도 있다. 그게 SITL(Software In The Loop)이다.여기서 중요한 점 하나. PX4 입장에선 ..
시각장애인의 키오스크 접근을 돕는 AI 드론 에이전트를 만들고 있다. 지난 글에서 기체와 카메라를 골랐고, 이번엔 그 카메라로 뭘 해야 하는지에 대한 기록이다.드론에게 "저기로 가"라고 말할 수 없다기업 멘토님이 1차 미팅에서 숙제를 내주셨다."키오스크 사진 한 장으로 컴퓨터가 3차원 정보를 알아낼 수 있는지 확인해오세요." 처음엔 왜 이걸 물어보시나 싶었다. 그런데 생각해보니 이게 프로젝트 전체의 관문이었다.드론에게 "키오스크 앞으로 가"라고 말할 수 없다. "앞으로 42cm, 오른쪽 8도"처럼 숫자를 줘야 움직인다. 게다가 매장 안이라 GPS도 안 잡힌다. 그 숫자를 만들 수 있는 건 카메라뿐이다.제어 루프를 그려보면 이렇다.① 사진을 찍는다② "키오스크에서 132cm, 오른쪽 15도" ← 이 계..
오랜만에 교보문고에 갔다가 별 생각 없이 집어 든 책이『아주 작은 습관의 힘』이었다. 결과적으로 근래 읽은 책 중 가장 오래 붙잡고 있게 된 책이 됐다. 읽고 끝난 게 아니라, 읽으면서 노트를 펴고 내 하루를 다시 그려보게 만들었기 때문이다.나는 목표를 세우고 며칠 지나면 귀찮아서 그만두고, 그 상태로 계속 머무는 경험을 반복해왔다. 왜 그럴까를 오래 생각했는데, 저자는 그 답을 목표와 시스템의 구분으로 설명한다. 목표는 얻고자 하는 결과이고, 시스템은 그 결과로 이끄는 과정이다. 나는 늘 결과만 붙잡고 과정은 방치했다. 사실 이 부분은 내가 최근에 혼자 도달했던 생각과 겹쳤다. 목표를 향해 가는 동안 내가 불행하다면, 그 목표를 이뤄서 뭐하나 싶었다. 그래서 과정이 행복해야겠다고 마음먹던 참이었는데, ..
