What is That?

XR 글래스로 바라본 사물을 인식해 제품 정보 카드를 시야에 띄우는 앱

팀 비공개 저장소라 코드 링크는 없습니다.

기간
2026.08
구분
팀 프로젝트
플랫폼
Meta Quest (Unity XR)
팀
팀 '개발자 전설이 되다'
상태
2026 AI·가상융합(XR) 서비스 개발자 경진대회 출품
역할
Unity XR 클라이언트 전체, 백엔드 일부

개요

XR 글래스를 쓰고 사물을 바라보면 앱 안에서 바로 사물을 인식하고, 제품 정보 카드를 시야에 띄워 주는 앱입니다.

주요 기능

  • 시선이 350ms 머문 사물을 지목
  • 앱 안에서 돌아가는 ONNX 사물 인식
  • 제품 정보 카드와 추적 ID 기반 캐시

맡은 일

  • 카메라 프레임 확보와 Unity Inference Engine으로 YOLO 모델 추론
  • 정보 카드 UI, 다른 물건에 정보가 잘못 붙던 문제를 추적 ID 캐시로 해결
  • 웹캠 테스트, Quest, 폰 세 가지 빌드
  • FastAPI와 Gemini 백엔드의 응답 지연 개선과 엔드포인트 보호

사용 기술

  • Unity
  • C#
  • OpenXR
  • ONNX
  • YOLO
  • FastAPI
  • Gemini API
  • Docker