부메랑

기획 배경

부동산 계약 과정에서 발생하는 정보 비대칭 문제를 해결하기 위해 시작한 프로젝트입니다.

부동산 계약은 계약서뿐만 아니라 현장에서 오가는 대화 속 구두 합의가 중요한데, 기존 서비스들은 문서 분석에만 집중되어 있어 대화 기반 리스크를 파악하지 못하는 한계가 있었습니다. 실제 공인중개사 인터뷰를 통해 구두 합의 누락이 주요 분쟁 원인이라는 점을 확인했습니다.

이를 해결하기 위해 계약 현장에서의 대화와 문서를 동시에 분석하여 위험 요소를 실시간으로 알려주는 AI 기반 서비스 ‘부메랑’을 기획했습니다.

문제 해결 및 기술 구현

- STT + OCR + LLM을 결합한 통합 분석 구조 설계

- WebRTC 기반 실시간 음성 스트리밍 → STT 처리 파이프라인 구현

- 계약서 및 등기부등본 업로드 → OCR 기반 문서 구조화 처리

- STT 결과 + OCR 결과를 LLM으로 통합 분석하여 리포트 생성

- WebSocket 기반 실시간 처리 상태 전달 및 UI 반영

- STT 정확도 문제 : 소음 환경에서 인식률 저하 → ffmpeg 기반 노이즈 제거로 개선

- OCR 인식 오류 : confidence score 기반 후처리 + 키워드 패턴 보정 적용

- 실시간 UX 문제 : WebSocket으로 처리 완료 이벤트 push

역할

[기획 / 디자인 / 백엔드 담당]

- 서비스 문제 정의 및 전체 기능 구조 설계

- STT / OCR / LLM 통합 흐름 설계

- 백엔드 API 구조 및 데이터 흐름 설계

- 프론트,백엔드,AI 서비스 간 인터페이스 정의

- 팀 협업 구조(API 스펙 기반 병렬 개발) 설계