청각 장애를 가진 사람들은 현대의 다양한 콘텐츠 중 가장 큰 비중을 차지하는 동영상 시청이 불편한 것은 자명한 일이다.
콘텐츠 제작자들은 다양한 모양의 알록달록한 자막을 영상에 삽입하거나 공식 자막을 제공하고, 콘텐츠 배포 플랫폼(유튜브 등)은 발전된 AI 기술을 이용해 실시간 자동 자막 생성 기능을 제공한다.
청각이 불편한 이들의 경험을 증진 시키기 위한 다양한 시도가 있었지만, 대다수 자막의 포맷에서 벗어나지 못했으며, 우리는 자막이 사람의 음성과 간단한 환경음을 서술하는 상황에서는 적합하나 구체적인 환경음은 표현하지 못한다는 한계가 있다.
따라서, 이러한 한계를 벗어나기 위해 소리를 의성어로 분류하고 이를 영상 내의 올바른 객체에게 할당해 새로운 방향의 복지를 탐구하고자 한다.