Scene Graph Generation Framework using Image Region Description

Abstract

장면 그래프 생성(Scene Graph Generation)은 이미지를 의미론적 구조 장면 그래프로 자동 매핑하는 작업이며, 이때 독립 개체 뿐만 아니라 개체, 개체의 속성, 개체 사이의 관계에 대해 올바른 레이블링이 필요하다. 본 논문에서는 일반적인 장면 그래프 생성 방법과는 다르게 이미지 영역 서술을 구문 분석하여 장면 그래프를 생성하는 방법을 제안한다. 본 논문에서는 이미지 영역 서술을 구문 분석하기 위해 추상적 의미 표현(Abstract Meaning Representation, AMR) 기법을 사용하고, 장면 그래프 생성을 위해 사전 훈련된 언어 모델(Pre-trained Language Model)을 사용한다. 제안한 접근 방식은 이미지 영역 서술에서 개체, 개체 속성 및 개체 간의 관계와 같은 높은 수준의 의미를 명시적으로 잡아내는 것을 보여주고, 기존 이미지 영역 서술을 활용한 장면 그래프 생성 모델과 비교했을 때 정량적으로 우수한 성능을 보인다.

Related Papers

• → Incremental scannerless generalized LR parsing(2019)5 cited
• → The fitted parse(1983)28 cited
• → An Extended Theory of Head-Driven Parsing(1994)5 cited
• A New Technique for DXF File Parsing Based on Spirit Parser Framework(2012)
• Computational parsing : syntactic analysis - semanitic analysis - semantic interpretation - parsing algorithms - parsing strategies : bibliography(1994)