Learning Snippet Relatedness Based on LSTM for Temporal Action Proposal Generation

Abstract

최근 많은 미디어 플랫폼의 발달로 비정형 비디오들의 수집과 접근이 용이해졌다. 이에 따라 비디오 이해를 위해 비정형 비디오에서 행동의 시작과 끝을 찾는 시간적 행동 검출 연구가 최근 활발히 이루어지고다. 시간적 행동 구간 생성 방법은 Temporalonvolutional Network를 이용하여 행동 구간을 정의한다. 이와는 다르게, 본 논문에서는 행동을 시간적 발생 순서에 따라 모델링 하기 위하여 LSTM을 이용한 방법을 제안한다. 제안하는 방법은 LSTM을 이용하여 단편 관련성 (Snippet Relatedness)를 평가하고 이를 통해 행동 구간을 정의한다. 단편 관련성은 단편들이 서로 동일한 행동 구간에 포함되는지를 나타내는 지표이다. 제안하는 방법은 THUMOS-14 데이터 셋에 대한 실험에서 50개의 행동 구간 수 추출 시 41.34% 평균 리콜 성능을 얻어 BSN, MGG 보다 3.88%, 1.41% 우수한 성능을, SRG보다는 0.85% 떨어진 성능을 보였다.

Related Papers

• → Video Person Re-identification with Competitive Snippet-Similarity Aggregation and Co-attentive Snippet Embedding(2018)230 cited
• → Expression Snippet Transformer for Robust Video-based Facial Expression Recognition(2021)3 cited
• Investigation on effect of snippet on user's relevance judgment of documents(2010)
• PCA를 이용한 Snippet 생성 방법(2009)
• → Learning Snippet Relatedness Based on LSTM for Temporal Action Proposal Generation(2020)