A method for sentence analysis of Japanese based on bigrams of cognitive units
Journal of Natural Language Processing1996Vol. 3(4), pp. 129–139
Abstract
現在, 自然言語処理システムの多くは, 処理単位として形態素を用いているが, 人間はもっと大きな単位で文を処理していることが既に分かっている. この単位を認知単位と呼ぶ. この知見から, 人間の文解析処理は, 認知単位の検出処理と, 検出した認知単位の取捨選択の2段階に分離できるものと考えられている. 本論文では, この考えに基づき, 第一段階として状態遷移図を用いて認知単位を検出し, 第二段階としてbigramを用いて認知単位を選択する, 計二段階からなる文解析法を提案するものである. この方法を用いて誤りを含んだテキストに対し誤り訂正を行う実験を行った結果, 形態素を単位としたbigramを用いるよりも良い結果を得ることができた.
Related Papers
- → A Method of Accounting Bigrams in Topic Models(2015)15 cited
- → Error correction for speaker-independent isolated word recognition through likelihood compensation using phonetic bigram(1999)1 cited
- → A method for sentence analysis of Japanese based on bigrams of cognitive units(1996)
- → A Corpus-Based Study of the Rate of Changes in Frequency of Syntactic Bigrams in English and Russian(2019)