AI自然言語処理とは？

皆さん、AlexaやSiriとおしゃべりしたことはありますか？
今日の天気を聞いたり、好きな音楽を掛けてくれたりと、我々の身の回りのことをサポートしてくれる機能です。

最近ではちゃんと会話できるくらい進歩しています。

様々な機器も開発され、IoT端末と連携することで家中の電子機器が声で操作することも出来るようになりました。どんどん便利になっていきますね。

さて音声で操作するこのシステムは、AIを使った技術で「AI自然言語処理」と呼ばれています。

では実際にはどういった処理で行われているのでしょうか。

ということで今回は「AI自然言語処理」について、簡単に解説してみたいと思います。

AIとは

まずAI［Artificial Intelligence（人工知能）］とは、その名の通り、人工的に人間の知能を模倣した技術のことを指します。具体的にはコンピューターが人間のように学習・推論・認識・知覚・判断させる技術です。近年注目されている機械学習やディープラーニングなどもAIの下敷きとなる技術です。従来のコンピューターなどは命令したものを処理、回答する仕組みだったのに対し、自ら考え、学習し、答えさせるようなテクノロジーがAIと呼ばれています。まだ発展途上の技術の為、研究者によって定義が異なる場合もあるそうです。

自然言語とは

我々が普段話し、書き、読んでいる言語「言葉そのもの」のことを指します。これと対比した言語が「プログラミング言語」ですが、この二つの違いは、言語の曖昧性にあります。自然言語は同じ文章でも、何通りも意味、解釈があるのに対し、プログラミング言語は唯一の解釈しかありえません。こういった曖昧性が存在する言語だからこそ、AIでなければ処理できない要因の一つです。

自然言語処理

上記で述べた通り、自然言語には曖昧性があり、その意味を文脈など様々な要素から解析しなければなりません。また日本語や英語など、言語によっても行われる処理が異なる場合があります。自然言語処理では主に以下の処理が行われます。

・機械可読辞書とコーパスの用意
・形態素解析
・構文解析
・意味解析
・文脈解析

機械可読辞書とコーパス

まず処理の前段階として用意されるのが機械可読辞書とコーパスです。
機械可読辞書とは、その名の通り機械が読み取ることのできる辞書のことです。一般的な辞書とは異なるものです。
コーパスとは、言語の使用方法を記録・蓄積した文書集合のことで、文法をまとめたようなものです。その為、データが大きければそれだけ正確に処理を行うことが出来ます。
これらを使って処理を行っていきます。

形態素解析

形態素とは「文字で表記された自然言語の文において、意味を持つ最小の言語単位」のことです。まずは文章をこれらに分割し、それぞれに品詞を付与し、文章の中の各形態素から「意味」を抽出します。

以下の文を例に見てみましょう。

原文　： 青い服の小さな少女
解析後：｜青い（形容詞）｜服（名詞）｜の（副詞）｜小さな（形容詞）｜少女（名詞）｜

となります。

構文解析

次に、意味を抽出した形態素からどのような構文になるかを考えます。これは係り受け解析とも呼ばれ、単語間の関係性を解析していきます。以下の文の様に複数の解釈があり、それらを列挙していきます。

青い服の｜小さな少女
青い｜服の小さな｜少女
青い服の小さな｜少女

意味解析

構文解析したものの意味を解釈する工程です。複数の意味を持つ文から正しい意味を選び出す処理です。以下の様に意味づけをして、正しいものを選び出します。単語自体に複数の意味がある場合（「お盆」など）さらに複雑になるため、より難易度が上がります。

青い服の｜小さな少女　＝　意味：服が青い。少女は小さい。
青い｜服の小さな｜少女　＝　意味：少女は青い。服が小さい。
青い服の小さな｜少女　＝　意味：少女は青くて小さい服を着ている

文脈解析

最後に行われるのが文脈解析です。解析した複数の文章に対して、文章を超えたつながりを解析する処理です。文脈は文章中に現れる語の関係や文章の背景に隠れた知識などといった複雑な情報が必要になるため、意味解析以上に難しい処理となっています。
このことから、文脈解析に関してはまだ実用化されていないようです。

以上、AI自然言語解析がどういう処理で成り立っているのかをご紹介致しました。
ここまで読んで頂いた方にはわかると思いますが、これはまさしく言語学の分野なんですね。
つまり「ＡＩ自然言語処理」とは、言葉を言語学的に分解、解析していくシステムということです。人間はどうやって言葉を理解しているか、というところがとても重要なんですね。

まだまだ発展していくＡＩの分野ですが、ロボットが自立して生活したり社会に出るような時代も近いかもしれません。