自然言語処理技術 BERTの利用 その１
仕事で自然言語処理技術のBERTを使うことになった。
自然言語処理をやること自体が初めてで、Githubにある情報を見たけどまるでわからなかったので、あれこれ調べてみた。
自然言語
そもそも自然言語とは、
人間がお互いにコミュニケーションを行うための自然発生的な言語である。
（引用：自然言語 - Wikipedia）
その自然言語を処理することは、
自然言語処理（しぜんげんごしょり、英語: natural language processing、略称：NLP）は、人間が日常的に使っている自然言語をコンピュータに処理させる一連の技術
（引用：自然言語処理 - Wikipedia）
自然言語処理技術の基礎技術とは、
（引用：自然言語処理 - Wikipedia））
形態素解析とは、
形態素解析（けいたいそかいせき、Morphological Analysis）とは、文法的な情報の注記の無い自然言語のテキストデータ（文）から、対象言語の文法や、辞書と呼ばれる単語の品詞等の情報にもとづき、形態素（Morpheme, おおまかにいえば、言語で意味を持つ最小単位）の列に分割し、それぞれの形態素の品詞等を判別する作業である。
（引用：形態素解析 - Wikipedia）
構文解析とは、
構文解析（こうぶんかいせき、syntactic analysis あるいは parse）とは、文章、具体的にはマークアップなどの注記の入っていないベタの文字列を、自然言語であれば形態素に切分け、さらにその間の関連（修飾-被修飾など）といったような、統語論的（構文論的）な関係を図式化するなどして明確にする（解析する）手続きである。自然言語については自然言語処理における要点のひとつであり、プログラミング言語など形式言語の場合は、形式文法に従い構文木を得る。構文解析を行う機構を構文解析器（parser）と呼ぶ。
（引用：構文解析 - Wikipedia）
これだけではなくて、他にも基礎技術があった。
（引用：大規模データ時代に求められる自然言語処理）
基礎的な自然言語処理のこと、そこで使われる基礎技術のことが何となくわかった。
次では、自然言語処理技術のBERTについて。
