[처음 배우는 딥러닝 챗봇] Chapter 3. 토크나이징

3.1 토크나이징 소개

자연어 처리 Natural Language Processing (NLP) : 컴퓨터 분야에서는 자연어 의미를 분석해 컴퓨터가 처리할 수 있도록 하는 일

 

자연어를 컴퓨터에 이해시키는 일반적인 방법

   1. 우선 어떤 문장을 일정한 의미가 있는 가장 작은 단어들로 나눈다.

   2. 나눠진 단어들을 이용하여 의미를 분석한다. - 여기서 가장 기본이 되는 단어들을 토큰 token 이라고 함.

 

토크나이징

   - 주어진 문장에서 토큰 단위로 정보를 나누는 작업

   - 문장 형태의 데이터를 처리하기 위해 제일 처음 수행해야 하는 기본적인 작업으로 주로 텍스트 전처리 과정에서 사용

   - 토크나이징을 어떻게 하느냐에 따라 성능 차이가 날 수 있음

 

3.2 KoNLPy

- 기본적인 한국어 자연어 처리를 위한 파이썬 라이브러리

- 오픈 소스 소프트웨어, GPL v3 라이선스(또는 그 이상)에 따라 자유롭게 코드를 사용할 수 있어 한국어 자연어 처리 분야에서 많이 사용하는 라이브러리

 

3.2.1 Kkma

- 서울대학교 IDS Intelligent Data System 연구실에서 자연어 처리를 위해 개발한 한국어 형태소 분석기

- '꼬꼬마'로 발음하여, GPL v2 라이선스를 따름

- 사용 방법

from konlpy.tag inport Kkma

- Kkma 모듈의 함수 설명

함수	설명
morphs(phrase)	인자로 입력한 문장을 형태소 단위로 토크나이징. 토크나이징된 형태소들은 리스트 형태로 반환.
nouns(phrase)	인자로 입력한 문장에서 품사가 명사인 토큰만 추출.
pos(phrase, flatten=True)	POS tagger라 부르며, 인자로 입력한 문장에서 형태소를 추출한 뒤 품사 태깅. 추출된 형태소와 그 형태소의 품사가 튜플 형태로 묶여서 리스트로 반환.
sentences(phrase)	인자로 입력한 여러 문장을 분리해주는 역할. 분리된 문장은 리스트 형태로 반환

- Kkma 형태소 분석기 사용

from konlpy.tag import Kkma

# Kkma 형태소 분석기 객체 생성
kkma = Kkma()

text = "아버지가 방에 들어갑니다."

# 형태소 추출
morphs = kkma.morphs(text)
print(morphs)

# 형태소와 품사 태그 추출
pos = kkma.pos(text)
print(pos)

# 명사만 추출
nouns = kkma.nouns(text)
print(nouns)

# 문장 분리
sentences = "오늘 날씨는 어때요? 내일은 덥다던데."
s = kkma.sentences(sentences)
print(s)

- Kkma 품사 태그 kkma.snu.ac.kr/documents/?doc=postag 

품사	설명
NNG	일반 명사
JKS	주격 조사
JKM	부사격 조사
VV	동사
EFN	평서형 종결 어미
SF	마침표, 물음표, 느낌표

 

3.2.2 Komoran

- Shineware에서 자바로 개발한 한국어 형태소 분석기. '코모란'

- Apache 라이선스 2.0을 따르는 오픈소스 소프트웨어

- 경량화 버전 有. 다른 형태소 분석기와 다르게 공백이 포함된 형태소 단위로도 분석이 가능해 多 사용.

- Komaran 모듈의 함수 설명

함수	설명
morphs(phrase)	인자로 입력한 문장을 형태소 단위로 토크나이징. 토크나이징된 형태소들은 리스트 형태로 반환.
nouns(phrase)	인자로 입력한 문장에서 품사가 명사인 토큰들만 추출.
pos(phrase, flatten=True)	POS tagger라고 부르며, 인자로 입력한 문장에서 형태소를 추출한 뒤 품사 태깅. 추출된 형태소와 그 형태소의 품사가 튜플 형태로 묶여서 리스트로 반환

- Komoran 형태소 분석기 사용

from konlpy.tag import Komoran

# 코모란 형태소 분석기 객체 생성
komoran = Komoran()

text = "아버지가 방에 들어갑니다."

# 형태소 추출
morphs = komoran.morphs(text)
print(morphs)

# 형태소와 품사 태그 추출
pos = komoran.pos(text)
print(pos)

# 명사만 추출
nouns = komoran.nouns(text)
print(nouns)

- 품사 태그 docs.komoran.kr/firststep/postype.html 참고

 

3.2.3 Okt

- Okt Open-source Korean Text Processor 은 트위터에서 개발한 Twitter 한국어 처리기에서 파생된 오픈 소스(아파치 2.0 라이선스) 한국어 처리기

함수	설명
morphs(phrase)	인자로 입력한 문장을 형태소 단위로 토크나이징. 토크나이징된 형태소들은 리스트 형태로 반환.
nouns(phrase)	인자로 입력한 문장에서 품사가 명사인 토큰들만 추출.
pos(phrase, stem=False, join=False)	POS tagger라 부르며, 인자로 입력한 문장에서 형태소를 추출한 뒤 품사 태깅 진행. 추출한 형태소와 그 형태소의 품사가 튜플 형태로 묶여서 리스트로 반환됨.
normalize(phrase)	입력한 문장 정규화 ex) 사랑햌ㅋㅋ > 사랑해ㅋㅋㅋ
phrases(phrase)	입력한 문장 어구 추출 ex) [입력] 오늘 날씨가 조아요       [출력] ['오늘', '오늘 날씨', '날씨']

- Okt 형태소 분석기 사용

from konlph.tag import Okt

# Okt 형태소 분석기 객체 생성
okt = Okt()

text = "아버지가 방에 들어갑니다."

# 형태소 추출
morphs = okt.morphs(text)
print(morphs)

# 형태소와 품사 태그 추출
pos = okt.pos(text)
print(pos)

# 명사만 추출
nouns = okt.nouns(text)
print(nouns)

# 정규화, 어구 추출
text = "오늘 날씨가 좋아욬ㅋㅋ"
print(okt.normalize(text))
print(okt.phrase(text))

- Okt 품사 태그 표 https://openkoreantext.org/

품사	설명
Noun	명사
Verb	동사
Adjective	형용사
Josa	조사
Punctuation	구두점

3.2.4 사용자 사전 구축

- 새롭게 생겨나는 단어나 문장은 형태소 분석기에서 인식이 안되는 경우가 많음.

- Komoran이 다른 형태소 분석기에 비해 사전을 관리하는 방법이 편리하며 형태소 분석 성능과 속도가 괜찮은 편.

- 사용자 단어 추가 방법

# [단어] Tab [품사]
엔엘피 Tab NNG
나는 내일, 어제의 너와 만난다 Tab NNG

 

3.3 마치며

- KoNLPy 형태소 분석기 비교

형태소 분석기	장점	단점
Kkma	분석 품질이 좋음 지원하는 품사 태그가 가장 많음	분석 속도가 느림 사용자 사전으로 추가한 복합 명사에 대해 불완전하게 동작함
Komoran	자소가 분리된 문장이나 오탈자에 강함 사용자 사전 관리 용이	적당한 분석 품질과 분석 속도
Okt	매우 빠른 분석 속도 정규화 기능 지원	사용자 사전 관리 어려움 용언 분석에 일관성이 부족함