4.1 임베딩이란? 임베딩 embedding - 컴퓨터는 수치 연산만 가능하기 때문에 자연어를 숫자나 벡터 형태로 변환하는 일련의 과정. - 단어나 문장을 수치화해 벡터 공간으로 표현하는 과정 - 말뭉치의 의미에 따라 벡터화하기 때문에 문법적인 정보가 포함 임베딩의 기법 - 문장 임베딩 문장 전체를 벡터로 표현하는 방법 1. 장점: 전체 문장의 흐름을 파악해 벡터로 변환하기 때문에 문맥적 의미를 지님 - 단어 임베딩에 비해 품질이 좋고, 상용 시스템에 많이 사용됨 2. 단점: 임베딩하기 위해 많은 문장 데이터가 필요하며 학습하는 데 비용이 많이 들어감 - 단어 임베딩 개별 단어를 벡터로 표현하는 방법 1. 장점: 학습 방법이 간단하여 실무에서 많이 사용됨 2. 단점: 동음이의어에 대한 구분을 하지 않기 ..

3.1 토크나이징 소개 자연어 처리 Natural Language Processing (NLP) : 컴퓨터 분야에서는 자연어 의미를 분석해 컴퓨터가 처리할 수 있도록 하는 일 자연어를 컴퓨터에 이해시키는 일반적인 방법 1. 우선 어떤 문장을 일정한 의미가 있는 가장 작은 단어들로 나눈다. 2. 나눠진 단어들을 이용하여 의미를 분석한다. - 여기서 가장 기본이 되는 단어들을 토큰 token 이라고 함. 토크나이징 - 주어진 문장에서 토큰 단위로 정보를 나누는 작업 - 문장 형태의 데이터를 처리하기 위해 제일 처음 수행해야 하는 기본적인 작업으로 주로 텍스트 전처리 과정에서 사용 - 토크나이징을 어떻게 하느냐에 따라 성능 차이가 날 수 있음 3.2 KoNLPy - 기본적인 한국어 자연어 처리를 위한 파이썬 ..