4.1 임베딩이란? 임베딩 embedding - 컴퓨터는 수치 연산만 가능하기 때문에 자연어를 숫자나 벡터 형태로 변환하는 일련의 과정. - 단어나 문장을 수치화해 벡터 공간으로 표현하는 과정 - 말뭉치의 의미에 따라 벡터화하기 때문에 문법적인 정보가 포함 임베딩의 기법 - 문장 임베딩 문장 전체를 벡터로 표현하는 방법 1. 장점: 전체 문장의 흐름을 파악해 벡터로 변환하기 때문에 문맥적 의미를 지님 - 단어 임베딩에 비해 품질이 좋고, 상용 시스템에 많이 사용됨 2. 단점: 임베딩하기 위해 많은 문장 데이터가 필요하며 학습하는 데 비용이 많이 들어감 - 단어 임베딩 개별 단어를 벡터로 표현하는 방법 1. 장점: 학습 방법이 간단하여 실무에서 많이 사용됨 2. 단점: 동음이의어에 대한 구분을 하지 않기 ..

3.1 토크나이징 소개 자연어 처리 Natural Language Processing (NLP) : 컴퓨터 분야에서는 자연어 의미를 분석해 컴퓨터가 처리할 수 있도록 하는 일 자연어를 컴퓨터에 이해시키는 일반적인 방법 1. 우선 어떤 문장을 일정한 의미가 있는 가장 작은 단어들로 나눈다. 2. 나눠진 단어들을 이용하여 의미를 분석한다. - 여기서 가장 기본이 되는 단어들을 토큰 token 이라고 함. 토크나이징 - 주어진 문장에서 토큰 단위로 정보를 나누는 작업 - 문장 형태의 데이터를 처리하기 위해 제일 처음 수행해야 하는 기본적인 작업으로 주로 텍스트 전처리 과정에서 사용 - 토크나이징을 어떻게 하느냐에 따라 성능 차이가 날 수 있음 3.2 KoNLPy - 기본적인 한국어 자연어 처리를 위한 파이썬 ..

자연어 처리 관련 Blog 한국어 임베딩 저자 이기창님 블로그 - ratsgo's blog 딥러닝을 이용한 자연어처리 입문 문장 임베딩과 다양한 자연어처리 모델에 대해 구체적인 설명이 있음. 하지만 bert 이후에는 유료. 김기현의 딥러닝 캠프 ebook 자연어처리 무료 학습 사이트 BoostCourse 파이토치랑 텐서플로우 등등 자료 대박 많음 KOCHAT 오픈 소스 한국어 챗봇 프레임워크 RASA 대화형 AI를 위한 프레임 워크 소개 Rasa는 대화형 AI를 구현하기 위한 오픈소스 프레임워크입니다. Rasa는 자연어 이해(NLU)와 대화 관리를 위한 라이브러리를 제공하여, 사용자가 쉽게 대화형 AI 애플리케이션을 구축할 수 있도록 돕습니다. Rasa는 파이썬으로 작성되었으며, 소스 코드는 GitHub..

예나.. 선정이 딸이에요.. 저희는.. 3회의 회의를 걸쳐 주제 선정..을 했어요.. 😎 1번째 회의 개인 자기 소개 진행 및 팀원 간 인사 진행 막연하게 생각해둔 챗봇 주제가 있는지, 개발 경험 있는지 등에 대한 이야기 진행 2번째 회의 데이터 수집 및 정제 + 데이터 분류 및 자연어 처리 (Transformer 중 기본모델, Bert, GPT-2 등), 챗봇 질의 및 답변 시나리오 개발(국내 외 챗봇 현황, 발전방향), 챗봇 질의 및 답변 엔진 개발, API 등 챗봇 서비스 화면 개발 의 4개로 역할을 나누어 각자 역할 분담 시행 챗봇 주제에 대한 재 논의 진행 3번째 회의 2번째 회의에 나온 챗봇 주제를 기반으로 최종 1개 주제 선정 후보군: 자동 다이어리 , 심리상담, 여행지 추천, 화장품 추천,..

1.1 챗봇의 이해 챗봇 : 채터(chatter)와 로봇(robot)의 합성어. 사람과 텍스트나 음성으로 대화를 나눌 수 있는 프로그램. 수년 전까지만 해도 다양한 시나리오에 대응할 수 있는 규칙을 기반으로 만든 챗봇이 대세. → 최근에는 딥러닝 기술의 발전으로 인해 실제 자연어를 이해하고 응답하는 수준 챗봇은 특정 분야에 맞게 개발되어야 함 → 범용 챗봇 개발은 기술적 어려움이 많은 분야 1.2 챗봇 활용 사례 1.2.1 카카오 챗봇 사례 카카오는 자사 봇 빌더를 기반으로 고객 상담 직원들이 직접 답변을 설계해 고객 응대에 필요한 챗봇을 구축함. 1.2.2 대학병원 챗봇 사례 의료챗봇 전문 기업 웨저 , 국내 최초로 대학병원용 의료상담챗봇 개발하여 운영중... 병원 내 민원 처리와 예약 변경 및 취소를..