[CodeStates] Open AI의 ChatGPT와 Whisper소개 및 API 활용 _ 1부. 이론
OpenAI
- 샘 알트만이 2015년 12월 11일 설립
- 인공지능이 인류에 재앙이 되지 않고, 인류에게 이익을 주는 것을 목표로 함
- Microsoft가 투자를 받고, 독점 라이선스 제공
- 비영리 기업으로 시작했으나 현재는 한계 영리기업 형태
ChatGPT
- 초거대 언어모델 GPT-3.5 기반 대화형 인공지능 챗봇
- 채팅을 통해 질문을 입력하면 사람처럼 답을 해주는 서비스
- 아주 많은 파라미터를 가진 Transformer 기반 언어모델을 아주 많은 데이터로 학습
Language Model 언어 모델
- 언어 모델은 단어에 확률을 부여해서 문장이 얼마나 자연스러운지를 평가할 수 있는 모델
- 이전의 문맥을 바탕으로 다음 또는 특정 위치에 적합한 단어를 확률적으로 예측
- 언어 모델의 평가 지표는 텍스트의 PPL(Perplexity)을 사용
Ngram > RNN(1986) > LSTM(1997) > Transformer(2017)
N-gram
- 텍스트에서 n개의 단어 시퀀스의 확률만이 고려되는 매우 간단한 언어모델
- 코퍼스에 나오지 않은 단어 시퀀스의 확률을 정확하게 추정하지 못함
- 이전 n-1개의 문맥만 고려하므로 긴 시퀀스에 적합하지 않음
RNN
- Recurrent의 개념을 적용한 Neural Network 기반 언어모델
- RNN, LSTM, GRU 등의 네트워크를 사용
- N-gram 보다 긴 문맥을 기억할 수 있고, Unseen 확률도 더욱 정확
Transformer
- Attension Is All you Need, 2017 논문에서 제안한 방법
- 높은 Scalability 로 대형 언어모델에서도 안정적인 학습이 가능
- 범용성도 높아서 텍스트 외에도 음성, 영상에서도 사용되고 있음
Search
- Greedy Search : 가장 확률이 높은 단어의 경로만 생존
- Beam Search
Sampling
- Top-K Sampling: 높은 확률의 K개 단어 중에서 샘플링
- Top-p Sampling: 확률의 누적합이 p 이상 되도록 하는 단어 샘플링
GPTS
InstructGPT
- 등장 배경 : GPT3 결과는 도움이 안되고, 사실이 아닌 결과를 출력 + 해로운 결과를 제공
Step 1: Supervised fine-tuning (SFT)
- 프롬프트 선택: 데이터셋에서 다양하고 적합한 프롬프트 선택
- 작업자의 답변 작성: 서비스 정책에 맞는 적합한 답변 작성
- 모델 학습: 구축된 데이터로 GPT-3를 미세 조정
Step 2: Reward Model Training
- 응답 데이터 생성: SFT 모델에서 프롬프트에 대한 여러 개의 답변을 생성
- 작업자의 순위 및 점수 작성: 각 응답에 대한 순위와 점수를 작성
- 보상 모델 학습: 응답의 보상을 예측하는 모델 학습
Step 3: Policy Training (LM Training)
- 학습용 프롬프트 데이터 선정
- 언어 모델 업데이트 및 답변 생성: 손실 함수에 따라 모델을 업데이트, 새로운 모델로 답변 데이터 생성
비감독 사전학습 (Un-supervised Pre-training)
- Wav2Vec 같은 비감독 사전학습 기술이 주목받고 있음
- 사람이 만든 라벨이 필요 없으므로 수백만 시간까지 데이터가 사용 가능
- 비감독 사전 학습 모델을 파인 튜닝해서 특히 적은 데이터에서 SOTA를 달성
Motivation
비감독 사전 학습의 한계
- 음성인식을 위해 파인튜닝 필요
- 머신 러닝이 우수하지만 다른 데이터에서 성능 낮음
- 머신 러닝이 사람이 인지하지 못하는 데이터의 특성을 악용하고 있기 때문
Whisper
- 음성인식의 최종 목적은 모든 데이터에서 파인 튜닝이 없이 안정적으로 동작하는 것
Data Preprocessing
- 인터넷에서 전사가 있는 음성 데이터를 구축했다. : 다양한 화자, 언어, 환경이 포함, 인식기를 강건하게 만들어 줌
- 전사 오류가 많아서 자동 필터링을 개발 : 인식기가 만들어낸 전사를 걸러야 했음
- 언어 검출기 개발 : 음성 언어 검출기(VoxLingua107 사용) 개발, 전사 텍스트로 CLD2에서 나온 언어와 다르면 학습데이터 제외, 전사 언어가 영어면 번역 데이터로 사용
- 음성은 30초 단위로 자르고 전사도 분리 : 잘랐는데 전사가 없는 음성도 VAD 학습 데이터로 사용
Long-form Transcription
- 30초 세그먼트로 연속적인 전사를 수행
- 모델로 추정된 시간 스탬프에 따라서 window shifting을 한다.
- 안정적으로 긴 오디오를 전사하기 위해서 빔서치와 "반복과 모델 예측 로그 확률"에 기반한 temperature scheduling이 중요
Comparison with Human Performance
- 테스트셋에서 남은 개선량을 위해서 전문가의 전사능력과 비교
- Whisper는 사람한테 아주 가까운 성능을 보인다.
Limitations and Future Work
Current limitations of Whisper
- Inaccurate timestamps
- Hallucinations
- Low performance on low-resource languages
- No speaker recognition
- No real-time transcription
- Pure PyTorch inference
Whisper 설치 & 사용 방법
결과
