여러 가지 자연어 처리 Task를 알아보자!

자연어 처리는 인간이 의사소통을 목적으로 사용하는 자연어(한국어, 영어, 일본어...)를 컴퓨터가 이해할 수 있는 언어로 바꾸는 것을 말한다. 컴퓨터가 자연어가 나타내고자 하는 실제 의미를 이해(NLU, Natural Language Understanding)하여 주제를 뽑아낼 수도 있고 화자의 감정도 분석할 수 있다.

 

또한 컴퓨터가 자연어를 직접 생성하는(NLG, Natural Language Generation) 작업도 가능하다. 최근 학생부터 어른까지 유행처럼 번진 ChatGPT가 각광받고 있는데, ChatGPT가 내놓는 답변이 바로 자연어 생성의 산물이다.

그럼 자연어 처리로 어떤 것들을 할 수 있는지 살펴보자.

 

1. 텍스트 분류(Text Classification): 긍부정 분류, 비속어 분류, 스팸 분류
2. 정보 검색 & 문서 랭킹(Information Retrieval and Document Ranking): 두 문서 간 유사도 결정
3. 텍스트 생성(Text-to-Text Generation): 번역, 요약, 생성
4. 지식 기반, 의미론적 개체와 관계(Knowledge bases, entities and relations): 두 개의 개체(entity) 간 관계 식별하기, 텍스트에서 의미론적 관계 추출
5. 주제와 키워드(Topics and Keywords): 문장 내의 주제나 키워드 파악
6. 챗봇(Chatbot): 입력을 받아 적절한 답변을 생성
7. 텍스트 추론(Text Reasoning): 주어진 지식/상식을 활용하여 추론 작업
8. 허위 정보 탐지(Fake News and Hate Speech Detection): 어뷰징 콘텐츠 필터링
9. 텍스트 변환(Text-to-Data and vice-versa): STT, TTS, Text-to-Image(컴퓨터비전과 교차 분야)