[INTRO]

최근의 경향

• 검색이 아니라 질문으로 초점이 옮겨지고 있다. 
• 질문을 던진 다음 자신이 원하는 대답을 얻고 싶어한다. 
• 멀티 모달까지 지원하므로 이미지와 텍스트를 조합해서 원하는 질문을 주고받을 수 있다.

 

머신러닝 딥러닝의 변화

✔️ 생성형 AI와 초거대 언어 모델(LLM) 등장 이전

: 도메인 전용 모델 - 도메인에 축적된 데이터 활용해 예측을 하고 통찰할 수 있게 협소한 범위의 문제 풀기 (e.g. 이미지 분류 국한)

✔️ 생성형 AI와 LLM 등장 이후

: 다양한 작업이 가능한 범용적인 모델 (e.g. 계산, 번역, 분류, 요약 등 다양한 기능)

 

개발 자체의 변화

✔️ 초창기 프로그래밍 : 논리 중심

✔️ 생성형 AI 등장 이후 : 프롬프트 엔지니어링 - 사람에 밀접한 언어로 비즈니스 로직 구사 가능

➡️ 적확성 담보는 어렵지만 유연성과 확장성을 얻을 수 있다. 

 

검색 증강 생성(RAG)

기업 내부의 다양한 문서와 데이터를 임베딩을 통해 벡터 데이터베이스로 지식 기반 구축 후 사용자가 질문한 대답과 가장 관련 있는 문서 조각을 지식 기반으로부터 뽑아내 LLM에게 요약 정리하게 만드는 방법으로 동작하는 애플리케이션

• TF/IDF , BM25 : 희소 벡터(sparse vector)로 문장의 단어(키워드) 인코딩
• RAG : 의미(semantic)검색은 고밀도 벡터(dense vector)로 단어의 추상적의미와 관계 인코딩 ➡️ 언어 처리 강점이 있는 LLM과 잘 맞음 

 

AI와 LLM 시장의 키워드

1. 멀티 모달(multi-modal) : 텍스트, 이미지, 음성, 동영상 등 다양한 형식의 데이터 처리
2. 에이전트(agent) : AI모델이 장기 기억을 가지고 인터넷 검색, 코드 실행 등 다양한 도구를 활용해 사용자의 문제를 해결하는 시스템
3. 온디바이스 AI(on-device AI) : AI모델이 클라우드나 고성능 서버가 아니라 사용자 장비에서 직접 실행되는 것(개인정보유출위험 없다)

 

책의 흐름

1부 - 2부 : LLM의 원리, 모델을 학습하는 방법, 추론하는 방법 등 모델 깊이 이해

3부 : LLM을 활용해 애플리케이션을 개발할 때 필요한 구성 요소와 RAG 알아보기

4부 : 멀티 모달, 에이전트, 새롭게 연구되는 LLM 아키텍쳐 소개