AI Literacy - 생성형 AI와 LLM의 원리

1. 오늘 학습 키워드

- LLM

- Fine-tuning (미세조정)

- RAG

---

2. 오늘 학습 한 내용을 나만의 언어로 정리하기

 

<LLM> = Large Language Model

- 거대 언어 모델 = 큰 언어를 다루는 모델

- 사람의 언어를 인식하고 이해해서 답변하는 AI 모델

- 보통 생성형 AI임

- 사람의 말을 듣고 사람의 말로 어떤 산출물을 발생시킴

 

 

- 언어의 의미를 이해하지 못함

• 사람이 입력한 문장을 그대로 저장하거나 기억하지 않음
• 문장을 컴퓨터가 처리할 수 있는 숫자(벡터, 토큰) 형태로 변환
• 학습한 패턴을 바탕으로 다음에 올 가능성이 높은 단어를 예측
• 이러한 예측을 반복하여 자연스러운 답변 생성

 

LLM 답변 생성 과정

 

1. 사용자가 문장을 입력

2. 문장을 컴퓨터가 처리할 수 있는 숫자(벡터)로 변환 = 임베딩

3. 학습한 수많은 데이터와 비교하여 문맥을 파악 = 트렌스포머 연산

4. 다음에 올 가능성이 가장 높은 단어나 문장을 예측

5. 이러한 예측을 반복하여 답변을 생성

 

*임베딩 - 문장을 수치화(백터화)하는 방법

*트랜스포머 알고리즘 - AI가 언어를 이해하는 방법(구조)

*트랜스포머 연산 - 그 방법을 실제로 수행하는 계산 과정

 

 

LLM의 한계

LLM 성능을 높이려면 새로운 정보를 계속 학습해야 함

 

• 새로운 문서가 생길 때마다 다시 학습해야 함
• 데이터가 많아질수록 비용과 시간이 증가함
• 최신 정보를 즉시 반영하기 어려움

→ 해결 방안 : Fine-tuning, RAG 등

 

 

 

< Fine-tuning> = 미세조정

- LLM의 특정 매개 변수를 조정하는 작업

- 업무 범위가 넓음

 

방법

 

• 새로운 데이터셋 추가 학습
• 특정 분야 데이터 재학습
• 모델의 매개변수(Parameter) 조정
• 답변 스타일 및 성향 조정
• 답변 길이 수정
• 답변 자유도 값(Temperature) 조정

장점

 

• 특정 분야 성능 향상 가능
• 비교적 빠르게 모델 개선 가능
• 원하는 답변 스타일로 조정 가능

단점

• 학습 및 검증에 시간 소요
• 비용 발생
• 결과가 기대와 다를 수 있음
• 만족스럽지 않으면 다시 미세조정 필요

 

 

 

<RAG>

- LLM이 학습하지 않은 추가 정보를 참고하여 답변을 생성하는 방법

- LLM을 다시 학습시킬 필요 없음

- 기존 학습 지식 + 추가 정보 활용
- 최신 정보 반영 가능

- 외부 데이터를 참고하여 답변 생성

 

방법

• Web 내용 참고
• 서버 문서 내용 참고
• 핸드폰 이미지 참고
• PDF 참고

장점

• 별도 학습 불필요
• 최신 정보 활용 가능
• 데이터 변경 시 즉시 반영 가능

단점

• 설계, 구축, 적용, 유지보수 필요
• 검색 품질에 따라 답변 품질 달라짐
• 운영 비용 발생

 

 

 

<Fine-tuning VS RAG>

- 상황과 목적에 따라 선택

- 두 방법을 함께 사용하는 경우도 많음

- 특정 분야 성능 향상 → Fine-tuning

- 최신 정보 활용 → RAG

---

[당일 과제]

"LLM을 활용해서 직무관련 업무 문서 만들기"

사용 LLM - Chat GPT

 

[LLM 활용 사례 – WBS 자동 생성]

활용 목적

직무 관련 문서를 작성할 때 WBS(Work Breakdown Structure) 작성이 필요했지만, WBS의 개념과 작성 방법을 잘 알지 못했다.

이에 LLM을 활용하여 WBS의 개념을 학습하고, 프로젝트 내용을 바탕으로 WBS 초안을 생성해 보았다.

 

활용 방법

LLM에 프로젝트 목적과 주요 업무를 입력한 후 WBS 작성을 요청하였다.

 

입력 예시

"AI 기반 WBS 자동 생성 서비스 개발 프로젝트의 WBS를 작성해줘."

 

활용 결과

LLM은 프로젝트를 단계별 업무로 분류하고 세부 작업을 구조화하여 WBS 형태로 제시하였다.

이를 통해 WBS의 개념을 이해할 수 있었으며, 프로젝트 계획을 보다 체계적으로 수립할 수 있었다.

 

느낀 점

기존에는 WBS가 무엇인지 몰라 작성이 어려웠지만, LLM을 활용하여 개념을 빠르게 이해하고 문서 초안을 작성할 수 있었다. 앞으로도 프로젝트 계획 수립이나 직무 문서 작성 시 LLM을 보조 도구로 활용할 수 있을 것으로 생각한다.

---

3. 학습하며 겪었던 문제점 & 에러

1) 

 LLM은 답변을 생성할 때 다음 단어를 예측하는 방식으로 동작한다고 학습했다. 하지만 "이 부분만 수정해줘"라고 요청해도 다른 문장까지 함께 수정하는 경우가 있어 이유가 궁금했다.

 이를 해결하기 위해 LLM의 답변 생성 방식을 추가로 찾아보았고, LLM은 특정 문장만 보는 것이 아니라 전체 문맥을 고려하여 답변을 생성한다는 점을 알게 되었다. 따라서 사용자가 지정한 부분 외에도 문맥상 더 자연스럽다고 판단되는 부분을 함께 수정할 수 있다는 점을 이해하게 되었다.

2)

 미세조정이 데이터 추가 학습과 매개변수 조정을 통해 모델을 개선하는 방법이라고 학습했지만, 실제 활용 사례가 궁금했다.

 이를 해결하기 위해 추가 학습을 진행한 결과, 의료 AI는 의료 데이터로, 법률 AI는 법률 데이터로 추가 학습하여 전문성을 높인다는 점을 알게 되었고 기업에서는 고객 상담 챗봇이나 사내 업무 지원 AI를 구축할 때 미세조정을 활용한다는 점을 이해하게 되었다.

3)

 RAG가 외부 정보를 검색하여 답변을 생성하는 기술이라고 학습했지만, 실제 서비스에서 어떻게 사용되는지 궁금했다.

 이를 해결하기 위해 추가 학습을 진행한 결과, 기업의 사내 챗봇이 사내 문서와 규정을 검색하여 답변하거나, 고객센터 AI가 최신 상품 정보와 정책을 검색하여 안내하는 방식으로 활용된다는 점을 알게 되었다. 또한 최신 정보가 중요한 서비스에서 RAG가 많이 사용된다는 점을 이해하게 되었다.