RAG는 AI가 답변하기 전에 관련 자료를 찾아 읽고 그 근거를 바탕으로 답하게 하는 방식이다. 사내 규정이나 제품 문서처럼 모델이 원래 알지 못하는 자료를 다룰 때 이해해 둘 구조다. 사내 규정 질문을 예로 들면 최신 규정의 해당 조항을 찾아 답변에 넣는 일이 중요하다. 검색이 잘못됐는지 해석이 잘못됐는지 나누어 보면 어디를 고쳐야 할지 더 분명해진다. 1. RAG를 참고서로 이해하기모델이 외운 지식에 검색한 자료를 더해 답을 만든다.RAG는 검색 증강 생성을 뜻하며 질문과 관련된 문서를 먼저 찾는 절차를 더한다. 예를 들어 휴가 규정을 묻는다면 회사 문서에서 해당 조항을 찾아 답변에 제공한다. 모델을 새로 학습시키는 방식과 달리 어떤 자료를 가져왔는지가 답변의 출발점이 된다. 검색 결과를 받았다는 사..

로컬 LLM은 언어 모델을 내 컴퓨터에서 직접 실행하는 방식이다. 자료 처리 위치를 선택할 수 있다는 장점과 함께 메모리·속도·설치·관리 조건을 살펴야 한다. 외부 전송을 줄이려는 목적과 비용을 줄이려는 목적은 필요한 점검이 다를 수 있다. 무엇을 통제하려는지 먼저 정하고 실행 프로그램과 실제 작업에서 그 목적이 충족되는지 확인한다. 1. 내 컴퓨터에서 답을 만드는 방식로컬 LLM은 내 컴퓨터에서 추론하는 언어 모델이다.로컬에서는 모델 파일과 실행 프로그램을 준비한 뒤 PC의 CPU와 GPU, 메모리로 답을 생성한다. 서비스 회사의 서버가 계산한 답을 받는 방식과 계산 위치가 다르다. 설치가 끝났다는 사실과 원하는 품질로 실행된다는 사실은 구분한다. 이미 내려받은 모델을 실행하는 것과 최신 인터넷 자료를..