AI Study/AI Agent10 [AI Agent] RAG를 이용한 문서 기반 LLM 생성하기 RAGRAG ( Retrieval Augmented Generation ) 란,LLM이 외부 지식(DB,문서 등)을 검색해서 답변을 생성하도록 하는 기법이다 [R] Retrieval (관련 문서 검색)관련 문서를 검색하려면 다음과 같은 과정을 거쳐야 한다 1. File을 Load할 수 있는 코드 2. Load된 정보를 Chunk로 나누는 코드 3. 나누어진 정보를 저장하는 Vector DB 4. Vector DB를 탐색하는 Retriever 이렇게 하면 파일에서 정보들을 추출하여 문서기반 LLM을 생성할 수 있다 [A] Augmented (검색결과로 정보를 보강)위에 Retriever가 물고온 context, 즉 문서 정보와 사용자의 질문을 합쳐 프롬포트를 생성한다는 것이다- 이때 .. 2026. 3. 11. Agent Tool Call 구현 및 Tool 호출에 따른 조건 추가하기 Tool CallTool Call 방식은 Agent가 유기적으로 상황에 필요한 Tool을 호출하고 그거에 대한 답변을 반환하는 방식이다그렇기 때문에 당연히 LLM을 로드하는 것부터가 시작이다class My_Agent: def __init__(self): self.name = 'My_Agent' self.my_llm = ChatOpenAI( openai_api_base=base_url, openai_api_key=api_key, model="gpt-5.2", temperature=0 )대부분 Tool을 사용한다는 것은 일정한 대답을 원하는 경우가 많기 때문에LLM의 temperature.. 2026. 2. 3. LangGraph, Agent의 Description, Doc-string Yaml로 관리법 Doc-string 관리Agent를 LangGraph로 구현해서 사용하다 보면run 함수나 tool 정의에 있어서 다음과 같은 Error 가 나온다ValueError: Function must have a docstring if description not provided해결방법은 생각보다 단순한데 그냥 해당 오류가 나오는 곳에 doc-string으로 description을 적어서Agent에게 해당 함수를 설명해 주면된다@tool("Second_tool", return_direct=True)def Second_tool(param1: str, param2: int) -> str: ''' 이것은 나의 두번째 tool 입니다 ''' logger.info(f"MY First Tool")근데.. 2026. 2. 3. [AI Agent] ollama 외부 연결 Setting(Container + local) 하고자 하는 목표는 다음과 같다. local 환경의 ollama : port 11500 사용Container 기반의 ollama : port 11434 사용이렇게 하면 두 환경 모두 사용이 가능하지 않을까 라는 생각 1. local 환경 세팅 (Window)https://aisj.tistory.com/245 Ollama를 이용한 환경 세팅Ollama를 왜 사용하냐?그냥 너도 나도 LLM 모델을 Ollama에 올리길래Hugging Face 말고 Ollama 써봐야지 하고 환경 세팅을 해봤다 Ollama의 장점은- 오프라인 LLM 이 가능하다는 것이다 (인터넷없이 개인 PC에aisj.tistory.com여기에서 받은 ollama에서 시작을 해보자 지금 port가 11434로 되어 있는데 이것을 11500으로.. 2025. 10. 30. [AI Agent] ollama 모델 Open Web ui 연동(Docker) Open web ui를 연동해서 띄우는 방법은 많다실제로 github에 들어가면 자세하게 방법들이 나와 있다https://github.com/open-webui/open-webui GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...)User-friendly AI Interface (Supports Ollama, OpenAI API, ...) - open-webui/open-webuigithub.com나는 이중에 Docker로 설치하는 방법을 사용하고자 한다 나의 경우는 첫번째docker run -d -p 3000:8080 --add-host=host.docker.internal:host-ga.. 2025. 10. 29. Ollama를 이용한 환경 세팅 Ollama를 왜 사용하냐?그냥 너도 나도 LLM 모델을 Ollama에 올리길래Hugging Face 말고 Ollama 써봐야지 하고 환경 세팅을 해봤다 Ollama의 장점은- 오프라인 LLM 이 가능하다는 것이다 (인터넷없이 개인 PC에서 사용)- cmd 가 직관적임. ollama pull, run, ps, start, stop- Rest API : 11434 포트를 기본으로 /api/generate 등 엔드포인트를 제공- 모델 라이프사이클 관리 가 쉽다는 장점이 있다 명령어 들은 아래 링크를 통해 알 수 있다https://docs.ollama.com/cli CLI Reference - Ollama docs.ollama.com 1. Ollama 다운로드 (Container)먼저 추후에 Open-We.. 2025. 10. 27. 이전 1 2 다음
