[Ai] Ollama 설치

AI를 쓰고 싶지만 api 호출을 하는 것은 비용이 발생하므로 부담이 된다.

 

물론 저수준의 모델을 쓰면 상당히 싼 가격에 이용할 수 있지만 난 그것마저 하고 싶지 않았다.

 

그래서 Ollama 사용하여 작업환경 자체에서 직접 돌려보기로 하였다.

 

https://ollama.com

Ollama

 

이 사이트에서 직접 다운로드를 받거나

 

brew install ollama

 

나는 맥북이라서 homebrew로 설치를 했다.

 

다만 GUI가 필요하다면 따로 설치를 해줘야 한다.

 

 

1. Open WebUI

 

이녀석을 쓸거면 docker로 띄우는게 가장 편리하다.

 

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

 

이 명령어 한줄이면 언제든지 http://localhost:3000 으로 접속할 수 있다.

 

 

2. Ollamac

 

나는 RAG를 쓰고 스프링 서버와 연결을 할거기 때문에 1번을 쓸 생각이지만 만약 간단한 대화만 필요하다 하면  이 방식도 가벼우니 좋다.

 

다만 맥 전용이다.

 

https://github.com/kevinhermawan/Ollamac/releases

Releases · kevinhermawan/Ollamac