2024년 4월 18일 Llama 3가 발표되었다. 8B와 70B 모델이 있는데, 성능이 많이 올라온 듯 하고 70B 모델은 상용 LLM에도 비견할 수 있는 성능을 가진 모양이다.

• https://llama.meta.com/llama3/

각 모델은 Hugging Face에서 다운받을 수 있다.

• https://huggingface.co/meta-llama

성능이 많이 올라갔다길래 한번 써보기 위해 오픈소스 LLM을 운용할 수 있는 Ollama를 사용하기로 했다.

• https://ollama.com/

오늘자 최신 버전은 v0.1.41인데 맥에서는 brew로 설치하는게 버전 관리하기 편하다.

• https://github.com/ollama/ollama

1

brew install --cask ollama

설치가 되면 다음과 같이 사용하면 되고, Ollama app을 실행하고 있으면 serve 명령어를 따로 실행시킬 필요는 없다.

1
2

ollama serve  # 서버 구동
ollama run llama3  # llama3 latest를 실행하고, 없으면 다운로드 함

터미널에서 사용하기엔 여러가지로 불편한 점이 있기 때문에 Docker로 WebUI를 띄우면 ChatGPT같은 느낌으로 사용할 수 있다.

• https://github.com/open-webui/open-webui

1

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

그런데 도커를 띄우는 것도 귀찮다면 맥의 Native app으로 동작하는 Ollamac을 쓰면 된다. 다만 한글 지원이 아직 완벽하지 않는 등의 문제가 있다.

• https://github.com/kevinhermawan/Ollamac