he4et/oddsquat
1
0
Fork 0
mirror of https://github.com/He4eT/oddsquat.git synced 2026-05-04 20:37:22 +00:00
Code Issues Projects Releases Packages Wiki Activity

posts: selfhosted_llm: cleanup

Browse source
This commit is contained in:
He4eT 2024-01-17 13:39:46 +01:00
commit aec28eca91
1 changed files with 3 additions and 4 deletions
Download patch file Download diff file Expand all files Collapse all files

7
src/pages/posts/2024/selfhosted_llm.md
View file

@ -57,7 +57,7 @@ description: 'Персональная LLM в docker-контейнере на
### Установка Ollama
Для создания и первого запуска контейнера нужно выполнить команду:
Для создания и первого запуска контейнера нужно выполнить команду:
```
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
```
@ -213,8 +213,7 @@ pip install litellm
litellm --model ollama/mistral --api_base http://ollama.internal:11434 --drop_params
```
Для сборки и запуска docker-контейнера
Собрать и запустить docker-контейнер можно с помощью этих двух команд.
Собрать и запустить docker-контейнер можно с помощью этих двух команд:
```sh
docker build -t diy-ollama-proxy .
docker run --net=host diy-ollama-proxy
@ -279,7 +278,7 @@ docker run --net=host diy-ollama-proxy
},
```
В этом конфиге я выключил несколько дефолтных промптов и добавил несколько своих:
В этом конфиге я выключил несколько дефолтных промптов и добавил несколько своих:
- `Improve_Text` заменяет выделенный кусок текста "улучшенным".
- `Modify_Text` является аналогом встроенного `Modify_Code` и позволяет делать с выделенным текстом всякие глупости. Например, заменить все числа на слова.
- `Use_Selection_as_Prompt` просто заменяет выделенный текст на ответ от LLM.