he4et/oddsquat
1
0
Fork 0
mirror of https://github.com/He4eT/oddsquat.git synced 2026-05-04 20:37:22 +00:00
Code Issues Projects Releases Packages Wiki Activity

posts: selfhosted_llm: cleanup

Browse source
This commit is contained in:
He4eT 2024-01-17 13:39:46 +01:00
commit aec28eca91
1 changed files with 3 additions and 4 deletions
Download patch file Download diff file Expand all files Collapse all files

7
src/pages/posts/2024/selfhosted_llm.md
View file

@ -57,7 +57,7 @@ description: 'Персональная LLM в docker-контейнере на
### Установка Ollama ### Установка Ollama
Для создания и первого запуска контейнера нужно выполнить команду: Для создания и первого запуска контейнера нужно выполнить команду:
``` ```
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
``` ```
@ -213,8 +213,7 @@ pip install litellm
litellm --model ollama/mistral --api_base http://ollama.internal:11434 --drop_params litellm --model ollama/mistral --api_base http://ollama.internal:11434 --drop_params
``` ```
Для сборки и запуска docker-контейнера Собрать и запустить docker-контейнер можно с помощью этих двух команд:
Собрать и запустить docker-контейнер можно с помощью этих двух команд.
```sh ```sh
docker build -t diy-ollama-proxy . docker build -t diy-ollama-proxy .
docker run --net=host diy-ollama-proxy docker run --net=host diy-ollama-proxy
@ -279,7 +278,7 @@ docker run --net=host diy-ollama-proxy
}, },
``` ```
В этом конфиге я выключил несколько дефолтных промптов и добавил несколько своих: В этом конфиге я выключил несколько дефолтных промптов и добавил несколько своих:
- `Improve_Text` заменяет выделенный кусок текста "улучшенным". - `Improve_Text` заменяет выделенный кусок текста "улучшенным".
- `Modify_Text` является аналогом встроенного `Modify_Code` и позволяет делать с выделенным текстом всякие глупости. Например, заменить все числа на слова. - `Modify_Text` является аналогом встроенного `Modify_Code` и позволяет делать с выделенным текстом всякие глупости. Например, заменить все числа на слова.
- `Use_Selection_as_Prompt` просто заменяет выделенный текст на ответ от LLM. - `Use_Selection_as_Prompt` просто заменяет выделенный текст на ответ от LLM.