Який найпростіший спосіб розмістити власну модель LLM із Huggingface?
https://github.com/oobabooga/text-generation-webui (23 тис. зірок) робить зручним розміщення власної моделі LLM "Його мета — стати AUTOMATIC1111/stable-diffusion-webui генерації тексту".
Також існує багато репозиторіїв git, щоб полегшити розгортання API LLM.
Які найкращі «безкоштовні» моделі або моделі з відкритим вихідним кодом, які ми повинні спробувати як додаткову заміну для загального LLM API?
Див. https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard для таблиці лідерів і Як LLM з відкритим кодом порівнюється з GPT-4?