// tier: helix-primary · order 4

HelixLLM betalicense: TBD

GoGinHTTP/3 QUICTLS 1.3llama.cppLLMsVerifiergRPCSSEKafkaPrometheusOpenTelemetry

Source

• HelixDevelopment/HelixLLM

// architecture

Бір бинарлық, алты режим — ноутбуктан көп хостты кластерге дейін OpenAI- және Anthropic-үйлесімді инференс.

HelixLLM — кәсіпорын деңгейіндегі таратылған LLM жүйесі, Go негізінде жасалған: бір бинарлық файл режимдер жүйесі арқылы бір хосттық әзірлеуден көп хосттық өндіріске дейін масштабталады. Ол HTTP/3 арқылы толық OpenAI- және Anthropic-үйлесімді API-лерді ұсынады, жергілікті llama.cpp инференсін, бағаланған көп провайдерлік резервтік тізбекті, RAG конвейерін және ReAct агент жүйесін қамтиды.

HelixLLM — бір бинарлық, Go негізіндегі таратылған LLM жүйесі. Ол HTTP/3 арқылы OpenAI- және Anthropic-үйлесімді API-лерді ұсынады, жергілікті llama.cpp инференсін іске қосады, тегін бұлттық провайдерлерді автоматты түрде тауып, оларды ақауларға төзімді тізбекке біріктіреді, RAG білім конвейерін және құралдарды шақыратын ReAct агентін қосады — алты режимде орнатуға болады.

HelixLLM — Go және Gin негізінде жасалған кәсіпорын деңгейіндегі таратылған LLM жүйесі. Оның басты ерекшелігі — бір артефакт барлық масштабтарға қызмет көрсетеді. Ол бір бинарлық файлға жинақталады, ал режимдер жүйесі орнату кезінде осы бинарлықтың қандай қызмет атқаратынын анықтайды: ноутбуктағы барлық функцияны біріктіретін full режимі ретінде іске қосуға немесе gateway, brain, knowledge, agents және control режимдері арасындағы міндеттерді бірнеше хостқа бөлуге болады. Бұл бірдей кодты қайта жазудың орнына қайта реттеу арқылы әзірлеушінің компьютерінен өндірістік кластерге дейін қолданылады.

Ол екі диалектіні еркін меңгерген: толық OpenAI- және Anthropic-үйлесімді API-лер, сондықтан екі экосистемадағы барлық SDK клиенттері өзгеріссіз жұмыс істейді. Барлығы HTTP/3 (QUIC) арқылы ұсынылады, автоматты HTTP/2 резервтік жүйесі және TLS 1.3 қолдауы бар. Жергілікті инференс CUDA, Metal және ROCm қолдауымен llama.cpp арқылы жүзеге асырылады, сондықтан бірдей құрылым Nvidia, Apple және AMD құрылғыларында жылдамдатылады. Ерекшелігі — көп провайдерлік резервтік тізбек, ол тегін бұлттық инференстің танымал сенімсіздігін басқарылатын, өзін-өзі қалпына келтіретін ресурсқа айналдырады: HelixLLM 7+ бұлттық провайдерден (Chutes, OpenRouter, HuggingFace, Nvidia, Cerebras, SambaNova, Together) тегін модельдерді автоматты түрде тауып, оларды LLMsVerifier арқылы 5 минут сайын бағалайды және рейтингтелген тізбек бойынша маршруттауды 429/5xx қателеріне автоматты түрде резервтеу арқылы жүзеге асырады. Әрдайым жергілікті llama.cpp соңғы резервтік нұсқа ретінде қамтамасыз етіледі, сондықтан сұраныс провайдердің жоқтығынан ешқашан сәтсіз аяқталуы мүмкін емес.

Тек инференстен тыс, HelixLLM толыққанды қолданба платформасы болып табылады: RAG білім конвейері (мәліметтерді енгізу, бөлімдерге бөлу, эмбеддинг, vector іздеу) және құралдарды шақыратын ReAct агент жүйесі, әңгіме сессиялары және RAG интеграциясы бір бинарлыққа кіреді. Режимдер жүйесі желілік деңгейде де тиімді: full режимінде барлық қабаттар тікелей Go процесті ішінде байланысады, желілік шығындар нөлге тең, ал бірдей бинарлық бірнеше хостқа бөлінгенде gRPC, SSE және Kafka арқылы үйлестіріледі. Сонымен қатар, Brotli/gzip контент келісімі, OpenAI және Anthropic форматтарына байт-байт сәйкес келетін SSE ағындысы, API-кілт және JWT аутентификациясы жылдамдықты шектеумен, Prometheus метрикалары, OpenTelemetry трассировкасы және өндірістік инфрақұрылымға арналған Go субмодульдерінің үлкен жиынтығы бар.

Мәтін

Командаларға провайдерге немесе бір машинаға тәуелді болмай, портативті, стандарттарға сәйкес және төзімді болжау қажет. HelixLLM бір ғана бинарлық файлдың жергілікті дамыту үшін де, көп хосттық өндірістік кластерге масштабтау үшін де жұмыс істеуі үшін құрастырылды, ал клиенттер қолданатын OpenAI және Anthropic диалектілерін қолдайды.

Бұл бір ғана бинарлық файлға бүкіл болжау стегін – шлюзді, жергілікті болжауды, бұлттық резервті көшірмені, RAG және агенттерді – бір режим ауыстырушы арқылы біріктіреді. Сондықтан сіз орналастыратын архитектураны іске қосу кезінде шешесіз, ал платформа ауыстыру жобасы емес. Сонымен қатар, бұрын проблема болған нәрсені мүмкіндікке айналдырады: бұлт провайдерлерінің сенімділігі бірінші дәрежелі, үздіксіз өлшенетін мәселеге айналады, ол ұпайланған, өзін-өзі қалпына келтіретін резервтік тізбекпен басқарылады. Ол әрбір бірнеше минут сайын провайдерлерді қайта рейтингтейді және жергілікті болжауға кепілдік беретін резервке әрқашан ауысады. Бұл ашатын мүмкіндік – бір ғана сенімді соңғы нүкте: стандарттарға сәйкес, ноутбуктан кластерге дейін портативті және бір жоғарыдағы провайдер шектеу қойғанда немесе істен шыққанда өшіп қалмайтын.

• Барлық функцияны бір жерде немесе бөлінген рөлдер ретінде іске қосатын алты режимді бір ғана бинарлық файл – full режимінде тікелей процестегі Go шақырулар, бөлінген кезде gRPC/SSE/Kafka – сондықтан орналастыру топологиясы кодты өзгертпей немесе сіз сұрамаған желілік салықсыз өзгереді.
• 7+ тегін провайдер арасындағы ұпайланған, автоматты түрде анықталатын көп провайдерлік резервтік тізбек, LLMsVerifier көмегімен үздіксіз рейтингтеледі, 429/5xx қателеріне автоматты түрде ауысады және кепілдік беретін llama.cpp соңғы шегі бар – тегін деңгейдің мүмкіндіктері сенімді мүмкіндікке айналады.
• OpenAI *және* Anthropic сәйкестіктері бар екі жақты беттер HTTP/3 арқылы беріледі, HTTP/2 автоматты түрде резервке ауысады, сондықтан екі экосистемадағы клиенттер өзгеріссіз қосылады.
• Бір кодтық базадан CUDA, Metal және ROCm қамтитын жергілікті болжау – бір ғана құрылым Nvidia, Apple және AMD аппараттық жабдықтарында жеделдетілген түрде жұмыс істейді.

• Бір хосттан көп хостқа масштабтау, кодты қайта жазбай. Көптеген жүйелер "жергілікті дамыту" мен "бөлінген өндіріс" арасында қатаң шекара қояды, ал оны өткен кезде архитектураны қайта құру қажет. Біз бір ғана бинарлық файлдағы режимдер жүйесі арқылы бұл шекараны жойдық: full режимінде бірдей қабаттар тікелей процестегі шақырулар арқылы сөйлеседі және бөлінген режимдерде gRPC/SSE/Kafka арқылы мөлдір түрде ауысады, сондықтан масштабтау конфигурацияны өзгерту болып табылады, порттау емес.
• Сенімсіз, шектеу қойылған тегін бұлттық провайдерлер. Тегін болжау жылдам, бірақ ол 429 қатесін береді немесе сұраныс ортасында жоғалады. Біз оны сенімді еттік: қолжетімді модельдерді автоматты түрде анықтап, LLMsVerifier көмегімен ұпайлаймыз, шектеуге жақындап келе жатқан провайдерлерден алдын ала маршруттау үшін шектеу тақырыптарын бақылаймыз және рейтингтелген тізбек бойынша автоматты түрде резервке ауысамыз, llama.cpp жергілікті түрде – сондықтан пулдың тұрақсыздығы шақырушыға жетпейді.
• Екі экосистема арасындағы клиенттердің сәйкестігі. Клиенттерді жаңа болжау бекендіне бейімдеу мүмкін емес. Біз OpenAI *және* Anthropic API пішіндерін – тіпті олардың әртүрлі SSE ағындық форматтарын да – іске асырдық, сондықтан екі лагерьдің SDK-лары HelixLLM-ға бағытталып, жұмыс істей береді.

Мазмұны

• Go + Gin — бір біріктірілген бинарлы, бірінші кезекте параллельді орындауды қолдайтын орта таңдалды, өйткені бүкіл режим жүйесін мүмкін ететін осы: бір құрылым ноутбук сервері де, кластер рөлі де болуы мүмкін. Ол бүкіл жүйені және шлюздің HTTP қабатын алып жүреді.
• HTTP/3 (QUIC) + TLS 1.3, HTTP/2 резервтік нұсқасымен — заманауи, төмен кешігулі, байланысқа төзімді тасымалдау үшін таңдалды, сервер беті ретінде ашық ұсынылып, автоматты келісу арқылы QUIC қолдай алмайтын клиенттер HTTP/2-ге тыныш ауысады.
• llama.cpp (CUDA/Metal/ROCm) — бір кодтық базадан Nvidia, Apple және AMD платформаларында жылдамдатылатын тасымалды жергілікті болжам жасау үшін таңдалды; ол резервтік тізбектің ешқашан тоқтап қалмауы үшін кепілдендірілген соңғы резерв ретінде де қызмет етеді.
• LLMsVerifier — «қазір қай провайдер жақсы» деген сұраққа сандық көрсеткіш беру үшін таңдалды; ол бұлттық резервтік тізбекті 5 минут сайын бағалайды және рейтингке қояды, сондықтан маршруттау тірі сапаға, ескі болжамдарға емес, сәйкес жүреді.
• Бұлттық провайдерлер (Chutes, OpenRouter, HuggingFace, Nvidia, Cerebras, SambaNova, Together) — көптеген жоғары деңгейлі провайдерлердің тегін тарифтік мүмкіндіктерін пайдалану үшін таңдалды; автоматты түрде анықталып, бір резервтік тізбекке біріктіріледі, сондықтан ешбір провайдер жүйенің істен шығуына әкелмейді.
• gRPC + SSE + Kafka — таратылған орналастырулар үшін режимдер арасындағы тасымалдау ретінде таңдалды: gRPC қызметтер арасындағы шақырулар үшін, SSE ағынды деректер үшін, ал Kafka рөлдер арасындағы оқиғалар ағынын бөлу үшін.
• Векторлық қойма / embeddings — RAG білімдер конвейерінің соңына дейін қуат беру үшін таңдалды: құжаттарды қабылдау, бөлу, кодтау және модель жауаптарының негізін қалайтын деректерді іздеу.
• Prometheus + OpenTelemetry — көрсеткіштер мен таратылған іздеуді қадағалау үшін таңдалды, олар сұранысты орналастырылған кез келген режимдер бойынша қадағалайды.
• vasic-digital Go субмодульдері — оларды қайта құрудың орнына қатаң өндірістік инфрақұрылымдық примитивтерді қайта пайдалану үшін таңдалды, бұл жүйенің негізі кеңірек стекпен үйлесімді болып қалады.

• Жағдайы: бета-нұсқа. Жұмыс істейтін, белсенді дамытылатын таратылған болжам жасау жүйесі.
• Лицензиясы: анықталмаған. Репозиторийдің метадеректерінде лицензия көрсетілмеген (licenseInfo null) — бұл ТЕКСЕРІЛМЕГЕН, лицензияны көрсету алдында шешілуі керек.
• Қазіргі уақытта ресми репозиторий github.com/HelixDevelopment/llm мекенжайына сілтейді; HelixLLM жолы оған қайта бағыттайды. README файлдағы қамту шегі мен субмодульдер саны өзін-өзі хабарлайды.

Басымдық деңгейі: Helix-негізгі.