// tier: helix-primary · order 20

HelixQA betalicense: Apache-2.0

Go 1.24+YAML test banks (pkg/testbank)Crash/ANR detectors (ADB, pgrep)Evidence collection (screenshots/logcat/video/stack traces)Autonomous session (LLM + computer vision)LLMsVerifierLLMOrchestratorVisionEngine (GoCV + LLM Vision)DocProcessorAnti-bluff gates + mutation ratchet

Source

1 · Setup select LLMs · feature map 2 · Doc-Driven Verification every documented feature 3 · Curiosity Exploration edge cases · undocumented 4 · Report & Cleanup MD / HTML / JSON Captured evidence screenshot · logcat · video HelixQA — autonomous QA-session loop
// architecture

Антиблефтік QA оркестрациясы — әрбір ӨТУ (өткен тест нәтижесі) нақты пайдаланушының мүмкіндігін пайдалануына дәлел болатын автономды, кросс-платформалық сессиялар.

HelixQA — бұл кросс-платформалық тестілеуге (Android, Android TV, Web, Desktop) арналған антиблефтік QA оркестрациясының фреймворкі. Ол YAML тест банктерін, нақты уақыттағы апатты анықтауды, қадамдық дәлелдерді жинауды және LLM компьютерлік көруі бар автономды QA сессияларын біріктіреді, осы арқылы мүмкіндіктердің соңғы нүктеге дейін нақты жұмыс істейтінін дәлелдейді. Бұл Constitution құжатының міндетті QA тест түрі (§11.4.169).

Антиблефтік QA оркестраторы (Go) жазылған тест банктерін және толық автономды, LLM және компьютерлік көруге негізделген QA сессияларын платформалар бойынша іске қосады. Ол апаттарды анықтайды, әр қадамды жиналған дәлелдермен (скриншоттар, logcat, бейнежазба, stack trace) тексереді және AI түзету конвейеріне арналған дәлелдерге бай билеттерді автоматты түрде жасайды.

HelixQA — Go фреймворкі, оның жалғыз, келісімсіз дизайн орталығы Constitution құжатының §11.4 Оперативтік Ережесі: жіберу критерийі "тесттер өтті" емес, "пайдаланушы мүмкіндікті пайдалана алады", сондықтан оның шығаратын әрбір ӨТУ (өткен тест нәтижесі) орындау барысында жиналған нақты дәлелдерді қамтитын болуы керек — дәлелдер жоқ болса, жасыл түс жоқ, ешқандай ерекшелік жоқ. Ол екі толықтыратын режимді іске қосады, олар бірге жазылған және белгісіз жағдайларды қамтиды. Біріншісі — жазылған тест банктері: платформаға бағытталған, басымдығы бар, реттелген қадамдардан (атауы/әрекеті/күтілетін нәтижесі), тегтерден және құжаттамаға сілтемелерден тұратын TC-XXX кейстері бар YAML топтамалары. Олар қадамдық тексерумен, нақты уақыттағы апат/ANR анықтаумен (Android үшін ADB, веб/десктоп үшін процесс мониторингімен), орталықтандырылған дәлелдерді жинаумен және AI түзету конвейеріне арналған автоматты түрде жасалған Markdown билеттерімен орындалады. Екіншісі — толық автономды QA сессиясы: қосымшаны LLM агенттері мен компьютерлік көруге тапсырып, оларды төрт тәртіпті кезең бойынша бақылаусыз жүргізеді: дайындық (LLM таңдау, жоба құжаттарынан мүмкіндік картасын құру, CLI агенттерін іске қосу, көру қозғалтқышын инициализациялау), құжаттамаға негізделген әрбір құжатталған мүмкіндікті тексеру, шеткі жағдайлар мен құжатталмаған мінез-құлықты әдейі тексеру, содан кейін әрбір табылған мәселені бейнежазбадағы уақыт белгісімен байланыстырып, Markdown/HTML/JSON форматында есеп беру және тазарту.

Мәні, ол өз еңбегін өзі бағаламайды: төрт сыртқы Go субмодулін (LLMsVerifier, LLMOrchestrator, VisionEngine, DocProcessor) біріктіріп, ортақ challenges және containers инфрақұрылымын пайдаланады, сондықтан қосымшаны басқаратын компонент оны жұмыс істеді ме деп бағалайтын компонент емес. Оның өз топтамасы да ол басқаларға талап ететін дәл сол критерийге make anti-bluff (статикалық сканер + мінез-құлықты бекіту манифесті + мутациялық тежегіш) және кіріктірілген §1.1 мутациясы бар 8 кезеңді оркестратор Challenge арқылы ұсталады. 15 жолдық тест түрінің қамту матрицасы әрбір жарияланған мүмкіндікті нақты орындалатын актив пен нақты жиналған дәлелдердің пішіміне бекітеді — осылайша фреймворктің өз туралы мәлімдемелері де ол тексеретін өнімдерге беретін шешімдері сияқты дәлелдермен байланысты.

Мазмұны

Әдеттегі сапалық бақылау (QA) «тексеру сәтті аяқталды» деген жағдайда жарық береді – дәл осылай Constitution атаған *алдау* класынан қателер өтіп кетеді. Яғни, пайдаланушы үшін істемейтін функция жұмыс істейді деп есептеледі. HelixQA дәл осыны сапалық бақылау үшін мүмкін емес ету мақсатында жасалды: ол нақты орындалу кезінде түсірілген дәлелдер (скриншот, logcat, бейнежазба, stack trace, есептеме) болмаса, PASS бағасын бермейді және дәлелсіз жасыл жолды жетіспейтін мүмкіндікпен тең қате ретінде қарастырады. Сонымен қатар, ол көптеген платформалар бойынша толыққанды қолмен сапалық бақылаудың масштабтау мәселесін шешеді – сессияларды толықтай автономды етеді.

Ол екі нәрсені біріктіреді, олар әдетте бір құралда болмайды: қатаң дәлелдерге негізделген сапалық бақылаудың қақпасы мен автономды, өздігінен басқарылатын зерттеу. LLM көру модулімен біріккен агент *нақты* қолданбаны ашады, құжатталған әрбір мүмкіндікті тексереді, ешкім тест жазбаған құжатталмаған қателерді іздейді *және* бұл кезде соттық сапалы дәлелдер тізбегін жасайды – «біз оны тексердік» деген сөздің орнына «мынау бейнежазба, мынау logcat, мынау талон» дегенге ауысады. Және ол Constitution атаған сапалық бақылаудың кіші модулі болғандықтан, оны қабылдау бір топ үшін ғана емес, бірден бүкіл өнімдер отбасындағы әрбір пайдаланушы үшін сапалық бақылаудың адалдығын арттырады.

  • Алдауға қарсы дәлелдік келісім – әрбір тексерудің PASS нәтижесі нақты орындалу кезінде түсірілген дәлелдермен байланыстырылады; жасыл CI жолы қажет, бірақ ешқашан жеткілікті емес, ал дәлелсіз жасыл қорытынды қателік ретінде бағаланады.
  • Автономды құжатқа негізделген + қызығушылыққа негізделген зерттеу – ол құжатталған әрбір мүмкіндікті тексереді *және* содан кейін сценарийден тысқа шығып, нақты пайдаланушылар кездесетін шеткі жағдайларды (бос енгізулер, жылдам әрекеттер, құжатталмаған жолдар) зерттейді, оларды қолмен жазылған тесттер алдын ала болжамаған.
  • Көру оракулы – GoCV механикалық көруі мен LLM Vision API тікелей экрандағы жұмыс істеп жатқан интерфейсті *көреді*, токендер мен қасиеттер деңгейіндегі тексерулер өткізіп жіберетін көзбен көрінетін бұзылған күйлерді анықтайды.
  • Мәтін емес, құрылымдық тест банктері – банк жолдары құрылымды сипаттайды және LLM тудырған сұрақтарды орындалу кезінде (CONST-046) басқарады, сондықтан бір банк әртүрлі тілдік нұсқаларда жұмыс істейді, қолданба мәтіні аударылған кезде бұзылмайды.
  • AI түзету конвейеріне арналған талондар – автоматты түрде жасалған Markdown талондары толық дәлелдер пакетімен бірге келеді, адамның араласуынсыз тікелей түзету агентіне беруге дайын.

Міндетті сапа тірегі ретінде (Constitution §11.4.169 helix_qa кіші модулін қажетті тест түрлерінің бірі деп атайды) HelixQA отбасыдағы әрбір өнімге бірдей мүмкіндіктер жиынтығын береді:

  • Автономды сапалық бақылау сессиялары: бір helixqa autonomous --project … --platforms android,desktop,web командасы LLM көру модулімен біріккен агентті нақты қолданбаларды адамның қатысуынсыз қамтитын қамту мақсатына жеткізеді, есептемелер, талондар және бейнежазбаларды шығарады.
  • Тест банктері / топтамалары: YAML банктері (219-шы қабатта ≥30), платформаға бағытталған, басымдық ретімен орналастырылған және олар тексеретін құжаттарға жолма-жол сілтеме жасалады.
  • Түсірілген дәлелдер: скриншоттар, logcat, бейнежазбалар, stack trace және толық уақыт желісі – орталықтандырылған және әрбір есептемеден сілтеме жасалады, сондықтан кез келген шешім кейін қайта қаралып, тексерілуі мүмкін.
  • Тәуелсіз шешімдер (§11.4.141 тәуелсіздік принципі): оның LLM қуатталған issuedetector және көру оракулы жұмыс істеп жатқан қолданбаның мінез-құлқын агенттің өзі басқарғанынан тәуелсіз бағалайды, бұл жүйенің өз жұмысын дұрыс деп белгілеуінің классикалық қатесін құрылымдық түрде болдырмайды.
  • Қақпа + өзгеріс тетігі: make qa-all / make anti-bluff және challenges/scripts/helixqa_orchestrator_challenge.sh (8 кезең, кіріктірілген §1.1 өзгеріс) HelixQA-дың өз адалдығын үздіксіз дәлелдейді – және мақсатты мерзім қысымында тәртіпті өшіру үшін --skip-helixqa айналма жолы әдейі жоқ.

Мазмұны

  • Сынақтан өткізудің өзінің жалған оң нәтижелерін болдырмау — алдауды анықтайтын құралдың өзі алдаушыға айналып кетпеуі керек → әр қадамды жиналған дәлелдермен тексеру, дәлелсіз өткен нәтиже ақау ретінде бағаланады, ал әрекет-негіз манифесті әрбір жарияланған мүмкіндікті орындалатын сынақпен байланыстырады (CONST-035), сондықтан мүмкіндіксіз ештеңе жариялау мүмкін емес.
  • Бір мидан әртүрлі платформаларды басқару — Android, Android TV, Web және Desktop бірдей енгізу моделіне ие емес → бір navigator пакеті платформаға тән ActionExecutors (ADB, Playwright, X11) және әр платформаға арналған апаттық детекторларды (android/web/desktop) абстракциялайды, сондықтан оркестрация логикасы бір рет жазылады, ал платформалар арасындағы айырмашылықтар шеттерде қалады.
  • Автономды агенттерді пайдалы, ал алаңдататын емес ету — бақылаусыз LLM қолданбада мәңгілікке адасып кетуі мүмкін → LLMsVerifier дұрыс модельдерді бағалайды және таңдайды, LLMOrchestrator бастысыз CLI агенттерін басқарады (opencode, claude-code, gemini, junie, qwen-code), DocProcessor барлауға мақсат беретін мүмкіндік картасын құрастырады, ал VisionEngine әрбір шешімді модельдің қиялы емес, экрандағы нақты пиксельдерге негіздейді.
  • Локализацияға қауіпсіз банктер — ағылшын тіліндегі UI мәтінін кодтаған жинақ он бес тілде бұзылады → банктер тек құрылымды сипаттайды, ал пайдаланушыға көрсетілетін мәтін LLM ресурстарынан орындалу кезінде жүктеледі (CONST-046), сондықтан бір банк локальге қарамастан бірдей әрекетті тексереді.
  • Шлюздердің жалған еместігін дәлелдеу — өзі сәтсіз бола алмайтын алдауға қарсы шлюз — ең үлкен алдау → жұптасқан §1.1 мутациялары түрдің дәлел жинауын немесе алдауға қарсы тұжырымды алып тастайды және шлюздің СӘТСІЗ болуын талап етеді, ал мутациялық тежегіш уақыт өте келе бұл кепілдіктің астыртын бұзылуына жол бермейді.

  • Go 1.24+ оркестраторы — *неліктен:* сынақтан өткізу өнімдер жұмыс істейтін кез келген жерде іске қосылуы керек, сондықтан бір статикалық байланысқан, жылдам, тасымалданатын бинарлық файл орындалу кезінде ауыр альтернативаны жеңеді; *қалай:* бір cmd/helixqa CLI құрастырылатын run / list / report / autonomous / version субкомандаларын ұсынады.
  • YAML сынақ банктері (pkg/testbank) — *неліктен:* жинақтар декларативті және оқылатын болуы керек, Go-ге тиіспестен адамдармен өңдеуге болады; *қалай:* version/name/test_cases[] id, category, priority, platforms жүйелермен, реттелген steps[] және мүмкіндік құжаттарына сілтеме жасау үшін documentation_refs[] бар.
  • Апат/ANR детекторлары (pkg/detector) — *неліктен:* ең маңызды ақаулар — өзара әрекеттесу кезінде, тірі кезде, кейінгі тұжырымда емес болатын ақаулар; *қалай:* Android үшін ADB (pidof/logcat/screencap) және web/desktop үшін pgrep, сынақ орындалып жатқанда процессіңді бақылайды.
  • Дәлелдер жинау (pkg/evidence, pkg/session) — *неліктен:* алдауға қарсы келісім тек әрбір ӨТКЕН нәтиже физикалық дәлелмен расталғанда ғана нақты болады; *қалай:* скриншоттар, logcat, бейне және стектік ізімдер SessionRecorder уақыт сызығына жиналады, әрбір есеп осыған сілтеме жасайды.
  • Автономды сессия (pkg/autonomous, pkg/navigator, pkg/issuedetector) — *неліктен:* төрт платформа бойынша толыққанды қолмен сынақтан өткізу масштабтауға келмейді, сондықтан барлаудың өзі өздігінен іске қосылуы керек; *қалай:* 4 кезеңді SessionCoordinator плюс ActionExecutors (ADB/Playwright/X11) және LLM ақауларды анықтау визуалдық, UX, қолжетімділік және функционалдық ақауларды қамтиды.
  • Сыртқы субмодульдер — *неліктен:* қайта пайдалану және тәуелсіздік (CONST-051), және — ең маңыздысы — навигаторды төрешіден бөлу; *қалай:* LLMsVerifier (модельді бағалау), LLMOrchestrator (бастысыз CLI агенттері), VisionEngine (GoCV + LLM Vision), DocProcessor (мүмкіндік картасы/қамту), әрқайсысы жеке иеленген компонент.
  • Алдауға қарсы шлюздер + мутациялық тежегіш — *неліктен:* HelixQA-ді ол басқаларға таңыстыратын дәл §1.1 келісіміне сәйкес ұстау үшін; *қалай:* make anti-bluff сканері плюс әрекет-негіз манифесті және мутациялық тежегіш, helixqa_orchestrator_challenge.sh 8 кезеңді соңы-соңына дейін тексеруші ретінде.
  • 15 жолдық қамту матрицасы (docs/test-coverage.md) — *неліктен:* CONST-050(B) толық есептелген, жабық сынақ түрінің жиынтығын талап етеді, олда бос орындар болмауы керек; *қалай:* әр жол нақты орындалатын активпен және дәл жиналған дәлелдердің пішінімен байланыстырылады, сондықтан қамту тексерілген факт болып табылады, ал емес — мәлімдеме.

Мазмұн

  • Жағдайы: бета. Белсенді дамытылып жатыр (README жағдайының баннері 219-нұсқа). Өзінің алдауға қарсы өлшеміне сай келеді.
  • Лицензиясы: Apache-2.0. Орнату: go install digital.vasic.helixqa/cmd/helixqa@latest.

Басымдық деңгейі: Helix-негізгі — Helix отбасының мүмкіндіктері шынымен жұмыс істейтінін тексеру жүйесінің міндетті сапалық/алдауға қарсы тірегі.