# Golden set de projetos simulados FAPES

Versão: v0-pre-proposta
Gerado em: 2026-06-09T15:03:07.561Z

## Objetivo

Evidenciar, em um pacote anexável, que a régua TRL/BRL foi validada contra projetos simulados com gabarito antes da submissão.

## Resumo

| Casos | Passaram | Divergências | Controladas | Aderência | Áreas | Pronto |
| --- | --- | --- | --- | --- | --- | --- |
| 12 | 12 | 0 | 1 | 100% | 3 | sim |

## Protocolo de aceite

| ID | Critério | Aceite | Evidência |
| --- | --- | --- | --- |
| coverage_by_area | Cobertura por linha FAPES | Inovação, pesquisa e extensão têm pelo menos 3 casos cada. | /api/validations/suite |
| edge_cases | Casos de borda e contraditórios | Suite inclui casos straightforward, borderline, insufficient_data e contradictory. | /api/validations/suite?format=csv |
| pass_rate | Aderência ao gabarito | Aderência >= 90%, aceitando divergência adversarial controlada com revisão humana obrigatória. | /api/proposal/golden-set?format=md |
| submission_trace | Rastreabilidade para proposta | Cada caso registra TRL/BRL esperado, TRL/BRL obtido, score, evidências e ação de calibração. | /api/proposal/golden-set |

## Cobertura

| Área | Casos | Passaram | Divergências | Tipos |
| --- | --- | --- | --- | --- |
| innovation | 4 | 4 | 0 | borderline, contradictory, insufficient_data, straightforward |
| research | 4 | 4 | 0 | insufficient_data, straightforward |
| extension | 4 | 4 | 0 | borderline, contradictory, straightforward |

## Gates de aceite

| Gate | Esperado | Atual | Status | Evidência |
| --- | --- | --- | --- | --- |
| Cobertura por linha FAPES | Inovação, pesquisa e extensão com pelo menos 3 casos cada. | 3 áreas; menor cobertura 4 casos. | met | /api/proposal/golden-set |
| Cobertura por tipo de caso | straightforward, borderline, insufficient_data e contradictory presentes. | 4/4 tipos cobertos. | met | /api/validations/suite?format=csv |
| Cobertura TRL/BRL baixa/média/alta | Buckets baixo, médio, alto e sem gabarito cobertos para TRL/BRL. | 4/4 buckets TRL; 4/4 buckets BRL. | met | /api/proposal/golden-set?format=md |
| Cobertura por score | Score baixo, médio, alto e sem cálculo presentes. | 4/4 buckets de score cobertos. | met | /api/proposal/golden-set?format=md |
| Comportamento de revisão humana | Pelo menos 1 bloqueio, 1 caso adversarial e 3 demos limpas. | 3 bloqueios; 1 adversarial; 5 demos limpas. | met | /api/proposal/inter-rater-protocol?format=md |
| Divergências controladas | Toda falha precisa ser intencional e toda detecção adversarial precisa de revisão humana obrigatória. | 0 falha(s); 1 controlada(s). | met | /api/proposal/calibration-dossier?format=md |
| Rastreabilidade de evidência | Todos os casos têm evidência citável ou bloqueio metodológico explícito. | 12/12 casos rastreáveis. | met | /api/validations/suite |

## Matriz de cobertura

| Dimensão | Bucket | Alvo | Casos | Passaram | Divergências |
| --- | --- | --- | --- | --- | --- |
| trl | TRL baixo (1-3) | Pelo menos 1 caso no bucket de TRL esperado. | 1 | 1 | 0 |
| trl | TRL médio (4-5) | Pelo menos 1 caso no bucket de TRL esperado. | 8 | 8 | 0 |
| trl | TRL alto (6-9) | Pelo menos 1 caso no bucket de TRL esperado. | 2 | 2 | 0 |
| trl | TRL sem gabarito por evidência insuficiente | Pelo menos 1 caso sem gabarito por insuficiência. | 1 | 1 | 0 |
| brl | BRL baixo (1-2) | Pelo menos 1 caso no bucket de BRL esperado. | 2 | 2 | 0 |
| brl | BRL médio (3-3,9) | Pelo menos 1 caso no bucket de BRL esperado. | 6 | 6 | 0 |
| brl | BRL alto (4+) | Pelo menos 1 caso no bucket de BRL esperado. | 3 | 3 | 0 |
| brl | BRL sem gabarito por evidência insuficiente | Pelo menos 1 caso sem gabarito por insuficiência. | 1 | 1 | 0 |
| score | Score baixo (<40) | Pelo menos 1 caso no bucket de score obtido. | 2 | 2 | 0 |
| score | Score médio (40-64) | Pelo menos 1 caso no bucket de score obtido. | 7 | 7 | 0 |
| score | Score alto (65+) | Pelo menos 1 caso no bucket de score obtido. | 2 | 2 | 0 |
| score | Score sem cálculo | Pelo menos 1 caso sem score final. | 1 | 1 | 0 |
| behavior | Demo limpa | Pelo menos 3 casos candidatos a demo sem bloqueio. | 5 | 5 | 0 |
| behavior | Publicação bloqueada | Pelo menos 1 caso com bloqueio explícito de publicação. | 3 | 3 | 0 |
| behavior | Divergência adversarial controlada | Pelo menos 1 caso em que TRL inflado exige revisão humana. | 1 | 1 | 0 |
| behavior | Sem evidência citável | Pelo menos 1 caso sem evidência suficiente para pontuar. | 1 | 1 | 0 |

## Fila de revisão

| Caso | Gatilho | Decisão | Dono | Prazo | Bloqueia Solv |
| --- | --- | --- | --- | --- | --- |
| vs-innovation-claim-operational-with-lab-evidence | controlled_divergence | Manter como caso adversarial e explicar no pitch por que TRL declarado não basta sem evidência operacional. | Liderança técnica | D+5 | não |
| vs-innovation-insufficient-data | zero_evidence | Confirmar que o bloqueio por ausência de evidência aparece como comportamento esperado da régua. | Metodologia | D+5 | não |
| vs-research-method-gap | publish_blocked | Usar o caso para demonstrar que a ferramenta bloqueia publicação quando há lacuna de baseline, LGPD ou método. | Operação CPSI | D+6 | não |
| vs-extension-pilot-missing-baseline | publish_blocked | Usar o caso para demonstrar que a ferramenta bloqueia publicação quando há lacuna de baseline, LGPD ou método. | Operação CPSI | D+6 | não |

## Auditoria dos blocks

| Blocks esperados | Blocks obtidos | Blocks inesperados | Blocks esperados ausentes | Pronto para proposta |
| --- | --- | --- | --- | --- |
| 3 | 3 | 0 | 0 | sim |

Interpretação: blocks esperados são casos negativos controlados. Eles demonstram que a régua não publica score quando falta evidência mínima, e não bloqueiam o envio no Solv quando `Blocks inesperados=0` e `Blocks esperados ausentes=0`.

## Casos

| Caso | Área | Tipo | TRL esperado/obtido | BRL esperado/obtido | Score | Block esperado/obtido | Uso | Ação | Interpretação do bloqueio |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| vs-innovation-saas-operacao-assistida | innovation | straightforward | 6/6 | 4.5/4.5 | 77.5 | não/não | demo | accept | Processável sem bloqueio de publicação. |
| vs-innovation-lab-borderline | innovation | borderline | 4/4 | 3/3 | 47.5 | não/não | demo | accept | Processável sem bloqueio de publicação. |
| vs-innovation-claim-operational-with-lab-evidence | innovation | contradictory | 5/5 | 3/3 | 47.5 | não/não | controlled_adversarial | manual_review_required | Revisão esperada: divergência adversarial controlada preserva decisão humana. |
| vs-innovation-insufficient-data | innovation | insufficient_data | n/a/n/a | n/a/n/a | n/a | sim/sim | evidence_gap | accept | Bloqueio esperado: caso negativo controlado sem evidência citável testa se a ferramenta evita pontuação artificial. |
| vs-research-basic-method | research | straightforward | 2/2 | 1/1 | 19.4 | não/não | calibration | accept | Processável sem bloqueio de publicação. |
| vs-research-reproducible-bench | research | straightforward | 4/4 | 3/3 | 55.6 | não/não | demo | accept | Processável sem bloqueio de publicação. |
| vs-research-transfer-ready | research | straightforward | 5/5 | 4/4 | 61.3 | não/não | calibration | accept | Processável sem bloqueio de publicação. |
| vs-research-method-gap | research | insufficient_data | 3.5/3.5 | 2/2 | 29.5 | sim/sim | evidence_gap | accept | Bloqueio esperado: lacuna de baseline, impacto ou método impede publicação sem revisão humana. |
| vs-extension-pilot-missing-baseline | extension | borderline | 5/5 | 3/3 | 55.9 | sim/sim | evidence_gap | accept | Bloqueio esperado: lacuna de baseline, impacto ou método impede publicação sem revisão humana. |
| vs-extension-community-mature | extension | straightforward | 6/6 | 4/4 | 76.3 | não/não | demo | accept | Processável sem bloqueio de publicação. |
| vs-extension-sensitive-records | extension | borderline | 4/4 | 3/3 | 48.8 | não/não | calibration | accept | Processável sem bloqueio de publicação. |
| vs-extension-area-mismatch | extension | contradictory | 4/4 | 3/3 | 46.3 | não/não | calibration | accept | Processável sem bloqueio de publicação. |

## Artefatos

| Artefato | Formato | Caminho | Status |
| --- | --- | --- | --- |
| Golden set estruturado | json | /api/proposal/golden-set | ready |
| Golden set anexável | markdown | /api/proposal/golden-set?format=md | ready |
| CSV da suíte simulada | csv | /api/validations/suite?format=csv | ready |

## Limitações

- O golden set é validação preliminar com projetos sintéticos; a validação estatística oficial depende de amostra real aprovada pela FAPES no CPSI.
- A divergência adversarial é mantida de propósito para provar que o sistema aciona revisão humana quando há TRL inflado sem evidência operacional.
- Os casos não usam dados sigilosos da FAPES e podem ser exibidos no Solv e no pitch.