# Protocolo interavaliadores FAPES

Versao: v0-pre-proposta
Gerado em: 2026-06-09T15:02:23.796Z
Objetivo: Demonstrar, antes da proposta, como a ferramenta mede consistencia entre avaliadores, identifica divergencias e aciona recalibracao metodologica.
validationEvidenceLevel=synthetic_pre_proposal
canClaimOfficialValidation=false
officialValidationRequired=true

## Resumo

| Casos | Avaliadores | Registros | Dentro tolerancia | Cohen | Fleiss | ICC | Recalibrar | Oficial |
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 6 | 3 | 18 | 16/18 | 0.68 | 0.69 | 0.7 | nao | M1/M8 pendente |

## Gate oficial M1/M8

As métricas abaixo são sintéticas e anexáveis como método de proposta. Elas não devem ser descritas como validação oficial da FAPES antes de amostra autorizada, avaliadores reais e aceite CTF/FAPES.

| Gate | Status | Evidencia obrigatoria |
| --- | --- | --- |
| Amostra oficial autorizada | pending_cpsi | Lista de projetos reais ou amostra autorizada pela FAPES/CTF, sem dados sigilosos indevidos. |
| Avaliadores reais identificados | pending_cpsi | No mínimo 3 avaliadores reais com nome, perfil, organização, e-mail e aceite. |
| Notas independentes assinadas | pending_cpsi | TRL/BRL, justificativa e evidência citável registrados por avaliador antes da consolidação. |
| Aceite CTF/FAPES da calibração | pending_cpsi | Ata, despacho, e-mail oficial ou documento de aceite da calibração M1/M8. |

## Perfis de avaliador

| Perfil | Papel | Postura | Contribuicao |
| --- | --- | --- | --- |
| Especialista tecnico conservador | technical_specialist | conservative | Questionar TRL inflado quando a evidencia ainda e de bancada, laboratorio ou dado simulado. |
| Revisor metodologico | methodology_reviewer | evidence_first | Verificar reprodutibilidade, MRL/SRL, citações e coerencia entre resposta e evidencia. |
| Gestor de portfolio CT&I | portfolio_manager | transfer_oriented | Avaliar transferencia, sustentabilidade, impacto institucional e comparabilidade entre linhas. |

## Casos multiavaliador

| Caso | Area | Tipo | Ferramenta TRL/BRL | Gabarito TRL/BRL | Severidade | Topico |
| --- | --- | --- | --- | --- | --- | --- |
| SaaS com API em operacao assistida | innovation | straightforward | 6/4.5 | 6/4.5 | none | Usar como exemplo positivo de consenso entre ferramenta e avaliadores. |
| Inovacao em laboratorio no limite TRL 4 | innovation | borderline | 4/3 | 4/3 | moderate | Registrar justificativa de calibracao e manter exemplo como caso de treinamento. |
| TRL alto declarado com evidencia apenas laboratorial | innovation | contradictory | 5/3 | 5/3 | high | Definir regra explicita para impedir TRL 7+ quando a unica evidencia e laboratorio/dado simulado. |
| Pesquisa de bancada reprodutivel | research | straightforward | 4/3 | 4/3 | none | Usar como exemplo positivo de consenso entre ferramenta e avaliadores. |
| Pesquisa aplicada com transferencia encaminhada | research | straightforward | 5/4 | 5/4 | none | Usar como exemplo positivo de consenso entre ferramenta e avaliadores. |
| Extensao com comunidade e indicadores maduros | extension | straightforward | 6/4 | 6/4 | none | Usar como exemplo positivo de consenso entre ferramenta e avaliadores. |

## Divergencias

| Caso | Dimensao | Severidade | Spread | Calibracao recomendada |
| --- | --- | --- | --- | --- |
| Inovacao em laboratorio no limite TRL 4 | TRL | moderate | 1 | Registrar justificativa de calibracao e manter exemplo como caso de treinamento. |
| TRL alto declarado com evidencia apenas laboratorial | TRL | high | 2 | Definir regra explicita para impedir TRL 7+ quando a unica evidencia e laboratorio/dado simulado. |
| TRL alto declarado com evidencia apenas laboratorial | BRL | moderate | 1 | Definir regra explicita para impedir TRL 7+ quando a unica evidencia e laboratorio/dado simulado. |

## Protocolo

- Selecionar amostra calibrada: Usar casos simulados de inovacao, pesquisa e extensao com gabarito TRL/BRL e evidencia citavel. Evidencia: /api/validations/suite.
- Executar avaliacao paralela: Ferramenta e tres perfis de avaliador atribuem TRL/BRL sem alterar a rubrica publicada. Evidencia: /api/proposal/inter-rater-protocol.
- Calcular Kappa/ICC: Gerar Cohen kappa, Fleiss kappa, ICC e aderencia por tolerancia para o Plano de Teste M8/M9. Evidencia: /api/proposal/inter-rater-protocol?format=md.
- Registrar divergencias e decisao humana: Casos com spread alto entram como pauta de calibracao; casos consensuais viram treinamento. Evidencia: Tabela de divergencias e topicos de calibracao.

## Limitacoes

- Este protocolo usa avaliadores sinteticos para demonstrar o metodo; a medicao oficial depende de avaliadores reais da FAPES no CPSI.
- O objetivo nao e substituir julgamento humano, e sim revelar divergencias e documentar a decisao final.
- Kappa/Fleiss/ICC devem ser interpretados com cautela em amostras pequenas e sempre acompanhados de analise qualitativa.