OpenBind e EERAT: um teste de reprodutibilidade para benchmarks de IA de afinidade estrutural

Por que o OpenBind precisa de uma rota de evidências

Um benchmark de afinidade estrutural não é útil porque é aberto. Ele se torna útil quando uma segunda equipe consegue reconstruir a rota de evidências, reproduzir a divisão, executar novamente a linha de base e então mostrar que uma classificação melhor altera quais compostos são testados.

Esse é o teste que o OpenBind merece. Não uma recapitulação de ranking. Não uma volta de comemoração para IA baseada em estrutura. Um padrão de caderno de laboratório.

A primeira versão pública de afinidade estrutural do OpenBind é interessante porque os artefatos públicos expõem mais do que uma única pontuação de modelo. O repositório de benchmark EV-A71 2A descreve uma versão que combina triagem cristalográfica de fragmentos, otimização subsequente de compostos e medições de afinidade para a protease enteroviral 2A. Ele também inclui material de benchmark de referência para acoplamento molecular, codobramento, triagem virtual e previsão de afinidade. O blog da primeira versão do OpenBind relata 925 eventos cristalográficos de ligação de 699 compostos, com medições de afinidade para 601 compostos. O repositório de lançamento do modelo OpenBind-0 aponta para um conjunto de benchmarking no Zenodo com 462 sistemas proteína-ligante.

Esses são ingredientes úteis. Eles não são prova de que um método de classificação deva orientar a triagem experimental. A visão rigorosa é simples: se um benchmark não consegue sobreviver à reconstrução de identificadores, verificações de vazamento e um conjunto externo retido, ele é um artefato de pesquisa, não um controle operacional.

O enquadramento EERAT da Optijara, Teste de Aceitação da Rota de Evidência Experimental, trata o OpenBind como um estudo de caso para avaliação disciplinada de IA científica. O padrão é deliberadamente rigoroso. Toda alegação de desempenho permanece como relatada pelos autores até que uma equipe externa a reproduza sob condições fixadas e registre onde sua execução difere.

A pilha de fontes a inspecionar

Faça a auditoria das fontes antes de discutir a qualidade do modelo. Uma equipe deve usar artefatos públicos canônicos, não trechos de busca, URLs presumidos, redirecionamentos ou páginas bloqueadas. Para este artigo, o conjunto de fontes utilizável é a organização OpenBind no GitHub, o repositório de benchmark EV-A71 2A, o repositório de informações do lançamento do modelo OpenBind-0, o repositório do fluxo de acoplamento molecular, o site do OpenBind, o blog da primeira versão do OpenBind e o registro no Zenodo.

Licenças precisam da mesma separação. Um conjunto de dados pode ser aberto enquanto código, pesos de modelo, ativos de acoplamento molecular, binários externos, registros de ensaio e documentos de protocolo carregam condições diferentes. Isso não é um detalhe burocrático. Ele decide se o artefato pode ser usado para treinamento, redistribuído, incorporado em um produto ou usado apenas para pesquisa interna.

EERAT em sete critérios

O EERAT faz uma pergunta prática: a rota de evidências é forte o suficiente para justificar mais esforço de avaliação? Ele não certifica um modelo. Ele não diz que um composto deve avançar. Ele informa à equipe se o benchmark está pronto para influenciar a próxima decisão de triagem.

Critério 1, Proveniência de amostra e ensaio

Comece pela identidade do alvo, construto, preparação da amostra, método de ensaio, formato de afinidade, histórico do composto e registros de protocolo. Uma aprovação significa que outro revisor consegue apontar para o artefato por trás de cada medição e explicar o que foi testado. Se esses links estiverem ausentes, o benchmark ainda pode ser interessante, mas não está pronto para uso em decisão.

Critério 2, Qualidade de estrutura e afinidade

Inspecione cobertura estrutural, eventos de ligação, confiança da pose, consistência de afinidade, valores censurados, registros ausentes e compostos com falha. Os 925 eventos cristalográficos de ligação de 699 compostos relatados pelo blog do OpenBind, com medições de afinidade para 601 compostos, dão aos revisores material concreto para inspecionar. A estrutura do repositório importa porque expõe caminhos de dados e análise, não apenas texto de resumo.

Critério 3, Normalização de identificadores

Normalize identificadores de compostos, construtos de proteínas, IDs de cadeias, nomes de ligantes, IDs de ensaio e registros versionados. O registro de lançamento do modelo no Zenodo mostra por que isso não é trabalho administrativo. Ele descreve 462 consultas com 483 entradas de cadeias de proteínas e 890 entradas de cadeias de ligantes, 599 cadeias proteicas individuais e um mapa de cadeias deduplicado para 302 representantes de MSA. Se os identificadores forem frouxos, duplicatas e aliases podem distorcer silenciosamente o benchmark.

Critério 4, Integridade de vazamento e divisão

Audite similaridade de arcabouços moleculares, similaridade de bolsos de ligação, proximidade de famílias de alvos, ligantes quase duplicados, conformações reutilizadas, etapas de pré-processamento e compostos que influenciaram a seleção do modelo. Separação de arquivos não basta. Uma divisão pode parecer limpa em disco e ainda assim deixar o conjunto de avaliação vazar para escolhas de treinamento.

Critério 5, Paridade de linha de base e fixação de ambiente

Salve commits de repositórios, arquivos de ambiente, versões de software, premissas de hardware, sementes, logs e binários externos. O repositório de acoplamento molecular pede instalações de GNINA, Smina e DiffDock e é construído em torno de execução com Slurm. Isso significa que a comparação da linha de base é em parte um problema de sistemas. Entradas, preparação de receptor, orçamento computacional e relatório de métricas precisam de paridade.

Critério 6, Conjunto externo retido e triagem prospectiva

Execute um pequeno conjunto externo retido antes de tratar a classificação do benchmark como guia de triagem. Em seguida, bloqueie uma triagem prospectiva antes que os resultados sejam conhecidos: método de classificação do modelo, regras de acoplamento molecular, compatibilidade do ensaio, protocolo de confirmação e limiar de interpretação. É aqui que um benchmark começa a ganhar relevância operacional.

Critério 7, Canário, interrupção de uso e confirmação em laboratório experimental

Defina compostos canários, verificações de deriva, regras de confirmação em laboratório experimental e gatilhos de interrupção de uso. Pause o benchmark para a decisão se o comportamento dos canários mudar, se vazamento de divisão aparecer, se termos de licença entrarem em conflito com o uso pretendido ou se a confirmação prospectiva falhar. Um benchmark sem regra de interrupção se torna fácil de racionalizar depois que decepciona.

Como reproduzir o benchmark sem se enganar

Um registro de reprodução limpo vale mais do que uma pontuação ligeiramente maior. O trabalho é procedural e, francamente, tedioso. É por isso que funciona.

Vazamento geralmente entra de forma discreta. Arcabouços moleculares semelhantes podem cruzar a divisão. Bolsos de ligação relacionados podem fazer a generalização por família de alvos parecer melhor do que é. Uma conformação reutilizada pode dar a um método de acoplamento molecular ou codobramento uma pista que ele não teria durante uma triagem real. O pré-processamento pode aprender com todo o conjunto de dados antes que a divisão seja aplicada. Compostos de avaliação também podem ser selecionados após a exploração do modelo, o que transforma o benchmark em um registro de escolhas de ajuste.

Decisões sobre modelo, acoplamento molecular e experimento

Aqui está a visão do consultor: um benchmark não deve influenciar gastos de laboratório experimental até que a equipe consiga medir se a qualidade da classificação altera acertos confirmados, compostos rejeitados ou custo por acerto confirmado em seu próprio fluxo. Se a equipe não consegue medir isso, o benchmark ainda é evidência de pesquisa útil. Ele não é uma regra de triagem.

Erros comuns

Erro 1, Tratar abertura como reprodutibilidade

Repositórios abertos ajudam a inspeção. Reprodutibilidade exige hashes de commit, ambientes fixados, versões de dados, scripts de divisão, logs de linha de base e desvios claros. Sem essa trilha, os revisores estão confiando em um alvo móvel.

Erro 2, Tratar desempenho em divisão como valor prospectivo

Uma divisão de benchmark pode ensinar muito a uma equipe e ainda falhar em um novo ambiente de laboratório. Conjuntos externos retidos e triagens prospectivas bloqueadas são a ponte entre uma pontuação relatada e uma decisão de triagem.

Erro 3, Esconder compostos com falha e dados ausentes

Compostos com falha, valores de afinidade censurados, formatos de ensaio inconsistentes e metadados ausentes muitas vezes carregam o sinal operacional mais importante. Um método que parece forte em registros limpos pode ser fraco onde o trabalho de triagem é mais desordenado.

Erro 4, Colapsar licenças em uma única resposta

Termos de conjunto de dados, licenças de código, termos de pesos de modelo, termos de software de acoplamento molecular, ativos de fluxo e registros experimentais podem não corresponder. Tratá-los como uma única resposta de permissão cria risco evitável.

Erro 5, Comparar linhas de base sem paridade

Paridade de linha de base significa entradas, escolhas de receptor, regras de preparação, orçamentos computacionais, sementes e relatório de métricas comparáveis. Sem paridade, um ranking pode recompensar escolhas de fluxo em vez de capacidade do modelo.

Ressalvas e plano de medição

O EERAT é conservador por desenho. Ressalvas científicas incluem variabilidade de ensaio, especificidade de alvo, limites de qualidade estrutural e transferência fraca para outros alvos. Ressalvas operacionais incluem reprodutibilidade computacional, deriva de software externo, caches obsoletos e o trabalho necessário para manter a linhagem dos dados. Ressalvas legais atravessam termos de conjunto de dados, termos de código, pesos de modelo, ferramentas de acoplamento molecular, documentos de protocolo e registros experimentais. Ressalvas de avaliação incluem intervalos de confiança, tratamento de compostos com falha e se o conjunto externo retido é realmente externo.

{
  "framework": "EERAT",
  "gates": ["provenance", "quality", "identifier_normalization", "leakage", "baseline_parity", "external_holdout", "canary_stop_use"],
  "requiredArtifacts": ["canonical_repositories", "dataset_record", "license_terms", "split_scripts", "baseline_logs", "holdout_report"],
  "acceptCriteria": "reprodutível, auditado para vazamento, claro quanto a licenças, testado externamente e vinculado à confirmação em laboratório experimental",
  "rejectCriteria": "proveniência incerta, vazamento não resolvido, termos incompatíveis, linhas de base não comparáveis, conjunto retido fraco ou critérios de interrupção de uso ausentes",
  "recommendedNextStep": "executar uma pequena reprodução fixada antes de usar classificações para triagem"
}

O OpenBind merece atenção porque dá aos revisores artefatos reais para inspecionar. O EERAT mantém a próxima etapa honesta. Rastreie as evidências. Reconstrua os identificadores. Recrie a divisão. Execute novamente a linha de base. Teste um conjunto externo retido. Então pergunte se uma classificação melhor reduz experimentos desnecessários no contexto de triagem da própria equipe.