OpenBind et EERAT : un test de reproductibilité pour les benchmarks d'IA structure-affinité

Pourquoi OpenBind a besoin d'un itinéraire de preuve

Un benchmark structure-affinité n'est pas utile parce qu'il est ouvert. Il devient utile lorsqu'une seconde équipe peut reconstruire le chemin de preuve, reproduire la partition, relancer la référence, puis montrer qu'un meilleur classement modifie les composés qui sont testés.

C'est le test qu'OpenBind mérite. Pas un récapitulatif de classement. Pas un tour d'honneur pour l'IA basée sur la structure. Un standard de cahier de laboratoire.

La première publication publique structure-affinité d'OpenBind est intéressante parce que les artefacts publics exposent plus qu'un seul score de modèle. Le dépôt du benchmark EV-A71 2A décrit une publication qui combine criblage cristallographique de fragments, optimisation de composés en aval et mesures d'affinité pour la protéase entérovirale 2A. Il comprend aussi du matériel de benchmark de référence pour l'arrimage, le co-repliement, le criblage virtuel et la prédiction d'affinité. Le blog de première publication d'OpenBind rapporte 925 événements de liaison cristallographiques issus de 699 composés, avec des mesures d'affinité pour 601 composés. Le dépôt d'information sur la publication du modèle OpenBind-0 renvoie à un jeu de benchmarking Zenodo de 462 systèmes protéine-ligand.

Ce sont des ingrédients utiles. Ils ne prouvent pas qu'une méthode de classement devrait piloter le criblage expérimental. La lecture stricte est simple : si un benchmark ne résiste pas à la reconstruction des identifiants, aux contrôles de fuite et à un ensemble de réserve externe, c'est un artefact de recherche, pas un contrôle opérationnel.

Le cadrage EERAT d'Optijara, Experimental Evidence Route Acceptance Test, traite OpenBind comme une étude de cas pour l'évaluation disciplinée de l'IA scientifique. Le standard est volontairement strict. Chaque affirmation de performance reste rapportée par les auteurs jusqu'à ce qu'une équipe externe la reproduise dans des conditions figées et consigne les différences de son exécution.

La pile de sources à inspecter

Effectuez l'audit des sources avant de discuter de la qualité du modèle. Une équipe devrait utiliser les artefacts publics canoniques, pas des extraits de recherche, des URL devinées, des redirections ou des pages bloquées. Pour cet article, l'ensemble de sources exploitable est l'organisation GitHub OpenBind, le dépôt du benchmark EV-A71 2A, le dépôt d'information sur la publication du modèle OpenBind-0, le dépôt du flux de travail d'arrimage, le site web d'OpenBind, le blog de première publication d'OpenBind et l'enregistrement Zenodo.

Les licences exigent la même séparation. Un jeu de données peut être ouvert tandis que le code, les poids de modèle, les actifs d'arrimage, les binaires externes, les enregistrements d'essais et les documents de protocole portent des conditions différentes. Ce n'est pas un détail administratif. Cela détermine si l'artefact peut être utilisé pour l'entraînement, redistribué, intégré dans un produit ou réservé à la recherche interne.

EERAT en sept portes

EERAT pose une question pratique : l'itinéraire de preuve est-il assez solide pour justifier davantage d'effort d'évaluation ? Il ne certifie pas un modèle. Il ne dit pas qu'un composé doit avancer. Il indique à l'équipe si le benchmark est prêt à influencer la prochaine décision de criblage.

Porte 1, provenance de l'échantillon et de l'essai

Commencez par l'identité de la cible, la construction, la préparation de l'échantillon, la méthode d'essai, le format d'affinité, l'historique des composés et les enregistrements de protocole. Une réussite signifie qu'un autre examinateur peut pointer vers l'artefact derrière chaque mesure et expliquer ce qui a été testé. Si ces liens manquent, le benchmark peut rester intéressant, mais il n'est pas prêt pour une utilisation décisionnelle.

Porte 2, qualité des structures et des affinités

Inspectez la couverture structurale, les événements de liaison, la confiance dans les poses, la cohérence des affinités, les valeurs censurées, les enregistrements manquants et les composés échoués. Les 925 événements de liaison cristallographiques rapportés par le blog OpenBind à partir de 699 composés, avec des mesures d'affinité pour 601 composés, donnent aux examinateurs un matériel concret à inspecter. La structure du dépôt compte parce qu'elle expose les données et les chemins d'analyse plutôt que seulement un texte de synthèse.

Porte 3, normalisation des identifiants

Normalisez les identifiants de composés, les constructions protéiques, les ID de chaînes, les noms de ligands, les ID d'essais et les enregistrements versionnés. L'enregistrement Zenodo de publication du modèle montre pourquoi ce n'est pas un travail administratif. Il décrit 462 requêtes avec 483 entrées de chaînes protéiques et 890 entrées de chaînes de ligands, 599 chaînes protéiques individuelles et une carte de chaînes dédupliquée vers 302 représentants MSA. Si les identifiants sont relâchés, les doublons et les alias peuvent déformer discrètement le benchmark.

Porte 4, fuite et intégrité de la partition

Auditez la similarité des échafaudages, la similarité des poches, la proximité des familles de cibles, les ligands presque dupliqués, les conformations réutilisées, les étapes de prétraitement et les composés qui ont influencé la sélection du modèle. La séparation des fichiers ne suffit pas. Une partition peut paraître propre sur disque tout en laissant l'ensemble d'évaluation contaminer les choix d'entraînement.

Porte 5, parité des références et environnement figé

Sauvegardez les commits des dépôts, les fichiers d'environnement, les versions logicielles, les hypothèses matérielles, les graines, les journaux et les binaires externes. Le dépôt d'arrimage demande des installations de GNINA, Smina et DiffDock et repose sur une exécution Slurm. Cela signifie que la comparaison de référence est en partie un problème de systèmes. Les entrées, la préparation des récepteurs, le budget de calcul et le rapport des métriques ont tous besoin de parité.

Porte 6, ensemble de réserve externe et criblage prospectif

Exécutez un petit ensemble de réserve externe avant de traiter le classement du benchmark comme un guide de criblage. Ensuite, verrouillez un criblage prospectif avant que les résultats soient connus : méthode de classement du modèle, règles d'arrimage, compatibilité des essais, protocole de confirmation et seuil d'interprétation. C'est ici qu'un benchmark commence à gagner une pertinence opérationnelle.

Porte 7, canari, arrêt d'utilisation et confirmation en laboratoire

Définissez les composés canaris, les contrôles de dérive, les règles de confirmation en laboratoire et les déclencheurs d'arrêt d'utilisation. Mettez le benchmark en pause pour la décision si le comportement des canaris change, si une fuite de partition apparaît, si les conditions de licence entrent en conflit avec l'utilisation prévue ou si la confirmation prospective échoue. Un benchmark sans règle d'arrêt devient facile à rationaliser après une déception.

Reproduire le benchmark sans se tromper soi-même

Un dossier de reproduction propre vaut mieux qu'un score légèrement plus élevé. Le travail est procédural et, franchement, ennuyeux. C'est pourquoi il fonctionne.

La fuite entre généralement de façon discrète. Des échafaudages similaires peuvent traverser la partition. Des poches apparentées peuvent rendre la généralisation par famille de cibles meilleure qu'elle ne l'est. Une conformation réutilisée peut donner à une méthode d'arrimage ou de co-repliement un indice qu'elle n'aurait pas pendant un criblage réel. Le prétraitement peut apprendre de l'ensemble du jeu de données avant l'application de la partition. Les composés d'évaluation peuvent aussi être sélectionnés après l'exploration du modèle, ce qui transforme le benchmark en enregistrement de choix de réglage.

Décisions de modèle, d'arrimage et d'expérimentation

Voici l'avis du consultant : un benchmark ne devrait pas être autorisé à influencer les dépenses de laboratoire tant que l'équipe ne peut pas mesurer si la qualité du classement modifie les hits confirmés, les composés rejetés ou le coût par hit confirmé dans son propre flux de travail. Si l'équipe ne peut pas mesurer cela, le benchmark reste une preuve de recherche utile. Ce n'est pas une règle de criblage.

Erreurs courantes

Erreur 1, traiter l'ouverture comme de la reproductibilité

Les dépôts ouverts facilitent l'inspection. La reproductibilité exige des hachages de commits, des environnements figés, des versions de données, des scripts de partition, des journaux de référence et des écarts clairs. Sans cette piste, les examinateurs font confiance à une cible mouvante.

Erreur 2, traiter la performance de partition comme une valeur prospective

Une partition de benchmark peut beaucoup apprendre à une équipe tout en échouant dans un nouveau contexte de laboratoire. Les ensembles de réserve externes et les criblages prospectifs verrouillés sont le pont entre un score rapporté et une décision de criblage.

Erreur 3, masquer les composés échoués et les données manquantes

Les composés échoués, les valeurs d'affinité censurées, les formats d'essai incohérents et les métadonnées manquantes portent souvent le signal opérationnel le plus important. Une méthode qui paraît forte sur des enregistrements propres peut être faible là où le travail de criblage est le plus désordonné.

Erreur 4, fusionner les licences en une seule réponse

Les conditions du jeu de données, les licences du code, les conditions des poids de modèle, les conditions des logiciels d'arrimage, les actifs de flux de travail et les enregistrements expérimentaux peuvent ne pas correspondre. Les traiter comme une seule réponse d'autorisation crée un risque évitable.

Erreur 5, comparer les références sans parité

La parité des références signifie des entrées, des choix de récepteurs, des règles de préparation, des budgets de calcul, des graines et des rapports de métriques comparables. Sans parité, un classement peut récompenser des choix de flux de travail plutôt que la capacité du modèle.

Réserves et plan de mesure

EERAT est conservateur par conception. Les réserves scientifiques incluent la variabilité des essais, la spécificité des cibles, les limites de qualité structurelle et le faible transfert vers d'autres cibles. Les réserves opérationnelles incluent la reproductibilité du calcul, la dérive des logiciels externes, les caches obsolètes et le travail nécessaire pour maintenir la lignée des données. Les réserves juridiques couvrent les conditions des jeux de données, les conditions du code, les poids de modèle, les outils d'arrimage, les documents de protocole et les enregistrements expérimentaux. Les réserves d'évaluation incluent les intervalles de confiance, le traitement des composés échoués et la question de savoir si l'ensemble de réserve externe est vraiment externe.

{
  "framework": "EERAT",
  "gates": ["provenance", "quality", "identifier_normalization", "leakage", "baseline_parity", "external_holdout", "canary_stop_use"],
  "requiredArtifacts": ["canonical_repositories", "dataset_record", "license_terms", "split_scripts", "baseline_logs", "holdout_report"],
  "acceptCriteria": "reproducible, leakage audited, license clear, externally tested, and tied to wet lab confirmation",
  "rejectCriteria": "unclear provenance, unresolved leakage, incompatible terms, non comparable baselines, weak holdout, or missing stop use criteria",
  "recommendedNextStep": "run a small, pinned reproduction before using rankings for screening"
}

OpenBind mérite l'attention parce qu'il donne aux examinateurs de vrais artefacts à inspecter. EERAT maintient l'étape suivante honnête. Tracez la preuve. Reconstruisez les identifiants. Reconstituez la partition. Relancez la référence. Testez un ensemble de réserve externe. Demandez ensuite si un meilleur classement réduit les expériences inutiles dans le contexte de criblage propre à l'équipe.