French
L’interprétation automatisée de l’ECG reposait traditionnellement sur des modèles spécialisés : un modèle pour classer le rythme, un autre pour détecter la dysfonction ventriculaire gauche, un autre pour prédire le risque de fibrillation auriculaire et un autre pour générer un compte rendu. DeepECG-Tok remplace cette approche fragmentée par un système unique guidé par des instructions, capable de répondre directement à différentes questions cliniques à partir du même ECG à 12 dérivations.
L’idée centrale consiste à traiter l’ECG comme un langage que le modèle peut apprendre. DeepECG-Tok transforme les signaux cardiaques continus en jetons discrets et compacts, aligne ces jetons avec le texte clinique, puis les utilise pour conditionner un grand modèle de langage médical. Le modèle obtenu peut générer des interprétations en texte libre, produire des comptes rendus structurés, reconnaître des anomalies diagnostiques et estimer des critères cliniques importants.
DeepECG-Tok repose sur un entraînement en trois étapes :
Le tokenizeur a été entraîné sur 1,91 million d’ECG provenant de l’Institut de cardiologie de Montréal, de MIMIC-IV et de CODE-15. Ses représentations gelées ont obtenu une AUROC macro-moyennée de 0,96 (IC à 95 % : 0,95–0,96) pour 77 affections diagnostiques, surpassant les modèles DeepECG supervisé et auto-supervisé. Sans nouvel entraînement, la représentation s’est transférée aux cohortes CLSA et Harvard-Emory, avec des AUROC macro-moyennées de 0,88 (IC à 95 % : 0,87–0,91) et 0,90 (IC à 95 % : 0,89–0,91), respectivement.
Le modèle ajusté par instructions a été entraîné sur plus de 7,27 millions de paires question-réponse dérivées de plus d’un million d’ECG. Les requêtes couvraient l’interprétation en texte libre, les comptes rendus JSON structurés, la classification normale ou anormale, les troubles du rythme et de la conduction, l’ischémie et l’infarctus, l’hypertrophie des cavités, les mesures d’intervalles et les critères cliniques.
Contrairement aux classificateurs ECG conventionnels, DeepECG-Tok peut répondre à des questions telles que :
Cette conception unifiée élimine la nécessité d’entraîner et de maintenir une tête de prédiction distincte pour chaque tâche.
L’évaluation supplémentaire montre comment un même modèle peut passer de questions diagnostiques ciblées à des sorties structurées et à une interprétation ouverte. Puisqu’il s’agit de résultats directs du modèle, les questions, les réponses de référence et les réponses du modèle ci-dessous sont reproduites dans leur version originale anglaise du Tableau supplémentaire 20, avec seulement des ajustements mineurs d’espacement et de capitalisation pour faciliter la lecture. Elles comprennent à la fois des réponses solides et une erreur afin d’illustrer les capacités actuelles du modèle et ses limites.
Ces exemples sont illustratifs et ne constituent pas un échantillon de performance. Ils montrent que DeepECG-Tok peut reproduire des interprétations complexes comportant plusieurs anomalies et des sorties JSON contraintes, tout en commettant aussi des erreurs cliniquement significatives qui nécessitent une supervision experte.
DeepECG-Tok a été évalué sans nouvel entraînement dans quatre cohortes externes indépendantes regroupant 20 755 ECG de 16 767 patients. Ces cohortes ont permis d’évaluer l’interprétation conventionnelle et les critères cliniques associés dans différents établissements, populations et systèmes d’acquisition.
Le transfert diagnostique est demeuré solide, avec des AUROC macro-moyennées du tokenizeur gelé de 0,88 (IC à 95 % : 0,87–0,91) dans CLSA et de 0,90 (IC à 95 % : 0,89–0,91) dans Harvard-Emory. Pour la fraction d’éjection ventriculaire gauche (FEVG), le modèle a permis à la fois une détection par seuil et une estimation continue. Toutes les valeurs ci-dessous sont accompagnées de leur intervalle de confiance à 95 % :
Les estimations continues de la FEVG étaient les plus précises dans la cohorte interne et sont demeurées informatives dans les deux ensembles de données externes. L’EAM plus élevée ainsi que la diminution de la corrélation et de l’accord montrent toutefois un écart mesurable de généralisation. La prédiction des cardiopathies structurelles s’est également transférée de l’Institut de cardiologie de Montréal à EchoNext avec des scores d’évaluation comparables.
Les capacités de DeepECG-Tok dépassent largement l’évaluation de la fonction ventriculaire. À partir de la même représentation ECG et sans tête de prédiction propre à chaque tâche, le modèle a évalué le risque futur de fibrillation auriculaire, la présence d’une cardiopathie structurelle, l’occlusion coronarienne aiguë et l’artère coronaire responsable probable.
Ces critères couvrent des horizons cliniques très différents : triage immédiat d’une occlusion coronarienne aiguë, détection d’une cardiopathie structurelle existante et prédiction à plus long terme d’une fibrillation auriculaire incidente. Le risque de FA, l’occlusion coronarienne aiguë et la localisation de l’artère responsable ont été développés et évalués à partir de données liées de l’ICM ; une validation prospective multicentrique demeure donc nécessaire.
Dans l’ensemble de l’évaluation guidée par instructions, le score composite fondé sur l’ontologie était de 0,71 en interne (IC à 95 % : 0,68–0,73), de 0,53 dans CLSA (IC à 95 % : 0,53–0,54) et de 0,50 dans Harvard-Emory (IC à 95 % : 0,49–0,50). Les questions portant sur des critères cliniques se sont transférées plus régulièrement que la génération ouverte ou strictement structurée de comptes rendus, ce qui souligne à la fois la capacité de généralisation du modèle et l’effet persistant des différences institutionnelles de rédaction.
Les comptes rendus ECG en texte libre ne peuvent pas être évalués de manière fiable par le seul chevauchement des mots. Des formulations cliniquement équivalentes, par exemple « fibrillation auriculaire avec réponse ventriculaire rapide » et « FA avec RVR », peuvent obtenir de faibles scores BLEU, ROUGE ou METEOR alors qu’elles expriment le même diagnostic. L’étude introduit donc un cadre LLM-as-a-judge librement accessible, fondé sur une ontologie et conçu comme standard d’évaluation réutilisable pour les modèles ECG-langage.
Le cadre dirige chaque réponse du modèle vers l’une de deux voies complémentaires :
Pour chaque réponse, le juge répartit le contenu clinique en anomalies reconnues, omises ou hallucinées. Le score correspond au nombre d’anomalies reconnues divisé par le nombre total d’anomalies reconnues, omises et hallucinées, puis est agrégé dans 19 catégories d’évaluation. Il est ainsi sensible aux omissions comme aux ajouts non étayés, tout en évitant les fausses pénalités produites par la comparaison littérale des mots.
Deux cardiologues certifiés ont réévalué indépendamment un échantillon aléatoire de 500 paires question-réponse au moyen de la même grille, anomalie par anomalie. L’accord pondéré global entre le cadre automatisé et les cardiologues a atteint un kappa de Cohen de 0,81 (IC à 95 % : 0,78–0,85), ce qui appuie son utilisation pour une évaluation à grande échelle. Le cadre est disponible à github.com/HeartWise-AI/ECG_LLM_Judge. La publication prévue sur PhysioNet fournira 25 000 ECG avec des images standardisées, les signaux bruts et des paires question-réponse validées cliniquement pour permettre une évaluation reproductible.
Comme l’évaluateur est indépendant de l’architecture de DeepECG-Tok, d’autres équipes peuvent le réutiliser pour comparer des modèles ECG-langage, tester de nouvelles stratégies de requête et mesurer la généralisation entre établissements à partir de critères cliniquement pertinents plutôt que de la seule similarité lexicale.
Une étude de lecteurs distincte et en aveugle a comparé les comptes rendus de DeepECG-Tok aux comptes rendus cliniques de référence. Lors de l’évaluation d’un seul compte rendu, celui du modèle a été jugé meilleur dans 32 % des comparaisons (IC à 95 % : 26–38 %), équivalent dans 35 % (IC à 95 % : 29–42 %) et inférieur dans 33 % (IC à 95 % : 27–39 %). Lors du choix forcé, les lecteurs ont préféré le modèle dans 31 % des cas (IC à 95 % : 26–36 %), jugé les comptes rendus équivalents dans 42 % (IC à 95 % : 36–48 %) et préféré la référence dans 28 % (IC à 95 % : 23–33 %). Parmi les cas départagés, le modèle a été préféré dans 53 % des cas (IC à 95 % : 45–60 %), sans différence significative entre le modèle et les comptes rendus de référence.
DeepECG-Tok montre qu’un vocabulaire discret de l’ECG peut servir à bien plus que la classification. Une représentation partagée peut relier les signaux cardiaques à l’interprétation en langage naturel, au raisonnement structuré et à la prédiction de critères cliniques, constituant ainsi une base pour des systèmes ECG que les cliniciens peuvent interroger directement.
L’étude demeure rétrospective. Une validation prospective multicentrique est nécessaire avant tout déploiement clinique, en particulier pour les critères dérivés de la cohorte de l’Institut de cardiologie de Montréal. Le modèle doit aussi disposer en amont d’un contrôle de qualité du signal et d’un mécanisme calibré d’abstention : lorsqu’un ECG est absent ou corrompu, une requête structurée peut tout de même produire une réponse plausible, mais non étayée. Ces mesures de protection représentent des étapes importantes vers une utilisation clinique sécuritaire.
L’ensemble anonymisé d’ECG utilisé pour l’analyse LLM-as-a-judge devrait être publié sur PhysioNet après la publication évaluée par les pairs, sous réserve de l’accréditation et de la signature d’une entente d’utilisation des données.
Ce travail a été financé par le Fonds de recherche du Québec (subvention FRQ 5232) et par des bourses de carrière des FRQS.