Un benchmark de MBZUAI évalue le raisonnement spatial de l’IA médicale 3D
Le benchmark CT-SpatialVQA de MBZUAI teste la capacité de modèles médicaux à repérer les relations spatiales sur des scanners.
Période de l’événement / des données:
Publié: · Mis à jour:
Des chercheurs de MBZUAI ont créé CT-SpatialVQA, un benchmark qui évalue si les systèmes d’IA médicale 3D suivent les relations spatiales entre l’anatomie et les anomalies dans des volumes de tomodensitométrie (TDM). Selon un article de l’université du 19 octobre, le jeu de données comprend 9 077 paires question-réponse spatiales tirées de 1 601 scanners thoraciques et de leurs comptes rendus radiologiques.
Les chercheurs ont évalué huit modèles de vision et langage en mode zéro-shot. Aucun n’a atteint 50 % de précision et la moyenne des huit s’établit à 34,08 %. CT-Chat a obtenu 43,69 %, MedEvalKit 40,16 %, MedGemma-1.5 38,24 % et VILA-M3 28,20 %. L’étude a été acceptée comme présentation orale à MICCAI 2026. Ces résultats concernent un benchmark de recherche précis ; ils ne démontrent ni compétence clinique ni validation pour les soins aux patients.
Données
Résultats de précision des modèles CT-SpatialVQA
Résultats sélectionnés et moyenne générale de l’évaluation de huit modèles par l’université.
| CT-Chat | 43.69 | pour cent |
| MedEvalKit | 40.16 | pour cent |
| MedGemma-1.5 | 38.24 | pour cent |
| VILA-M3 | 28.2 | pour cent |
| Moyenne des huit modèles | 34.08 | pour cent |
Méthodologie
Il s’agit de résultats de précision zero-shot sur le benchmark CT-SpatialVQA. La moyenne porte sur huit modèles ; le tableau présente les quatre modèles détaillés dans la source et la moyenne. Ces résultats ne valent pas validation clinique.
Mis à jour:
Jeu de données CT-SpatialVQA
Nombre de questions et d’examens dans le benchmark.
| Paires de questions-réponses spatiales | 9077 | nombre |
| Examens de tomodensitométrie thoracique | 1601 | nombre |
Méthodologie
Ces nombres décrivent le benchmark de test des chercheurs, pas une population de patients, une performance diagnostique ni des résultats cliniques. La source indique que les 9 077 questions proviennent de 1 601 scanners thoraciques et de leurs rapports.
Mis à jour:
Sujets et lieux
Sujets proposés
- Intelligence artificielleProposé
- Subject suggested from the title or summary: AImbzuai.ac.ae ↗
- SantéProposé
- Subject suggested from the title or summary: medicalmbzuai.ac.ae ↗
Références géographiques
Seules les références géographiques présentes dans la source sont affichées. L’ouverture d’une carte externe est facultative. Les cartes facultatives utilisent OpenStreetMap. Leur ouverture transmet votre adresse IP et celle de ce site au fournisseur ; les coordonnées restent lisibles sans charger la carte.
- Émirats arabes unis · Rôle du lieu: Couverture · Type de lieu: Pays ou territoire · Précision de localisation: RégionaleÉléments probants
- Explicit preserved editorial country/region; no city or national centroid inferredmbzuai.ac.ae ↗