Un benchmark de MBZUAI evalúa el razonamiento espacial de la IA médica 3D
El benchmark CT-SpatialVQA de MBZUAI prueba cómo los modelos médicos identifican relaciones espaciales en tomografías.
Período del evento / de los datos:
Publicado: · Actualizado:
Investigadores de MBZUAI desarrollaron CT-SpatialVQA, una prueba para evaluar si los sistemas de IA médica 3D siguen las relaciones espaciales de la anatomía y las anomalías en volúmenes de tomografía computarizada (TC). Según una nota de la universidad del 19 de octubre, el conjunto contiene 9.077 pares de preguntas y respuestas espaciales derivados de 1.601 tomografías de tórax y sus informes radiológicos.
Los investigadores evaluaron ocho modelos de visión y lenguaje en un escenario de cero ejemplos. Ninguno alcanzó el 50% de precisión y el promedio de los ocho fue del 34,08%. CT-Chat obtuvo 43,69%, MedEvalKit 40,16%, MedGemma-1.5 38,24% y VILA-M3 28,20%. El trabajo fue aceptado como presentación oral en MICCAI 2026. Son resultados de una prueba de investigación concreta; no demuestran competencia clínica ni uso validado en la atención de pacientes.
Datos
Resultados de precisión de modelos en CT-SpatialVQA
Resultados seleccionados y promedio general de la evaluación universitaria de ocho modelos.
| CT-Chat | 43.69 | por ciento |
| MedEvalKit | 40.16 | por ciento |
| MedGemma-1.5 | 38.24 | por ciento |
| VILA-M3 | 28.2 | por ciento |
| Promedio de los ocho modelos | 34.08 | por ciento |
Metodología
Son resultados de precisión sin ejemplos en el benchmark CT-SpatialVQA. El promedio abarca ocho modelos; la tabla presenta cuatro modelos detallados por la fuente y el promedio. No es una validación clínica.
Actualizado:
Conjunto de datos CT-SpatialVQA
Cobertura de preguntas y escáneres en la prueba.
| Pares de preguntas y respuestas espaciales | 9077 | cantidad |
| Tomografías computarizadas de tórax | 1601 | cantidad |
Metodología
Las cifras describen la prueba de investigación, no una población de pacientes, un rendimiento diagnóstico ni resultados clínicos. La fuente indica que las 9.077 preguntas proceden de 1.601 tomografías torácicas e informes radiológicos.
Actualizado:
Temas y lugares
Propuestas temáticas
- Inteligencia artificialSugerido
- Subject suggested from the title or summary: AImbzuai.ac.ae ↗
- SaludSugerido
- Subject suggested from the title or summary: medicalmbzuai.ac.ae ↗
Referencias geográficas
Solo se muestran referencias geográficas proporcionadas por la fuente. Abrir un mapa externo es opcional. Los mapas opcionales usan OpenStreetMap. Al abrirlos se envían tu dirección IP y la de este sitio al proveedor; los datos de ubicación pueden leerse sin cargar el mapa.
- Emiratos Árabes Unidos · Función del lugar: Cobertura · Tipo de lugar: País o área · Precisión de ubicación: RegionalEvidencia
- Explicit preserved editorial country/region; no city or national centroid inferredmbzuai.ac.ae ↗