La preimpresión arroja dudas sobre el estudio que sustenta el microbioma

NUEVA YORK – En enero, Micronoma, una startup con sede en San Diego, California, cofundada por Rob Knight, profesor de la Universidad de California en San Diego, y su ex estudiante graduado Greg Sepich-Poore, obtuvo la designación de dispositivo innovador de la Administración de Alimentos y Medicamentos de EE. UU. para su ensayo OncobiotaLung. , un ensayo basado en microbiomas sanguíneos para la detección del cáncer de pulmón.

En ese momento, la compañía, que afirma ser la primera en utilizar tecnología de biopsia líquida impulsada por microbiomas, dijo que "[e]l trabajo que condujo a la designación del innovador dispositivo se basa en los hallazgos de los cofundadores de Micronoma, publicados en la revista científica revistas Nature y Cell."

Sin embargo, ahora se alega que el estudio de Nature, publicado en 2020, tiene "importantes errores de análisis de datos", como resultado de lo cual sus conclusiones deberían considerarse "inválidas", según un estudio preimpreso publicado en BioRxiv el lunes por investigadores de la Universidad de East Anglia en el Reino Unido y la Universidad Johns Hopkins.

Knight desestimó las críticas y afirmó que los resultados de su equipo son sólidos y reproducibles.

Queda por ver cómo la controversia actual podría afectar el desarrollo comercial de pruebas de diagnóstico basadas en microbiomas del cáncer como la de Micronoma. La compañía se negó a responder las preguntas de GenomeWeb sobre las preocupaciones planteadas por la preimpresión, afirmando que "[la] ventana para poder responder a estas preguntas se ha cerrado".

Tampoco está claro si la crítica podría poner en peligro la aprobación regulatoria de OncobiotaLung, que, con su designación de dispositivo innovador, tiene derecho a una revisión y evaluación aceleradas por parte de la FDA. Un portavoz de la FDA dijo que la agencia "no puede discutir las solicitudes pendientes".

El estudio en cuestión

Publicado en 2020 por Knight, Sepich-Poore y sus colaboradores, el estudio de Nature en cuestión presentó evidencia de firmas microbianas específicas del cáncer generalizadas, basadas en datos de secuenciación de ADN de más de 18,000 muestras de más de 10,000 pacientes del Atlas del Genoma del Cáncer ( TCGA), que cubre 33 tipos de cáncer.

Al entrenar algoritmos de aprendizaje automático, el equipo de Knight demostró además que podía diferenciar los tipos de tumores en función de su composición microbiana con gran precisión.

"Al principio me sentí bastante eufórico cuando apareció el artículo de Rob Knight", dijo Abraham Gihawi, investigador postdoctoral de la Universidad de East Anglia, primer autor del estudio preimpreso. "Parecía una gran prueba de concepto".

"Entonces te das cuenta: 'Oh, Dios, no es necesariamente exactamente lo que dice ser'", añadió. Las preocupaciones iniciales de Gihawi incluían la contaminación de la secuencia humana, el manejo de los efectos de los lotes, las clasificaciones de falsos positivos y las limitaciones en los enfoques de aprendizaje automático, y las publicó en una preimpresión anterior publicada en BioRxiv en enero de este año.

Ese preimpreso pronto se encontró con lo que Knight llamó una "refutación exhaustiva", que su equipo publicó en un preimpreso publicado en febrero.

Además, Knight sostuvo que un artículo de 2022 Cell del que fue coautor, que utilizó métodos actualizados, llegó a "las mismas conclusiones de que los microbios son específicos del tipo de cáncer".

Dos "errores importantes"

Después de que salió la preimpresión de enero de Gihawi, uno de los investigadores que se acercó a él fue Steven Salzberg, biólogo computacional de la Universidad Johns Hopkins, quien se convirtió en colaborador y es el autor correspondiente de la preimpresión de esta semana.

"[Steven] siempre sospechó que algo andaba mal con los datos también, pero no pudo identificarlo", dijo Gihawi. "Entonces, comenzamos a trabajar juntos".

Los dos examinaron más a fondo el estudio de Nature de 2020, y su nueva preimpresión, que se basó en el análisis anterior de Gihawi, afirma que hubo dos "errores importantes" en el artículo original de Knight. "Cada uno de estos problemas invalida los resultados", argumentaron los investigadores, "lo que lleva a la conclusión de que los clasificadores basados ​​en microbiomas para identificar el cáncer presentados en el estudio son completamente incorrectos".

Por un lado, Gihawi y Salzberg alegaron que los recuentos de lecturas microbianas brutas en el estudio de Nature estaban "muy sobreestimados para casi todas las especies bacterianas" debido a la contaminación con secuencias humanas.

Además, argumentaron que la estrategia del artículo para normalizar los datos sin procesar frente a los efectos técnicos por lotes, es decir, la normalización Voom-SNM, creó una firma artificial para cada cáncer que no existía en la realidad, que luego fue explotada por el modelo de aprendizaje automático para crear datos altamente precisos. clasificadores a pesar de la ausencia de cualquier señal verdadera.

"Demostramos que la señal que se introdujo durante el proceso de normalización ha creado una firma distintiva de tipo de tejido que no debería existir porque se basa en taxones que son completamente cero", dijo Gihawi. "No deberíamos poder distinguir nada de datos que no existen".

Knight rechazó estas afirmaciones, acusando a los autores de la preimpresión de "renovar una no controversia que ya ha sido abordada exhaustivamente, incluso en la literatura revisada [por pares]". Señaló el artículo 2022 Cell de su equipo, que, según dijo, analizó una cohorte internacional independiente de tumores del Instituto Weizmann en Israel con configuraciones más estrictas, como filtrado de lectura humana adicional, y aún así llegó a las "mismas conclusiones" que respaldaron la Estudio previo de Naturaleza.

Los revisores pares del estudio de Nature de 2020 no respondieron a una solicitud de comentarios.

Después de que Gihawi y Salzberg publicaran su preimpresión el lunes, el equipo de Knight también depositó una refutación en GitHub, donde dijeron que repitieron su análisis de aprendizaje automático sin utilizar la normalización Voom-SNM y aún mantuvieron los hallazgos originales.

Sin embargo, Travis Gibson, profesor de la Facultad de Medicina de Harvard, argumentó en Twitter que había evidencia de contaminación ambiental en los datos utilizados para la refutación de GitHub. Gibson no respondió a las solicitudes de comentarios.

Los asuntos que surjan

Algo en lo que ambas partes parecen estar de acuerdo es en la necesidad de que las revistas revisadas por pares intervengan en el debate en curso.

"Seguimos creyendo que la normalización de Voom-SNM es una técnica útil de integración entre cohortes hasta que haya evidencia revisada por pares de lo contrario, momento en el que evaluaremos los resultados y haremos nuestra propia investigación basada en ellos sobre los límites de utilidad. de la técnica", afirmó Knight.

"Es por eso que [nuestro análisis] debe publicarse en una revista revisada por pares", comentó Gihawi.

Antes de publicar su preimpresión en enero, Gihawi dijo que envió sus comentarios a Nature para su publicación como un artículo "Matters Arising". Sin embargo, el equipo editorial de Nature rechazó su solicitud, diciéndole que los argumentos que presentó "no cuestionaron suficientemente las conclusiones reportadas" del estudio original.

"Mostramos claramente que había valores cero que se habían normalizado" y que el método había introducido una señal artificial, afirmó Gihawi. "No podíamos entender por qué la naturaleza no se enfrentaba a eso".

Después del rechazo, dijo Gihawi, Nature le sugirió que publicara su manuscrito como preimpresión, lo cual hizo. Al mismo tiempo, también envió el análisis a una variedad de otras revistas, incluida Science, pero fue rechazado porque se trataba únicamente de un artículo publicado en Nature.

En un correo electrónico, un portavoz de Science dijo que la revista "apoya la retroalimentación rápida posterior a la publicación de la investigación publicada en nuestra revista a través de eLetters", pero no "publica dicha retroalimentación si se centra en investigaciones publicadas exclusivamente en otras revistas".

Después de que salió la preimpresión inicial, Gihawi dijo que recibió apoyo público y privado de varios investigadores. Animado por eso, dijo que se puso en contacto nuevamente con Nature y le pidió a la revista que reconsiderara la publicación de su manuscrito. Pero los editores de la revista una vez más rechazaron su solicitud, señalando que "siguen sintiendo que el artículo no se adapta bien a los criterios editoriales de 'Matters Arising', que son más estrictos en cuanto a formato y contenido".

Nature no explicó por qué creía que el manuscrito de Gihawi no cumplía con los estándares de publicación.

Otras implicaciones no están claras

Aparte del artículo de Nature, más de una docena de estudios posteriores que se basaron en los resultados de 2020 del grupo Knight para encontrar asociaciones adicionales del microbioma del cáncer también "probablemente no sean válidos", sostuvieron Gihawi y Salzberg en su preimpresión de esta semana.

Estos incluyen, por ejemplo, un estudio de Nature Communications de 2022 que sugirió que el microbioma tumoral puede ayudar a predecir el pronóstico del cáncer y la respuesta a los medicamentos, así como un estudio de enero de 2023 en NPJ Breast Cancer que observó comunidades microbianas específicas de raza en tumores de mama, señalaron.

Los autores correspondientes de ambos artículos no respondieron a las solicitudes de comentarios de GenomeWeb.

Más allá de la investigación académica, todavía no está claro cómo las preguntas planteadas por la última preimpresión afectarán el desarrollo comercial de las pruebas de diagnóstico del cáncer, dado que el estudio de Nature de 2020, que ahora está en duda, juega un papel algo importante para Micronoma.

"Nuestro trabajo se basa en los hallazgos del artículo de Nature de 2020", dijo un portavoz de Micronoma en un correo electrónico, "pero los métodos han seguido evolucionando desde entonces y no utilizamos exactamente los mismos procesos".

Knight afirmó que la prueba OncobiotaLung de la compañía "no depende en absoluto de ninguna de las técnicas del artículo de 2020".

En un comunicado, la directora ejecutiva de Micronoma, Sandrine Miller-Montgomery, dijo que después del estudio de Nature de 2020, la compañía "desarrolló métodos adicionales de control de calidad y filtrado humano que minimizaron la contaminación del ADN genómico humano y descubrió que hacerlo no obstaculizaba la capacidad de diagnosticar la presencia de cáncer o tipos, como se publicó más tarde en Cell." Añadió que en el caso de la detección del cáncer de pulmón, la empresa ha "generado una base de datos microbiana independiente y patentada basada en el ensamblaje de metagenomas de lecturas no humanas".

Sin embargo, la compañía no respondió preguntas específicas, incluido lo que piensa sobre las preocupaciones planteadas por los autores de la preimpresión y si cree que sus pruebas, incluida OncobiotaLung, son seguras y efectivas para su uso en pacientes.

Según el sitio web de Micronoma, la plataforma Oncobiota de la compañía, que incorpora algoritmos patentados de aprendizaje automático, está "diseñada para revelar firmas de microbiomas relacionados con el cáncer con alta especificidad y sensibilidad".

Ivan Vujkovic-Cvijin, investigador de microbioma en el Centro Médico Cedars-Sinai, que no participó en ninguno de los estudios, dijo que el aprendizaje automático está diseñado para encontrar patrones complejos en los datos que pueden predecir un resultado, pero estos patrones pueden surgir de fuentes a menudo impredecibles. incluso del medio ambiente.

"Si los investigadores pudieran obtener muestras de validación independientes y probar el mismo modelo de aprendizaje automático en nuevos conjuntos de muestras, se evitarían desacuerdos científicos como este", afirmó. "Pero no existen estándares para la aplicación del aprendizaje automático en la ciencia del microbioma, y ​​creo que este desacuerdo científico subraya la necesidad de desarrollarlos".