Assessing computational predictions of antimicrobial resistance phenotypes from
microbial genomes

Hu, Kaixin

doi:10.24355/dbbs.084-202409171212-0

Published

Assessing computational predictions of antimicrobial resistance phenotypes from microbial genomes

English
German

The advent of rapid whole-genome sequencing has created new opportunities for computational prediction of antimicrobial resistance (AMR) phenotypes from genomic data. Both rule-based and machine learning (ML) approaches have been developed for this task. However, there is still a need for systematic benchmarking to assess whether ML methods are generally more competitive than the conventional rule-based approaches. Furthermore, comprehensive benchmarking is still needed to assess the potential of these computational approaches for clinical applications.
Here, I evaluated four state-of-the-art ML methods (Kover, PhenotypeSeeker, Seq2Geno2Pheno, and Aytan-Aktug), an ML baseline, and the rule-based ResFinder by training and testing each of them across 78 species–antibiotic datasets, using a rigorous benchmarking workflow that integrates three evaluation approaches, each paired with three distinct sample splitting methods. The analysis in this work revealed considerable variation in the performance across techniques and datasets. Whereas ML methods generally excelled for closely related strains, ResFinder outperformed the ML approaches for handling divergent genomes. Overall, Kover most frequently ranked top among the ML approaches, followed by PhenotypeSeeker and Seq2Geno2Pheno. The quality of AMR phenotyping varied substantially across species–antibiotic combinations. Particularly, the resistance phenotyping of the beta-lactams compound, aztreonam, amoxicillin/clavulanic acid, cefoxitin, ceftazidime, and piperacillin/tazobactam, alongside tetracyclines demonstrated more variable performance across species than the other benchmarked antibiotics. AMR phenotypes for antibiotic classes such as macrolides and sulfonamides were predicted with the highest accuracies. By organism, Campylobacter jejuni and Enterococcus faecium phenotypes were more robustly predicted than those of Escherichia coli, Staphylococcus aureus, Salmonella enterica, Neisseria gonorrhoeae, Klebsiella pneumoniae, Pseudomonas aeruginosa, Acinetobacter baumannii, Streptococcus pneumoniae, and Mycobacterium tuberculosis. In addition, this work provides software recommendations for each species–antibiotic combination. It furthermore highlights the need for optimization for robust clinical applications, particularly for strains that diverge substantially from those used for training.

Das Aufkommen der schnellen Ganzgenomsequenzierung hat neue Möglichkeiten für die computergestützte Vorhersage von Phänotypen der antimikrobiellen Resistenz (AMR) anhand von Genomdaten geschaffen. Für diese Aufgabe sind sowohl regelbasierte als auch auf maschinellem Lernen basierende (ML) Ansätze entwickelt worden. Es besteht jedoch nach wie vor Bedarf an einem systematischen Benchmarking, um zu beurteilen, ob ML-Methoden generell konkurrenzfähiger sind als die herkömmlichen regelbasierten Ansätze. Darüber hinaus ist ein umfassendes Benchmarking erforderlich, um das Potenzial dieser Berechnungsmethoden für klinische Anwendungen zu bewerten.
Hier habe ich vier aktuelle ML-Methoden (Kover, PhenotypeSeeker, Seq2Geno2Pheno und Aytan-Aktug), eine ML-Baseline und den regelbasierten ResFinder evaluiert, indem ich jede von ihnen anhand von 78 Spezies-Antibiotika-Datensätzen trainiert und getestet habe. Dabei habe ich einen strengen Benchmarking-Workflow verwendet, der drei Evaluierungsansätze integriert, die jeweils mit drei verschiedenen Probenaufteilungsmethoden gepaart sind. Die Analyse in dieser Arbeit ergab erhebliche Leistungsunterschiede zwischen den verschiedenen Techniken und Datensätzen. Während ML-Methoden im Allgemeinen bei eng verwandten Stämmen überlegenwaren, war ResFinder bei der Handhabung divergenter Genome am besten. Insgesamt belegte Kover am häufigsten den ersten Platz unter den ML-Ansätzen, gefolgt von PhenotypeSeeker und Seq2Geno2Pheno. Die Qualität der AMR-Phänotypisierung variierte erheblich zwischen den verschiedenen Antibiotika-Kombinationen. Insbesondere die Resistenzphänotypisierung der Beta-Lactam-Verbindungen Aztreonam, Co-Amoxiclav, Cefoxitin, Ceftazidim und Piperacillin/Tazobactam sowie der Tetrazykline zeigte eine variablere Leistung über die verschiedenen Spezies hinweg als die anderen verglichenen Antibiotika. AMR-Phänotypen für Antibiotikaklassen wie Makrolide und Sulfonamide wurden mit der höchsten Genauigkeit vorhergesagt. Nach Organismus wurden die Phänotypen von Campylobacter jejuni und Enterococcus faecium zuverlässiger vorhergesagt als die von Escherichia coli, Staphylococcus aureus, Salmonella enterica, Neisseria gonorrhoeae, Klebsiella pneumoniae, Pseudomonas aeruginosa, Acinetobacter baumannii, Streptococcus pneumoniae und Mycobacterium tuberculosis. Darüber hinaus enthält diese Arbeit Softwareempfehlungen für jede Spezies-Antibiotika-Kombination. Außerdem wird der Optimierungsbedarf für robuste klinische Anwendungen hervorgehoben, insbesondere für Stämme, die erheblich von denen abweichen, die für das Training verwendet wurden.