Meskipun Umar bin Khattab akhirnya terpilih menjadi khalifah, beliau sangat berharap agar Abu Ubaidah yang menjadi penerus kepemimpinan Islam.
Namun, takdir berkata lain, karena Abu Ubaidah meninggal dunia karena wabah penyakit pada tahun ke-18 Hijriah, di usia 58 tahun.
Meski wabah telah menyebar luas, Abu Ubaidah tetap tinggal di Madinah dan mengabdikan dirinya hingga akhir hayatnya.