Setelah mendapatkan wahyu, Nabi Muhammad terpaksa meninggalkan Makkah dan berhijrah menuju ke Yastrib. Hijrahnya kaum muslimin ini karena mereka mengalami penyiksaan dan penindasan yang luar biasa dari musyrik Quraisy.
Mereka terusir dari kampung halamannya sendiri dan dipaksa untuk meninggalkan semua harta bendanya yang kemudian dikuasai kaum musyrik Quraisy. Jadi, umat Islam berhijrah tanpa membawa kekayaan sedikit pun.
Nabi Muhammad berhijrah ditemani Abu Bakar pada tanggal 27 Shafar tahun ke-14 kenabian. Beliau menaiki Qashwa, seekor unta yang dibeli dari Abu Bakar, dalam menyusuri perjalanannya tersebut. setelah melewati berbagai macam halangan dan rintangan, Nabi pun tiba di Kota Yatsrib pada bulan Rabi’ul Awwal atau pada hari Senin, 22 September 622 M.
Kedatanganya pun disambut suka cita oleh penduduk Yastrib. Bahkan, semua orang menghendaki supaya Nabi tinggal di rumahnya. Namun, Nabi menyatakan akan tinggal di tempat yang dipilih oleh Qashwa, unta kesayangan Nabi Muhammad.
Akhirnya, Qashwa dibiarkan berjalan hingga akhirnya unta tersebut berhenti di bidang tanah milik dua orang anak yatim piatu yang diasuh As’ad, yakni Sahl dan Suhail.
kemudian di bidang tanah tersebut dibangun Masjid Nabawi dan bilik-bilik kamar Nabi Muhammad di sampingnya.
Ketika tiba di Yatsrib itulah, Nabi Muhammad menyampaikan sebuah khutbah untuk meneguhkan keimanan umat Islam (terutama kaum Muhajirin) dan mengingatkan mereka agar menjaga dirinya dari neraka. berikut khutbah pertama Nabi Muhammad di Kota Yatsrib sebagaimana riwayat Ibnu Ishaq:
“Wahai manusia, persiapkan untuk diri kalian, niscaya kalian tahu demi Allah bahwa seorang dari kalian pasti meninggal dunia. Ia tinggalkan kambing-kambingnya tanpa penggembala. Rabb-nya pasti berkata kepadanya dan tidak ada penerjemah di antara keduanya atau penghalang di antara keduanya, ‘Tidakkah datang kepadamu Rasul-Ku, kemudian dia menyampaikan apa yang diterimanya kepadamu? Bukankah aku telah memberimu kekayaan dan melebihkanmu, namun kenapa engkau tidak mempersembahkan sesuatu untuk dirimu?’ Ia melihat ke kanan dan ke kiri tapi ia tidak melihat apa-apa. Ia melihat ke depannya, tapi ia tidak melihat selain neraka jahannam. Barang siapa mampu melindungi wajahnya dari neraka, kendati hanya dengan separuh biji kurma, hendaklah ia mengerjakannya. Barang siapa tidak mendapatkannya, hendaklah ia melindungi wajahnya dari neraka dengan perkataan yang baik, karena sesungguhnya kebaikan itu dibalas dengan sepuluh kebaikan hingga tujuh ratus kali lipat lebih banyak,” kata Nabi Muhammad di hadapan umat Islam, setelah menyampaikan salam dan memuji Allah.
Lewat khutbah itu lah Nabi Muhammad mengajak umat Islam untuk menatap kehidupan baru di Kota Yatsrib. Kehidupan setelah mereka meninggalkan semua harta benda dan keluarganya di Makkah. Kehidupan di bawah bimbingan Rasulullah, utusan Allah. Kehidupan bersama dengan saudara baru, kaum Anshor.
Akhirnya Nabi Muhammad melakukan beberapa terobosan dalam membangun Kota Yatsrib, mulai dari mengganti nama Yatsrib dengan Madinah, membuat masjid sebagai pusat semua kegiatan, bukan hanya untuk tempat pengajaran Islam dan beribadah saja tapi juga untuk menyusun siasat perang dan pembinaan umat, mempersaudarakan kaum Muhajirin dan Anshor, serta menjalin perjanjian dengan kaum Yahudi dan Nasrani.
Terbukti apa yang dilakukan Nabi Muhammad itu terbukti ampuh. Beliau berhasil menyulap kota Yatsrib menjadi Kota Madinah yang berperadaban dan diperhitungkan di jazirah Arab pada saat itu. Dengan Piagam Madinah, Nabi Muhammad juga berhasil membangun masyarakat yang majemuk di Madinah hidup dalam harmoni dan damai.
