Pimpinan Pusat Muhammadiyah meresmikan berdirinya Ikatan Mahasiswa Muhammadiyah pada 14 Maret 1964, bertepatan dengan 29 Syawal 1384. Piagam pendiriannya ditandatangai oleh Ketua PP Muhammadiyah KH Ahmad Badawi dalam sebuah resepsi yang dilaksanakan di Gedung Dinoto Yogyakarta. Beberapa tokoh pelopornya antara lain: Rosyad Sholeh, Djazman Al-Kindi, Sudibyo Markus. Embrio IMM dimotori para mahasiswa Yogyakarta yang tergabung dalam Lembaga Dakwah Muhammadiyah, yang koordinatori Margono.