Dia, Jenderal Kopassus Asal Boyolali

Lalu, memamg jabatansebagai Pa Intel Ops Den 1 Yon 12 Kopassus. Masih di Kopassus, Mayjen Sumardi pernah menjadi Paops Grup-1 Kopassus, Danden 1 Yon-21 Grup 2 Kopassus, Kasiopsjar Grup 3 Pusdik Passus dan Dansepursus Grup 3 Pusdik Passus.

Selanjutnya, diberi mandat memenang posisi sebagai Komandan Batalyon (Danyon) 12 Grup 1 Kopassus. Beberapa jabatan lainnya di Kopassus pernah dipegangnya antara lain, Pabandyalat Sops Kopassus, Waasops Danjen Kopassus, Wadan Grup 1 Kopassus, Asops Danjen Kopassus dan Danpusdik Passus Kopassus.

Baru setelah itu ditugaskan menjadi Aspers Kasdam IV/Diponegoro. Usai menjabat sebagai Aspers Kasdam Diponegoro, Sumardi dapat pos penugasan baru menjadi Danrem 082 Citra Panca Yudha Kodam Brawijaya. Selesai bertugas jadi Danrem, ia ditunjuk menjadi Paban III Latgab Sops TNI.

Tahun 2011, Sumardi diberi mandat untuk memegang jabatanDirlat Kodiklat TNI AD. Setahun berikutnya atau tahun 2012, iamenduduki posisi sebagai Kasgartap I/Jakarta.

Lalu pada tahun 2013, Sumardi dipromosikan menjadi Gubernur Akmil. Baru setelah itu menjadi Pangdam V/Brawijaya. Selesai menjabat Pangdam Brawijaya, Sumardi digeser menjadi Dankodiklat TNI sampai ia pensiun.