Michael Whitaker Smith, hijo de Paul y Barbara Smith, nació el 9 de octubre de 1957 en Richmond Hill, West Virginia. Su padre trabajó en una refinería y su madre en una empresa de catering.Michael heredó el amor por el béisbol de su padre, quien jugó en las ligas menores. Michael desarrolló su pasión por la música a través de su iglesia. Aprendió a tocar el piano desde temprana edad y cantaba en el coro de su iglesia. Con 10 años de edad, Michael tuvo una “experiencia espiritual profunda” lo cual le llevó a convertirse en un cristiano devoto. “Llevaba esa cruz grande alrededor de mi cuello”, recordaba Michael, “para mi era real”. Participó en estudios sobre la Biblia y formó un grupo de viejos amigos que compartían su entrega a Jesucristo. Estos fueron años muy felices para Michael.
Después de que sus viejos amigos se mudaran a la universidad Michael empezó a luchar con sentimientos de soledad y distanciamiento. Tras acabar la enseñanza secundaria se metió en el mundo de las drogas y el alcohol.Durante unos meses asistíó a la Marshall Universityal tiempo que desarrollaba sus habilidades de compositor. También tocó con algunas bandas locales en los alrededores de Huntington, West Virginia. Durante ese tiempo un amigo de Michael, Shane Keister, que trabajaba como músico de estudio en Nashville, le animó a mudarse a la capital de la música country para seguir su carrera musical.
En 1978 Michael se mudó a Nashville para seguir su sueño, pero el comienzo no fue fácil. Aceptó un trabajo como jardinero para poder mantenerse. Tocó con varias bandas locales en los clubes de Nashville.