Mark est né le 2 septembre 1951 à Burbank en Californie [USA]. 
Diplomé en communication, Mark Harmon s'essaie au Football Americain avant de se tourner vers la comédie.Dès 1977 il enchaîne de nombreux téléfilms et obtient un rôle régulier dans Hopital Elsewhere [1983]. Il apparait ensuite dans des série comme Clair de lune[1987] et A la maison blanche. En 2003 il joue l'agent Gibbs dans deux épisode de Jag puis dans son spin off où il prend la tête des enquêtes spéciales du NCIS. 
Principalement acteur de télévision, Mark Harmon n'est pas absent du grand écran puise qu'il coitoie des acteur comme Johnny Depp dans Las Vegas Parano [1998] et Jamie Lee Curtis dans Freaky Fridays dans la peau de ma mère.