Stadsdelens namn är belagt första gången 1647 syftar på tillverkningen av skeppsmaster som skedde vid de gamla masthamnarna som förr låg vid älvstranden. Mastillverkning fanns redan på 1600-talet längs stranden. Hamnområdet användes även för trähandel och båtbyggeri och längst ut mot väster låg ett så kallat "tjäruhof".
Gamla Masthugget
De södra delarna Masthuggsberget brukar numer kallas Gamla Masthugget. Här är det lugnt och idylliskt bland landshövdingehusen. Kvarteren innehåller också fina lamellhus från 1930-talet på de branta sluttningarna. Området ligger alldeles intill Slottsskogen och korsas av Fjällgatan som binder samman stadsdelen med Majorna. Med en kort promenad är man nere vid Långgatorna och i Linnéstaden. Bebyggelsen på Masthuggsberget tog sin början under 1700-talet då en oreglerad bebyggelse började växa fram uppe på bergssluttningarna där arbetare från hamnen bosatte sig. Enkla trähus låg längs slingrande gator uppför branterna och området blev allt mer tätbefolkat fram mot 1800-talet.
Högst upp på berget tronar Masthuggskyrkan med majestätisk utblick över älvinloppet och staden. Kyrkan stod färdig 1914 efter ritningar av Sigfrid Ericson och är ett fint exempel på den nationalromantiska stilen. Än i dag är det ett karakteristiskt landmärke som syns från de flesta håll.
Mycket av den gamla träbebyggelsen på den norra sidan av Masthuggsberget försvann under 1960-talets saneringar för att ge plats åt tidens moderna flerbostadshus i bilfria kvarter.
Masthuggskajen
Vid hamnen anlades Masthuggskajen vid 1900-talets början och i området låg verkstäder och andra verksamheter med koppling till hamnen. Den f d Wettergrens kappfabrik vid Stigbergsliden byggdes 1897 och var nordens största kappfabrik. Vid kajen byggdes även Amerikahuset 1912-1915. Härifrån avgick Svenska Amerikalinjens fartyg över till Amerika under emigrationen. I närheten låg vid samma tid även Sjömanshemmet och Sjömanshuset. Masthuggstorgets historia går tillbaka till 1877 då det iordningsställdes som salutorg. Numer angränsar torget till de täta kvarteren runt Långgatorna och är en del av stråket mot Linnestadens restauranger och nöjen.