La ville tient sur une presqu'île de moins de 130 kilomètres carrés, ce qui rend ses quartiers très contrastés sur de courtes distances.
Fisherman's Wharf et ses otaries, North Beach, quartier italien où siège la librairie City Lights, et Chinatown, l'un des plus anciens d'Amérique du Nord.
Union Square pour le commerce, le Financial District et sa Transamerica Pyramid, et le Civic Center avec son hôtel de ville à dôme. Le quartier de Tenderloin, voisin, concentre des difficultés sociales marquées.
Haight-Ashbury, berceau de la contre-culture des années 1960, le Castro, quartier historique du mouvement pour les droits des personnes homosexuelles, et Mission, connu pour ses fresques murales.
Nob Hill, Russian Hill et la rue Lombard et ses virages. Le relief explique le maintien des cable cars, en service depuis la fin du 10-neuvième siècle et classés monument historique.