Porto Azzurro è collocato ai piedi del promontorio culminante nella fortezza di Longone (detta anche di S. Giacomo), edificata da Filippo II di Spagna nel 1563.

Il piccolo centro, porto turistico che si affaccia sulla maggiore insenatura del versante orientale, ha un aspetto pittoresco, con stradine in salita, piccole facciate in pietra, angoli suggestivi e una piazza grande che si specchia nelle acque del porto. Il centro antico di Longone è dominato dalla possente fortezza stellata.

Verso i primi anni del XVII secolo Porto Azzurro faceva parte, insieme a Telamone e Orbetello, dello Stato dei Presidi, il singolare mezzo con il quale la monarchia spagnola controllava le principali vie marittime del Tirreno.

In passato l’economia di Porto Azzurro si basava soprattutto sull’agricoltura e sulla pesca, mentre oggi il settore con maggiore sviluppo e dal quale gli abitanti traggono la maggior parte dei profitti è il turismo. Come il resto del’isola, anche questa località ricca di notevoli spiagge come Barbarossa, La Rossa e Reale, si è infatti attrezzata per accogliere turisti di ogni dove, molte sono le strutture balneari e alberghiere che sono sorte su tutta l’isola.