La tercera fortaleza de Baracoa, Fuerte de la Punta, se construyó en 1803 sobre la entrada de la bahía. Durante la pseudorepública, albergaba una oficina de radiotelegrafía. La fortaleza ahora contiene el Restaurante La Punta.

La Catedral "Nuestra Señora de la Asunción", surge a principios del siglo XVI en el pueblo de Baracoa. En ese momento esta iglesia era conocida con el nombre de la Iglesia Parroquial de la Villa de Baracoa. La iglesia es mejor conocida por preservar la Cruz de la Parra que Colón supuestamente usó cuando desembarcó en 1492 para reclamar Cuba por España y el cristianismo. De hecho, la datación por carbono ha confirmado que la cruz se fabricó a fines del siglo XV y tiene la edad suficiente para haber sido llevada por el explorador. Se puede afirmar con certeza que esta es una de las cruces más antiguas (quizás la más antigua) en el Nuevo Mundo.

Alrededor de Baracoa hay varias docenas de sitios arqueológicos precolombinos relacionados con los dos principales grupos indígenas que alguna vez habitaron la región. Es una maravillosa instalación para los amantes de la historia y la arqueología, situada en un ambiente colonial en la segunda terraza de Seboruco, conocida como Alturas Paraíso. El área en la que se encuentra es rica en restos de nuestra primera población. El Museo Arqueológico de la Cueva del Paraíso contiene una copia del ídolo de tabaco Taíno encontrado en las cercanías en 1903 (el original está en La Habana).

Una de las tres fortalezas de Baracoa, Fuerte Matachín, se completó en 1802. En 1868 se convirtió en un puesto de guardia del ejército español para el reconocimiento y registro de todos los que entran y salen de la ciudad. Después de la instalación de la pseudo-República, se utilizó en primer lugar como un bastión contra los piratas y luego fue utilizado por los españoles como prisión. Hoy alberga el Museo Histórico Matachín, cuyas exhibiciones muestran la historia de la ciudad, incluidas sus raíces taínas. Hay ejemplos de cerámica taína, esculturas y otros artefactos; exhibiciones sobre ciudadanos famosos; y otras que explican el papel de la comunidad en las guerras por la independencia y la Revolución.