La tercera fortaleza de Baracoa, Fuerte de la Punta, se construyó en 1803 sobre la entrada de la bahía. Durante la pseudorepública, albergaba una oficina de radiotelegrafía. La fortaleza ahora contiene el Restaurante La Punta.

La Catedral "Nuestra Señora de la Asunción", surge a principios del siglo XVI en el pueblo de Baracoa. En ese momento esta iglesia era conocida con el nombre de la Iglesia Parroquial de la Villa de Baracoa. La iglesia es mejor conocida por preservar la Cruz de la Parra que Colón supuestamente usó cuando desembarcó en 1492 para reclamar Cuba por España y el cristianismo. De hecho, la datación por carbono ha confirmado que la cruz se fabricó a fines del siglo XV y tiene la edad suficiente para haber sido llevada por el explorador. Se puede afirmar con certeza que esta es una de las cruces más antiguas (quizás la más antigua) en el Nuevo Mundo.

En la Plaza Principal hay un busto de Hatuey, el valiente líder indio que resistió a los primeros conquistadores hasta que fue capturado por los españoles y quemado en la hoguera. También hay una muy animada Casa de la Trova. Vale la pena pasear por el Malecón, la avenida costera, desde el acogedor Fuerte Matachín (un fuerte de principios del siglo XIX que tiene un pequeño pero informativo museo municipal en el interior) hasta el Hotel La Rusa, que lleva el nombre de un emigrante ruso legendario que los años hospedaron celebridades como Che Guevara y Errol Flynn.

Esta fortaleza, que ahora alberga el Hotel El Castillo, se encuentra en una colina que domina Baracoa. Es un antiguo castillo, con techos de tejas rojas, con vistas de la amplia bahía con forma de ostra de la ciudad y la montaña emblemática llamada El Yunque (El Yunque), llamada así por su singular forma. Aunque la construcción comenzó en 1739, el fuerte no se terminó hasta casi 200 años más tarde. Incluso si se hospeda aquí, lo puede visitar para disfrutar de las vistas de El Yunque y la ciudad.