La tercera fortaleza de Baracoa, Fuerte de la Punta, se construyó en 1803 sobre la entrada de la bahía. Durante la pseudorepública, albergaba una oficina de radiotelegrafía. La fortaleza ahora contiene el Restaurante La Punta.

Una peculiar elevación de laderas verticales y cima plana localizada a 8 km de la ciudad de Baracoa, Colón la describió en el diario de su primer viaje a Cuba en 1492. El Yunque de Baracoa, declarado Monumento Nacional y símbolo de la ciudad de Baracoa, considerado una isla ecológica que llamó la atención del almirante Cristóbal Colón en su primer viaje a las Américas, sirviendo como un punto de orientación debido a sus características inusuales (su cima plana). La fauna del Yunque es rica y diversa, hay abundantes pájaros carpinteros, colibríes, jutias, lagartos, reptiles. Hay un mirador natural a 573 m, desde donde se puede ver un vasto paisaje de verdes montañas y ríos con la Bahía de Baracoa como telón de fondo.

Esta fortaleza, que ahora alberga el Hotel El Castillo, se encuentra en una colina que domina Baracoa. Es un antiguo castillo, con techos de tejas rojas, con vistas de la amplia bahía con forma de ostra de la ciudad y la montaña emblemática llamada El Yunque (El Yunque), llamada así por su singular forma. Aunque la construcción comenzó en 1739, el fuerte no se terminó hasta casi 200 años más tarde. Incluso si se hospeda aquí, lo puede visitar para disfrutar de las vistas de El Yunque y la ciudad.

En la Plaza Principal hay un busto de Hatuey, el valiente líder indio que resistió a los primeros conquistadores hasta que fue capturado por los españoles y quemado en la hoguera. También hay una muy animada Casa de la Trova. Vale la pena pasear por el Malecón, la avenida costera, desde el acogedor Fuerte Matachín (un fuerte de principios del siglo XIX que tiene un pequeño pero informativo museo municipal en el interior) hasta el Hotel La Rusa, que lleva el nombre de un emigrante ruso legendario que los años hospedaron celebridades como Che Guevara y Errol Flynn.