충무사는 이순신 장군(1545 ∼1611년)을 기리는 사당이다. 이 사당은 충무공 이순신이 발포만호로 재임한 것을 기념하기 위해 1980년 세워진 사당으로 고흥은 이순신의 첫 근무지이다.
충청 병사 군관으로 재직하던 이순신은 36세인 1580년 7월 이곳에 발포만호로 부임하여 선조 15년(1582) 1월 모함을 받아 만호직에서 파면되기까지 18개월간 이곳에서 근무했다. 발포는 이순신이 재임 시절 거문고를 만들기 위해 오동나무를 베어 오라는 상관의 지시에 "관아의 오동나무는 나라의 것"이라고 말한 일화가 탄생한 곳으로, 청렴의 상징으로 유명하다. 충무공 영정을 모신 사당과 내삼문, 외삼문이 있으며 이순신의 출생일인 4월 28일 매년 충무공 탄신제가 열린다.
인근 130m 거리에 해안 방어의 요충으로 축성된 성인 발포만호성이 있으며, 발포항에 자리한 발포역사전시체험관도 함께 둘러볼 수 있다. 차량으로 5분 거리에 발포해수욕장이 있다.