建於西元1653年，荷蘭人稱普羅民遮城，屬西方堡壘式建築。

清同治年間，城樓傾頹，光緒十二年於城堡殘基上建海神廟、文昌閣、五子祠。

日據時期被改為陸軍醫院，

民國五十四年重修，即今日所見之規模。

民國七十一年列為國家一級古蹟。