這麼多的「紅毛」，代表什麼意義呢？其實它所象徵的是十七世紀荷蘭人、西班牙人統治台灣的歷史，台灣人對荷蘭、西班牙人都稱「紅夷」、「紅毛」，因此與其有關的地點、建築，都冠以「紅毛」之名，例如台南的赤崁樓、安平古堡，同樣也被稱為「紅毛樓」。
所以，紅毛港的得名，就應該與荷蘭人有關（西班牙人勢力範圍在台灣北部）。紅毛港當地的傳說指出，荷蘭人當初來到台灣時，除了在今日台南設置大本營外，在今日的紅毛港地區，也是其一處重要基地，荷蘭人不但在此登陸，還設置海關於今日濟天宮附近，是為安平港的輔助港，也有許多荷蘭人在此地駐守。
甚至，在鄭成功將荷蘭人趕出府城（台南）後，荷蘭人還一度利用紅毛港，當做反攻的前哨港。當時荷蘭人在此登岸紮營，雙方大戰一觸即發，後因鄭軍嚴陣以待，荷蘭軍隊又水土不服，荷蘭軍隊才撤退，這也可說是「紅毛」在台灣南部的最後活動了。
從當時所繪製的地圖看來，昔日紅毛港附近，一直到下淡水溪（高屏溪）之間，其實是個廣闊的港口，當時以海運為主的船隻，應該都是由紅毛港附近進出，因此上述的傳說，應該有相當的可信度，「紅毛港」的由來，還有這麼一段歷史事蹟，也是高雄市最早開發的地區之一。
而紅毛港，其實與高雄市其他地區的發展也有關係，「前鎮」、「右昌」、「左營」等地區，是早期明鄭設置軍隊的地區，其所防備的敵人，有人認為就是紅毛港的荷蘭軍隊，這可說是高雄早期歷史發展的重要區域。
地理的因素，讓紅毛港在當時成為重要的港口，也使當時來到台灣的荷蘭人，在此地開城闢地，可惜的是，經過三百年後，遺址都不見了，只留下「紅毛港」這個名稱，供人追憶。
