築城は天文元年（１５３２年）で豊後の大友宗麟は　永禄年間
（１５５８〜７０年）の時に改築、大友家の一族であった臼杵親連が
城代として守った.
永禄十一年（１５６８年）毛利元就は九州進攻に対して、臼杵親連は
大友軍の立花山城へ援軍を送った。
城主の留守を柑子岳城から１０ｋｍ離れた高祖山城主　原田了栄は
柑子岳城を攻めてきた、これに対し臼杵親連は急いで立花山城から
柑子岳城に戻り原田軍を追い返した。
２年後、臼杵親連は豊後へ帰任し新しく、臼杵鎮氏が城代になり元亀
三年（１５７２年）原田氏を討伐するが逆に攻められ鎮氏は自害し柑子
岳城は落城した。