柴北は大分県のほぼ中心に位置し、一級河川の大野川の中流にある。
当時（１１８６年）は緒方惟栄（これよし）が勢力を保持していたが、平家討伐後、頼朝、義経兄弟の仲が悪化すると、後白河院は義経を九州に下すとし、緒方惟栄の海軍力に目をつけ、義経先導を命じた。
１１月３日緒方惟栄は義経を先導し、京都を発ったが、６日に大物浦（だいもつうら）で乗船したが、疾風にあい難破して頼朝軍に捕らえられ、鎌倉に下された。
緒方惟栄は上野国沼田荘（現群馬県沼田市）に流罪、後に赦免となり帰国するが、義経は逃れて山伏姿になり奥州藤原秀衡をたよって平泉に行ったこのような背景下に豊後国司（国司は天皇が任命する）藤原頼経がいるにもかかわらず、不穏な動きがあることを理由に鎮西奉行、豊前、豊後守護職（警備を目的）置くことにし、その役に大友能直（よしなお）が任命され、１１９６年古荘重吉を先頭にして３月、速見郡浜脇浦から上陸した。これは鎌倉幕府が天皇の権力を武力で誇示して事実上、権力を手に入れることになっていく過程であり、これらの守護がしだいに武力闘争の時代に入っていく。率いる武将１８００人のなかに安東常輝が随身、他に工藤、二階堂、などの関東武士が入国した。
このとき緒方惟栄が先導となったが、緒方惟栄の同族（大神（おがみ）一族、阿南惟家は高崎山に弟阿南家親は鶴賀城に大野九郎泰基は朝地町神角寺に拠し、交戦したしかし、平定後はそれぞれ大友氏の所領となり、豊後支配の基盤となっていった。のちに阿南氏が領していた、大分市稙田（わさだ）、宗方（むなかた）は安東氏が所領することになった。