観音寺の付近一帯は志方城跡です。
城の規模は現在の観音寺の境内を本丸とし、本丸を囲む内堀の周囲に二の丸(志方小学校所在のあたり)西の丸(旧志方町役場所在のあたり)とかなりの規模の城であったようです。
この城の城主・櫛橋家は伊朝を元祖とし代々赤松氏の家臣でした。
伊朝より五代の孫、櫛橋左京亮則伊は、赤松政則に仕えて大いに重んじられ、祖父の例にならって播備作三国の財産出納の役をつとめ文明十三年(1481)志方・天神山に城を築き、明応元年(1492)この地に志方城を築きました。
以来、伊家、伊定、政伊と父子四代続き、天正六年(1578)羽柴秀吉の攻略にあって落城しました。
伊定の娘、光(てる/幸圓・こうえん)は秀吉の軍師として活躍した黒田官兵衛の妻となり、結婚した翌年に嫡男が生まれました。後の福岡藩主・黒田長政です。
現在の観音寺は、志方城落城の後、天正十五年(1587)、宝岩宗珍和尚が城主の墓碑を守るために城の本丸跡に禅寺を建立したのが始まりです。