延応二（1240）年にこの地の地頭職、秋庭三郎が大松山に砦を築いたのが始まり。その後、高橋氏によって城域は現在の小松山方面まで広がった。その後は高氏、上野氏、庄氏、尼子氏と目まぐるしく城主が変わったが、永禄四（1561）年、毛利氏の支援を得た成羽の三村家親が尼子氏の城代・加藤氏を討ち城主となった。
元亀三（1572）年、宿敵・宇喜多氏が毛利氏と和睦すると三村元親は毛利陣営から織田陣営に走り、天正二（1574）年から三年にかけて備中全土を舞台に、織田VS毛利の代理戦争とも言うべき激戦が繰り広げられた（備中兵乱）。毛利の大将、小早川隆景に包囲された松山城は内通者らによって落城、元親は家臣の説得で城を脱出したが途中で怪我を負い逃走を断念、山麓の頼久寺で自刃し三村氏は滅亡した。
関ヶ原後は毛利氏への備えとして小堀氏が入封、一時池田氏を経て、常陸下館城より水谷（みずのや）氏が入封、その二代・勝宗によって現存する石垣、天守などが造営された。水谷氏の断絶後は赤穂藩・浅野氏の所領となり、大石内蔵助が在番した。その後は安藤氏二代、石川氏を経て板倉氏七代が続き廃藩置県を迎えた。
