天正二（1574）年、武田勝頼は遠江へ侵攻を開始し、徳川の属将・小笠原長忠が守備する高天神城は一ヶ月あまりの包囲の末落城、小笠原長忠は武田に奔ったが、やはり高天神城の守備に当たっていた大須賀康高は徳川勢に残り、浜松城を目指して落去した。
翌天正三（1575）年五月、長篠・設楽ヶ原合戦で武田軍が徳川・織田連合軍に大敗すると、家康は高天神奪還の行動を開始、当初は馬伏塚城を本陣に高天神城を監視していたが、天正六（1578）年三月にはより本格的な軍事拠点として横須賀城を築城して本陣とし、大須賀康高を城主に任じた。家康は周囲の三井山、山王山、宗兵衛山などに付城として「六砦」を築いて武田勢の兵糧弾薬の搬入を遮断し、天正九（1581）年三月、援兵を断念した岡部真幸は早暁に城門を開け放ち討って出るが、城兵700余人が討ち死にし落城した。家康は高天神城にかわってこの横須賀城を遠江東部から駿河への進出の拠点として整備した。
天正十八（1590）年に家康が関東に移封になると、大須賀康高の養子・忠政（榊原康政実子）は上総久留里城へ移封となり、太田金山城の由良氏の一族の渡瀬氏、豊臣譜代の有馬氏が城主となった。慶長五（1600）年の関ヶ原の役で東軍が勝利すると、有馬豊氏は丹波福知山城へ移封となり、大須賀忠政が城主に復帰、近世城郭として整備された。その後は能見松平氏・井上氏・本多氏が城主となり、西尾氏が城主に任じられてからは八代続いて明治の廃藩置県を迎えた。
