築城に関する時期等は不明。真田幸隆の弟、矢沢綱頼（頼綱とも）の居城と伝わる。
矢沢氏は滋野一族の海野氏の分流で、文明二（1470）年諏訪神社上社の神事奉仕などをはじめとして、諏訪上社の神使御頭を務めている。綱頼が矢沢家を嗣いだ時期や経緯は不明。
天文十（1541）年、海野棟綱、真田幸隆らは武田信虎、諏訪頼重、村上義清の連合軍に攻められ海野平を追われたが（海野平合戦）、棟綱、幸隆らは羽尾幸全入道を頼って上州羽根尾城に逃れ、綱頼は村上氏に降った。ふたたび真田幸隆と活動するようになる時期や経緯は不明だが、天文二十（1551）年の真田幸隆による戸石城乗っ取りの際、矢沢綱頼は村上方として戸石城に在城しており、兄・幸隆の工作により内応、戸石城乗っ取りに貢献したという見方もある。今に見る矢沢城はこの頃に作られ、戸石城とともに真田郷の外郭線防御の一翼を担ったと考えられる。天正八（1580）年、越後の内乱（御館の乱）の混乱に乗じて真田昌幸が北条領の上州沼田城を奪取した際には小川城攻撃に参加して戦功を挙げ、武田勝頼から感状を受けている。
天正十（1582）年三月に武田氏が滅びると、矢沢綱頼は真田氏の重臣として仕え、沼田城代を勤めた。天正十三（1585）年の北条氏照・氏邦兄弟七千の沼田城奪還の兵を退けている。
天正十三（1585）年、徳川氏と北条氏による上州領土割譲に際し、徳川家康より沼田城明け渡しを命じられた真田昌幸はこれに反発し、上田城に徳川軍七千の攻撃を受けた。この際に、矢沢城には矢沢三十郎頼康ら城兵八百が立て籠り、依田源七郎ら千五百の徳川の攻撃を退けた。
慶長五（1600）年の関ヶ原の役に際して、東軍に叛旗を掲げた真田昌幸・信繁（幸村）父子は上田城で徳川軍を退けるなど善戦したが、西軍の敗北により九度山へ配流となり、本拠の上田城も破却された。矢沢城もこの頃に廃城となり、元和八（1622）年、小諸城から仙石忠政が上田城に入城してからは仙石領となった。仙石政明の代に旧矢沢領は仙石旗本領となり、城下に陣屋が設けられ明治の廃藩置県まで続いた。
