築城時期は明らかではないが、諏訪氏の一族である藤沢氏の居城とされる。また中先代の乱の際に北条時行が立て籠もった大徳王寺城が藤沢城であるという説もある。
戦国期には高遠氏の配下で「箕輪次郎」「箕輪殿」と呼ばれた藤沢頼親が在城していた。天文十一（1542）年九月、高遠頼継が杖突峠を越えて諏訪領に乱入したが、宮川橋の合戦で武田氏が勝利し、高遠頼継は大損害を出して撤退、武田晴信（のちの信玄）は守矢頼真、諏訪満隆らを案内人とし、駒井高白斎らを箕輪に進ませて福与城に迫った。その結果藤沢頼親は降伏し、九月二十八日には諏訪の晴信の陣所に出仕した。天文十三（1544）年九月、諏訪西方衆の叛乱が勃発したが武田氏により鎮圧された。その直後、藤沢頼親は武田氏から離反、晴信は十月十六日に甲府を出陣、二十八日には有賀に着陣した。武田軍の先発隊は十月二十九日、藤沢方の荒神山城に向けて陣取り降伏を勧告したが受け入れられなかったため、近辺を放火した。十一月二日には福与城の天竜川対岸附近の松島で両軍が交戦した。このときは武田軍は福与城を落とすことができず、十一月二十六日には撤退した。この状況に高遠頼継は十二月八日、再び諏訪に乱入して附近を放火した。
天文十四（1545）年四月十一日、晴信は高遠頼継、藤沢頼親を討つために甲府を出陣、四月十五日には杖突峠に陣取り高遠城攻撃の態勢に入った。これを見た高遠頼継は四月十七日、高遠城を捨てて逃亡、十八日には武田軍が高遠城を占領した。逃亡した高遠頼継はのちに武田氏に降伏して出仕、高遠城への在城を許されたが、天文二十一（1552）年に甲府に召還され切腹させられた。武田軍は四月二十日に高遠城を出発し福与城に攻め寄せたが、籠城軍の反撃も激しく武田軍の鎌田長門守らが戦死している。藤沢頼親の要請を受けた府中林城の小笠原長時は援軍を派遣し竜ヶ崎城に陣取り、実弟の鈴岡城主・小笠原信定にも援軍を要請、信定は伊那の土豪を糾合して伊那部に陣取った。武田軍は五月二十一日、今井信甫らが竜ヶ崎城を攻撃、さらに今川義元からの援軍を迎え入れ、六月には竜ヶ崎城を陥落させて小笠原長時の援軍を撤退させた。藤沢頼親は武田氏の親類衆である勝沼相模守信元、穴山伊豆守信友、小山田出羽守信有らを仲介に和睦交渉を行い、六月十日には降伏、福与城を開城した。武田氏は福与城を接収し六月十一日にこれを焼き払った。
天文十七（1548）年二月十四日の上田原合戦で武田軍が村上義清に敗れると、義清は小笠原長時や降伏していた藤沢頼親らに連携を呼びかけ、頼親は再び武田氏を離反したが、七月十九日の塩尻峠（勝弦峠）の合戦で小笠原長時が大敗、九月八日には藤沢頼親が穴山信友を通じて再出仕の申し入れがあり、晴信はこれを赦して判物を与えた。天文十八（1549）年七月十五日には晴信が「午方に向かい箕輪の城御鍬立」を行ったが、これが福与城の改修を指すとされる。藤沢頼親はその後武田氏を追放され放浪していたが、天正十（1582）年三月、武田氏が滅亡すると福与城に復帰し、その後田中城を築いて居住していたが、本能寺の変の後の天正壬午の乱において北条氏に属したため、高遠城主の保科正直によって攻め滅ぼされた。
