鎌倉時代初期、甲斐源氏の加賀美遠光とその子小笠原長清は信濃守に任ぜられ、伴野・大井両荘を支配した。長清は六男の時長に伴野荘を与え、その時長が館を構えたのが始まりと見られる。弘安八（1285）年、北条時宗の死後十四歳でその後を継いだ執権貞時を擁して、北条氏の内管領・平頼綱が御家人最有力者の安達泰盛・宗景父子と争い、安達氏に連なる有力者五百名以上が斬殺された（霜月騒動）。伴野氏三代で小笠原惣領家・伴野出羽守長泰は安達泰盛の母の実家にあたるため一族はことごとく連座して滅ぼされ、所領の大半は執権北条氏領となった。伴野氏の嫡流は断絶したが、支族にあたる者が三河国や伴野荘周辺で再興の機を伺った。
戦国期には伴野氏館は拡張され野沢城と称し、一族の野沢康政らが在城したが、文明年間頃、伴野光利は前山城を築いて移った。この頃伴野氏は大井氏と対立し、同じく大井氏と対立する甲斐の武田信昌らの援軍を得ており、この頃から武田氏との友好関係が始まった。文明十一（1479）年七月に伴野氏は岩村田大井氏と戦って破り、大井政朝は伴野に捕虜となった。大永七（1527）年にも前山城主・伴野光信は武田信虎に支援を要請している。
伴野氏は武田晴信（信玄）の佐久侵攻に対しても、佐久の土豪としては唯一協力的だった。天文十二（1543）年、信玄は長窪城の大井貞隆を攻めるため九月十日に甲府躑躅ヶ崎館を進発し、十六日には伴野氏の前山城に入っている。
天文十五（1546）年、武田信玄は佐久に侵攻し五月三日に海ノ口に着陣、六日に前山城に布陣して内山城の大井貞清・貞重父子を攻め、二十日に大井貞清は内山城を開城し、野沢城に蟄居した。降伏した大井貞清父子は翌天文十六（1547）年に躑躅ヶ崎館への出仕を促され、駒井高白斎を仲介として生命の安全を条件に五月四日に躑躅ヶ崎館に出仕、武田氏に臣従した。
天文十七（1548）年二月の上田原合戦で武田軍が村上義清らに敗れると、村上義清は佐久に侵攻、内山城下に放火し、諏訪周辺にまで勢力を伸ばしたため、前山城の伴野貞祥も村上氏に降伏している。しかしその年の七月、塩尻峠合戦で武田軍が大勝し、佐久に再侵攻、九月十一日には佐久衆に占拠された前山城を奪還、天文十八（1549）年末までには、野沢城主・伴野信是も武田に降伏・出仕している。
天正十（1582）年の武田氏滅亡後は一時、厩橋城に在城する滝川一益（織田信長属将）の領土となるが、六月二日の本能寺の変で信長が横死すると、北条氏領となった。しかし、徳川家康配下となった依田信蕃の一族、依田肥前守が七月、野沢城を攻略、十一月には前山城も攻略した。その後野沢城は廃城となったが、天正年間に小諸城に入城した仙石秀久は野沢城跡地に米蔵を建てて年貢米の貯蔵庫とした。その後も江戸期には岩村田藩の役所や郷倉などに利用された。
