武蔵児玉党の児玉弘行の孫、経行の末子行重が秩父重綱の養子となり、その三子高俊がはじめて倉賀野に移った。高俊は治承四年、源頼朝に従って石橋山合戦に敗れ、安房に落ちたが、その後倉賀野に落ち着いて倉賀野三郎と名乗った。南北朝時代に倉賀野頼行が倉賀野城を築城したという。
戦国期には倉賀野氏は関東管領・山内上杉氏に仕え、天文十五(1546)年の河越夜戦にも従軍、倉賀野三河守行政は討ち死にした。その後は金井小源太、福田加賀守、富田伊勢守、須田大隈守、田沼庄衛門ら「倉賀野十六騎」が協力して倉賀野城を守った。天文十六(1547)年、上杉憲政が武田晴信(信玄)に攻撃を受けている信濃志賀城の後詰に出陣した際は、くじ引きによって先陣が選ばれ、倉賀野十六騎の金井秀景が先陣として参戦した(小田井原合戦)。
弘治三(1557)年以降、武田晴信(信玄)による西上州侵攻が度々繰り返されたが、箕輪城主・長野業政は鷹留城や倉賀野城などの支城網を駆使して、都度これを撃退している。しかし金井秀景は永禄二(1559)年九月、信玄が板鼻に陣取った際に従ったとあり、倉賀野城で内部分裂があったとも見られている。
永禄三(1560)年、上杉謙信が関東に出陣すると、倉賀野左衛門五郎尚行はこれに従い、翌永禄四(1561)年の小田原城攻撃にも参加した。この年十二月には北条・武田が巻き返しに出て、倉賀野城も攻撃された。尚行は橋爪若狭守に助けられたという。永禄五(1562)年には信玄が箕輪城・倉賀野城などの城下を荒らしまわり、田畠薙ぎを行っている。永禄六(1563)年、和田城主・和田業繁が武田に寝返り、十二月までに甘楽・多野地方を手中に収めて北条氏康とともに倉賀野城に攻めた。このとき、上杉謙信は倉賀野城救援のため越山し、厩橋城を本陣に、和田城を攻めた。このため信玄・氏康は倉賀野城包囲を解いて、金山城の由良成繁を攻めている。しかし永禄八(1565)年六月、倉賀野城は落城、孤立した箕輪城は永禄九(1566)年九月二十九日落城、箕輪城主の長野業盛は自刃した。倉賀野尚行は上杉謙信を頼り倉賀野城奪還を企てたが、信玄は大熊伊賀守を入れて守らせ、飫富・真田・相木・望月らの諸将を援軍として送った。
永禄十二(1569)年、甲相駿三国同盟が崩壊し北条氏康と上杉謙信が同盟すると、信玄は石倉の砦を強化し、倉賀野城西南に根小屋城を築いて越相同盟に対抗した。元亀元(1570)年、北条氏政が上杉謙信との同盟を破棄したころ、金井秀景が倉賀野城主となり、倉賀野淡路守秀景と名乗った。天正十(1582)年三月、武田氏が、滅亡すると倉賀野秀景は厩橋城に進出した織田信長の将・滝川一益に従った。しかし六月二日の本能寺の変で信長は横死、六月十九日、一益は神流川金窪原で北条氏直と闘った(神流川合戦、金窪合戦)。このとき倉賀野秀景は奮闘して北条の先鋒を撃破したが、滝川軍は損害が大きく倉賀野城に撤退、翌日には松井田城へと去った。滝川一益撤退後は秀景は北条氏直に従い、倉賀野城には垪和伯耆守広忠が派遣されて北武蔵と上州の政務に当たった。
天正十八(1590)年の小田原の役では、倉賀野秀景は小田原城に籠城して早川口を守備、倉賀野城は少数の兵が守っていた。しかし碓氷峠から侵入した前田利家、上杉景勝らの大軍の前に倉賀野城は降伏開城し、廃城となった。秀景は小田原城開城直後の七月二十七日に死去している。