祗園城の築城時期は明らかではない。小山氏は藤原秀郷の後裔で、鎌倉期には下野国権大介職および押領使に任ぜられた。この頃の居城は、小山市内の宿城であったともいわれるが定かではない。

南北朝期に小山朝氏(朝郷と改名)は北畠顕家に攻められ降伏、南朝方に属したため下野守護職は没収され宇都宮氏に与えられた。その際に一族が分裂、朝郷の弟・氏政が北朝の尊氏に属して争い家督を嗣いだ。この頃、小山氏と宇都宮氏は下野守護職とその所領を廻って対立関係にあった。氏政の子、義政は、関東公方・足利氏満が小山氏の所領であった河辺荘を奪い、上杉氏に与えたことから憤慨、密かに兵を集め康暦二（1380）年五月、祗園城で挙兵し南朝に通じた。これを聞いた宇都宮基綱は祗園城を攻めるために侵攻、迎え撃つ義政は下野裳原（茂原）で逆襲、基綱はじめ一族の多くを討ち取った（裳原合戦）。事態を重く見た鎌倉公方・足利氏満は八カ国に布令して、関東管領上杉憲方を総大将に、上杉朝宗、木戸法季らを命じ祗園城を攻めさせた（第一次小山義政の乱）。義政は氏満に抵抗したが宇都宮氏との争いで兵力を損耗していたため降伏した。しかし義政は氏満に謝罪に赴くことをせず、祗園城からより堅固な鷲城を修復して反抗の姿勢を示したため、氏満は永徳元（1381）年六月、将軍足利義満の御教書を得て十二カ国に命じて追討軍を派遣、同年十二月に再び義政は降伏、出家隠居し「永賢」と号し、子の若犬丸に家督を譲った（第二次小山義政の乱）｡小山氏は守護職と旧領を召し上げられたが、これを不服として翌永徳二（1382）年三月、祗園城を自焼し若犬丸とともに上都賀郡の粕尾城に立て籠ったが、四月中旬に再々度上杉朝宗、武州白旗一揆に攻められ、義政は自刃、若犬丸は奥州へ逃れた（第三次小山義政の乱）。氏満は小山氏の断絶を惜しみ、小山一族の結城城主、結城基光の子、泰朝に嗣がせた。逃亡した若犬丸は至徳三（1386）年、突如祗園城に戻り挙兵、氏満自ら下総古河城に出陣、若犬丸は小田孝朝を頼り常陸小田城に逃れた。若犬丸を匿った小田孝朝は嘉慶元（1387）年七月、南朝勢力の残党を集めて常陸難台山城で立て籠ったが嘉慶二（1388）年五月に落城、若犬丸は再び奥州へ逃れ、応永四（1397）年に会津にて自刃した（小山若犬丸の乱）。

永享十二（1440）年に勃発した結城合戦では、鎌倉公方・足利持氏の遺児を奉じて挙兵した結城氏朝・持朝に対し、小山大膳太夫広朝は結城城籠城軍に加わったが、小山持政は幕府・上杉軍に加勢し結城城を攻めてこれを破った（結城合戦）。

享徳三（1454）年、足利成氏が山内上杉憲忠を誅殺し、幕府・上杉氏らに鎌倉を追われて翌康正元（1455）年に古河（古河公方館、のち古河城）を本拠として「古河公方」を称すると（享徳の大乱）、小山氏は同族の結城氏らとともに古河公方に仕えて上杉氏や堀越公方・足利政知らと対立、小山下野守茂長は千葉氏、結城氏らとともに文明三（1471）年には伊豆堀越の御所に討ち入ったが大敗を喫した。

二代古河公方足利政氏は子、高基と対立、永正三（1506）年、高基は古河城を追われ、簗田高助を頼って関宿城に籠城した。一旦は和睦するものの、山内上杉氏の跡目を巡り内紛が勃発、永正九（1512）年に高基は政氏を小山城（祗園城か）に追い、実力で古河公方を嗣いだ。政氏は小山政長の庇護の下で扇谷上杉朝良、高基の弟・義明と組んで対抗するが、永正十三（1516）年に小山城をも追われて武蔵岩槻城に退去、永正十六（1519）年に扇谷上杉朝良が没したことにより政治力を失い武蔵久喜甘棠院（足利政氏館）に隠居した。小山氏は政長の後は結城城主・結城政朝次男の高朝を養子に迎え、高朝は結城氏に従って兄の結城政勝とともに宇都宮氏との抗争や那須氏の内紛に出兵した。天文十六（1547）年七月、結城政朝が死去すると宇都宮俊綱が小山領に侵攻したが、結城政勝・小山高朝兄弟はこれを退けた。

永禄二（1559）年八月、結城政勝が結城城内で急死すると、九月六日、小田城主・小田氏治が結城領に侵攻したが、結城城内に居合わせた小山高朝に水谷治持、水谷正村、真壁氏幹らが援軍に駆けつけ、小田氏治を撃退し、小田領の海老ヶ島城を奪った。この後、結城氏は小山高朝次男の晴朝が嗣いでいる。

永禄三（1560）年に上杉謙信が関東に越山すると、小山高朝・秀綱父子、結城晴朝らも謙信に従い、小田原城攻めや謙信の関東管領就任式に参加している。しかし小山秀綱はその後、上杉の軍令に従わず日和見な態度に終始していたため、永禄六（1563）年四月、謙信は祗園城に小山秀綱を攻め、秀綱は嫡子小四郎政種を人質に出し降伏開城した。謙信はそのまま結城城の結城晴朝を攻撃しようとしたが、兄の小山秀綱の助命嘆願により許されている。北条氏政は永禄七（1564）年四月に祗園城を攻め、小山秀綱は策戦上の判断から祗園城から逃れ、結城晴朝は北条氏と和睦した。いったんは北条氏照軍が祗園城を占拠したが、ほどなく下妻城主・多賀谷政経らによって奪還され小山高朝・秀綱父子は祗園城に復帰した。

天正二（1574）年十二月、北条軍の攻撃により祗園城は落城し、小山秀綱は佐竹義重を頼った。この北条軍の攻撃には秀綱実弟の結城晴朝も加わっていたという。祗園城は北条氏の北関東攻略の拠点として拡張され、北条氏照の管轄下となった。小山氏は祗園城奪回の作戦行動を起こし、天正六（1578）年五月から七月にかけて、小川岱で両軍は激突したが状況は変わらなかった。天正七（1579）年には佐竹・宇都宮・真壁氏らと同盟した結城晴朝が祗園城、榎本城を攻め、祗園城の内宿まで攻め入った。

天正十（1582）年三月、甲斐の武田氏が滅亡し厩橋城に織田信長配下の滝川一益が入城したが、このときに滝川一益の取り成しにより、祗園城は小山秀綱へと返還された。織田信長が本能寺の変で横死し滝川一益が関東から撤退すると、小山秀綱は北条氏の配下で傀儡化し、祗園城は境目の城として北条氏照の管轄下に入り、小山秀綱は北条に従って皆川氏や宇都宮氏の攻撃に従軍している。

天正十八（1590）年の小田原の役では小山秀綱・正昭は北条氏の配下にいたため結城晴朝の攻撃を受け落城、北条氏の滅亡によって小山氏も断絶し、小山領は結城晴朝の養子・秀康（家康次男）配下におかれ、一旦廃城となった。