小山氏初期の居館と考えられるがその成立時期は不明。小山氏は藤原秀郷に発し、その五代後の兼行・行尊の代に足利大夫（藤姓足利氏）・大田大夫（小山氏の祖）の二家に分かれた。当初小山氏は武蔵大田荘を本拠とし、大田姓を名乗ったが、行尊の孫に当たる政光の代に小山四郎と名乗っていることから、平安末期に小山に本拠を移したと考えられる。
小山氏は当初、藤姓足利氏と対立していたが、寿永二（1184）年の「志田義広の乱」の野木宮合戦において小山氏を中心とした源頼朝軍が勝利し、木曽義仲と結んだ志田義広は敗退、藤姓足利氏も没落し、小山氏の基盤が固まった。小山政光は妻が頼朝の乳母だったこともあり、頼朝の信頼を得て下野守護職に任じられ、平氏攻めや奥州藤原氏討伐にも戦功を挙げた。
南北朝期初期には、小山秀朝は足利尊氏に与していたが、建武二（1335）年、北条高時の遺児・時行が反乱を起こし鎌倉に攻め入った際に、武蔵府中でこれを迎え撃ったが戦死した（中先代の乱）。その子朝氏も足利尊氏に与していたが、延元二（1337）年、奥州から攻めてきた南朝の北畠顕家に敗れて生け捕えられ、その後南朝に与していたため、弟の氏政と対立、貞和二（1346）年に朝氏が死去するまで対立が続いた。その後は氏政が小山氏を嗣いで家中の統一を図った。小山氏政は終始北朝軍として足利尊氏に従い活躍した。
康暦二（1380）年五月十六日、小山義政は下野裳原（茂原）で宇都宮基綱と戦い、小山軍は二百三十名を超える戦死者を出したが、宇都宮軍は大将の基綱はじめ弟、重臣など八十名が討ち取られ敗走した（裳原合戦）。事態を重く見た鎌倉公方・足利氏満は六月一日、関東八カ国および奥州に布令して、関東管領上杉憲方を総大将に、上杉朝宗、木戸法季らを命じ祗園城を攻めさせた。八月十二日に大聖寺にて陣取り合戦、八月二十九日には小山義政屋敷西木戸口、鷲城で合戦となり、九月二十一日、義政は宇都宮氏との争いで兵力を損耗していたため降伏した。鎌倉府の軍勢は九月二十九日に撤退した（第一次小山義政の乱）。この後、二度にわたる小山義政の乱、その子若犬丸による「小山若犬丸の乱」ではこの屋敷は出てこない、おそらく第一次の小山義政の乱での鎌倉府軍の攻撃によって落城し、廃城となったものであろう。
＞栃木県
