牛屋氏館は50m四方ほどのごく小さい単郭方形の館で、おそらく拡張されて戦国期の平城に進化した、ということはなかったのではないかと思われます。一応荒川河口原に臨む位置にはありますが、河口を直接取り締まるには少々内陸に寄りすぎている気がしました。しかし、のちに中世観測衛星「えちご」で荒川河口付近の氾濫原を再現してみたところ、ちょうどこの牛屋あたりが氾濫原に突出した、陸と水との接点であることが分かりました。治水の進んでいない当時は河口の湿地帯も広大で、河道も定まっておらず、この牛屋氏館附近までが港湾の範囲だった、ということも考えられなくもない気はします。
場所は、牛屋集落から下牛屋集落へ向かう道沿いにあり、周囲を田んぼに囲まれた中、大きなケヤキが立っているのが目印です。小さな方形の館には、一部分土塁が残存しており、また館の北側には旧河道である、周囲よりも一段低い田がはっきりと見られます。この旧河道が荒川本流だったのかどうかは分かりませんが、氾濫原を防御の要としたのでしょう。しかし、館の規模の小ささ等を考えると、防御を重視した城館というよりは、荒川河口の監視、水揚げの指揮、徴税などを代行する、近世の代官所みたいな場所だったんじゃないか、そんな気がしました。