伊豆田方郡の豪族、宇佐美氏の一族が越後守護・上杉憲顕に従って入国し琵琶島城を築いた。宇佐美氏は上条城の上条上杉氏とともに守護家を援け、戦国期に台頭した守護代の長尾為景としばしば対立した。
永正十(1513)年、守護・上杉定実は上条城主・上条定憲、琵琶島城主・宇佐美房忠らと語らって長尾為景に対して挙兵、小野城を拠点にしたが、小野城は永正十一(1514)年一月十七日に落城、宇佐美房忠らは岩手城で抗戦したが、五月二十六日に落城、房忠ら一族のほとんどが討ち死にした。永禄(1564)七年七月五日、宇佐美定満は坂戸城主・長尾政景と舟遊び中に溺死し、宇佐美氏は没落したという。一方で宇佐美定満は永禄五(1562)年に武蔵上野原の合戦で討死したともいう。さらに一方で、永禄二(1559)年の『侍衆御太刀之次第』には琵琶島弥七郎の名が見える。天正三(1575)年の『上杉家軍役帳』では、琵琶島弥七郎は「一門衆」として「殿」がつけられ、156名の軍役を負っている。
天正六(1578)年に勃発した御館の乱に際しては琵琶島城主の前島修理亮は上杉三郎景虎に加担した。景勝は十一月四日付、旗持城将佐野清左衛門尉宛の書状で、本庄清七郎(秀綱)が御館の攻防で敗北し、琵琶島城へ助勢を申し入れるかもしれないから用心せよ、と命じている。天正七(1579)年三月三日には琵琶島城から御館に舟で兵糧を送ろうとしたが、旗持城将の佐野清左衛門尉に攻撃され失敗している。景勝は三月四日付、旗持城将佐野清左衛門尉宛の書状で琵琶島城を何としても味方につけること、また琵琶島城から御館への舟運を遮断するよう厳命した。この後まもなく琵琶島城は景勝に降伏・開城した。
天正十二(1584)年、景勝の家臣桐沢但馬守具繁が入城、景勝は天正十二(1584)年二月十四日、琵琶島城在城料として北条氏の闕所を与えた。