吉良氏は足利氏の支族で、足利長氏(おさうじ)と義継の兄弟が三河吉良荘(現・愛知県西尾市)の地を東西に分けて領したことに始まっている。のちに世田谷城主となるのは義継を祖とする東条吉良氏。南北朝時代の1345(興国6)年に吉良貞家が「奥州管領」の一人となり活躍、その後、関東に領地を得て、遅くとも1400年代中頃までには、世田谷の居館を拡張・整備し、城郭が形成されたと考えられている。
北条氏が関東に進攻してくると、姻戚関係により勢力下に入った。「世田谷城」は治家以降、八代200年以上にわたっての居城となり栄えたが、1590(天正18)年、豊臣秀吉の「小田原攻め」による北条氏滅亡とともに所領を失い廃城となった。世田谷の吉良氏は、江戸時代になると幕府の高家(こうけ・儀式典礼などを司る職で足利氏以来の名家が世襲)となり、蒔田氏を名乗った。同じく高家となった西条吉良氏を祖とする三河吉良氏は、江戸時代中期の「赤穂事件」で吉良上野介義央が討たれ断絶となり、蒔田氏が再び吉良姓を名乗るようになった。