北条氏繁在天文5年（1536年）出生，是家中的嫡男。他在幼少时拜领岳父
北条氏康的"康"字，取名为北条康成。元龟2年（1571年）期间，因为父亲
北条纲成隐居，他改名为氏繁并继承家督。
在北条家中，氏繁受到一门众的待遇，除了继承父亲的玉绳城，也继承阵亡的太田氏资担任过岩城城代、镰仓代官等职务。他负责与白河结城氏、
芦名盛氏等大名的外交关系。
氏繁在战场上表现出色，曾在进攻羽生城、关宿城及
第二次国府台之战中立功。特别是在1561年时
上杉谦信和1569年时
武田信玄两度侵攻
小田原时，他在玉绳城进行守备战，成功保住城池。因此，他备受
北条氏康的信任，被委以下总方面的军权，并负责防卫常陆佐竹家。
北条氏繁在自己的印判上，刻有“顚趾利出否”一句，出自‘易经’中的“鼎”卦，显示自己的志向。他擅长绘画，有‘鹰图’（个人藏）等作品留下。另外，他也被记述为饲育鹰的名人（‘北条记’）。