到了政家孫子為家時，舉家遷往赤井野，在赤井野的南山定居筑後屋城，就以當地的地名“赤井”作為苗字。為家有兩個兒子，長子家義繼承父親後屋城，而次子重家，則遷往朝日村，以“荻野”為苗字。
大永六年（1526年），當時掌握幕府實權的是細川高國，而波多野秀忠和他的兩位叔叔柳本賢治、香西元盛是細川高國的近侍。這年七月，細川高國聽信讒言逼死了香西元盛，憤怒的秀忠和賢治回到丹波，開始暗通細川高國的對立者細川晴元。
同年11月，細川高國派兵討伐柳本賢治和波多野秀忠。柳本賢治退守神尾寺，波多野秀忠則從八上城出兵援助，同時，赤井忠家也率兵趕來支援治，並最終擊敗了細川高國的討伐軍。
神尾寺城之戰過後，赤井氏借勢又把何鹿郡收入手中，成為了掌握兩郡的豪族。
天文二年（1533年），波多野秀忠倒向了細川高國殘黨細川晴國，並奉命對臣從於細川晴元的赤井忠家發起進攻。赤井忠家戰死後，波多野秀忠又擊敗了八木城來援的內藤國貞，基本控制了整個丹波國。
此戰過後，赤井時家、家清父子投靠了播磨別所氏。但是隨著天文五年（1536年）細川高國自殺，波多野秀忠返回到細川晴元一方。一直支援細川晴元的赤井氏在丹波的領地也得到恢復，赤井時家返回丹波，並在烏帽子山附近築城，作為進出天田郡的據點。
就此，丹波的情況基本搞清楚了，目前國內主要還是波多野秀忠一家獨大，但佔據何鹿、冰上兩郡的赤井、荻野氏與之並不對付；同時，西北天田郡則被以橫山城（歷史上的福知山城）為居城的鹽見一族控制。
此外，多紀郡的酒井、籾井氏，冰上郡南部的足立氏也是暫時被波多野氏壓制，其內部也有不少對波多野秀忠的反對聲，並且他們和逃亡在外的內藤國貞暗通款曲，成為安插在八上城周邊的“定時炸彈”。
逐漸失去細川晴元信任的波多野秀忠，開始擔心起了自己在丹波的統治地位。為了依舊能震懾周圍的國人以及流亡在外的內藤氏，他亟需拉攏義重作為新的靠山，畢竟現在的丹波國，北面和西面都氏若狹武田氏的領地。
而義重這邊，出於當前的領地防禦形勢，也需要一個安定的丹波，而保持安定最直接省力的辦法，便是讓與自己親近的波多野秀忠繼續掌控丹波，儘管這種掌控並不是絕對的。
雖說家中有一種聲音，希望義重能拿下丹波，徹底解除丹後、若狹側翼的威脅。但義重認為時機未到，畢竟丹波名義上仍是細川晴元的勢力範圍，國內各方勢力雖然面和心不和，但礙於管領的權威，還是能保證表面上的團結的。這種情況下，自己冒然侵攻丹波，並不是一個明智的選擇。
不過，這並不意味著義重會漠視丹波發生的一切而做事不管。
首先，他對丹波北部三郡，即天田、何鹿、桑田的部分國人進行調略，諸如與鹽見氏不對付的金山氏，長期受赤井氏壓迫的志盒、上原氏，以及桑田郡相對獨立的上林、川勝氏。
利用這些國人亟需一個強大依靠來抵禦敵對勢力的迫切需求，義重很快便與之形成了較為頻繁的聯絡，其中不少國人還將子嗣送到愛宕山城作為義重的側近，以此來拉近與若狹武田氏的關係。
其次，便是向處於蘆田一黨（赤井、荻野）壓迫之中、同屬於冰上郡山垣城的足立一族伸出援手，承諾幫其抵禦赤井氏侵攻的同時，將其打造成為由但馬進入丹波的一座橋頭堡。
足立氏出自藤原北家流遠兼之子遠元。遠元因領有武藏國足立郡，而以“足立”為苗字。他先後侍奉源義朝、賴朝、賴家、實朝等源家四代，年輕時被賜予右馬允。
源賴朝起兵之際，在武藏武士中第一個參陣。在追討平家中表現活躍，被任命為公文所的寄人，成為後來“十三人合議制”中的一員（大河劇《鎌倉殿的13人》便出於此時）。遠元不僅武勇，而且擅長行政，是個能力相當高的人物。
其孫足立遠政因“承久之亂”有功，在丹波國佐治莊獲得地頭職後西遷，此後逐漸壯大，成為以山垣城為活動中心的一支國人力量。
可以說，足立氏的祖輩是比蘆田一黨風光不少的，但現如今卻落得被赤井氏三面包圍、時常威逼壓迫的境地。因此，現任當主足立基清心有不甘，便透過素有往來的但馬太田垣一族，主動向義重尋求支援。
他之所以沒有選擇向波多野秀忠，而是向鄰國的若狹武田氏求援，原因很簡單：
波多野和赤井兩家都是從屬於細川晴元，現在波多野秀忠並不得勢，也不願因為足立氏去得罪赤井氏，從而把事情鬧到細川晴元那裡。況且，足立氏的地理位置偏僻，對波多野氏並無什麼益處。
因此，波多野秀忠能做的，只有時不時地給赤井氏“善意的提醒”，除此之外也是無能為力。
而對於若狹武田氏而言，足立氏就顯得十分重要了。
他們不僅可以作為將來武田氏進出丹波的橋頭堡之一，還能從側翼屏衛但馬的朝來郡，而生野銀山就在朝來郡，故而足立氏的重要性不言而喻。
最後，義重為了加強對丹波的探查以及為以後做打算，他以方便波多野吉乃省親為由，勸說波多野秀忠同意修築一條連線愛宕山城和八上城的街道。
其中，丹後段由義重負責修建，丹波段由波多野秀忠負責修建，建成後的這條街道被稱為“丹波道”，後世因為這條街道的最初用途，又將其成為“波多野道”或者是“吉乃道”。
