陸賈憑一張利嘴說服本想稱王於南方的南越王趙佗臣服於漢王朝，確實顯示出了他高超的口才藝術和極強的說服能力。回到京城後，高祖自然非常高興，馬上任命陸賈為太中大夫，陸賈從此進入了吃俸千石的高官行列。
漢王朝官員的俸祿等級雖然有二十二級之多，但進入千石俸祿等級的官員卻並不多，三公（即丞相、太尉、御史大夫）為萬石俸祿，九卿、諸侯、郡守、光祿大夫為二千石，千石俸祿的官員有丞相長史、太中大夫等，其他的便是百石俸祿官員，最低等級的吏員佐史的俸祿僅為八斛。
陸賈南越一行，一下子便進入漢王朝的高官行列，自然讓人羨慕不已，知道他的人都認同他少有的口才和極強的說服能力。
陸賈是個非常精明的人，高祖死後惠帝繼位，看到懦弱的惠帝完全聽命於高後，而高後執掌朝政後不僅大肆分封呂氏族人為王，還極力打壓甚至迫害劉氏族人，陸賈對此感到很是不滿但又無能為力，知道自己如果繼續在朝廷上，肯定會忍不住說出讓高後不滿的話，進而給自己及家族招來禍害。為了避免因言獲罪的災禍發生，陸賈便以身體有病為由，辭去官職回家休養去了。
為了避禍辭官休養的陸賈，回家後便變賣了出使南越時南越王贈送的財物和高祖賞賜的物品，並將變賣所得的錢幣平均分配給自己的五個兒子，讓他們自理家業，各自謀生，陸賈自己則每天坐著華貴的馬輛，帶著十多個舞樂侍從和一口價值連城的寶劍，輪流到五個兒子家吃住，每次十天。他明確對五個兒子說，自己死在哪個兒子家裡，他隨身攜帶的寶劍就留給哪個兒子。這樣一來，五個兒子都不敢怠慢他，都希望他能夠按期到自己家裡來吃住。
雖然陸賈輪流到五個兒子家吃住，但因為他經常到其他地方遊走作客，每個兒子一年也輪不到幾次，這樣一來，不僅陸賈自己的日子過得很是滋潤，也很好地避免了老是在一個兒子家過日子落得兒孫厭惡的問題。可以說陸賈是中國歷史上有記載的第一個做出如此明智養老舉措的人。
陸賈離開朝廷回家休養後到處遊走，看似無心朝廷事務，實際上卻是在利用他的自由之身，以到處遊走的方式蒐羅各方面的資訊情報，並從局外人的角度對朝廷局勢進行分析，做出自己的判斷，並時不時在一些重要時候或重要事情上發揮作用。
旁觀者清，對當今朝廷的格局和力量分佈，已經退出朝廷的陸賈心裡非常清楚，高後在世時雖然對劉氏族人極力打壓，但並沒有將劉氏族人趕盡殺絕，對朝中大臣也是手下留情，並不是見一殺一。一旦高後離世，已經掌握朝政大權的呂氏族人為了牢牢掌控朝廷大權，完全有可能對劉氏族人和朝中擁劉大臣下狠手，甚至大下殺手。而要對付呂氏族人，以目前的朝廷力量佈局，只有朝中擁劉大臣們聯合起來才有可能，否則，只會被已經擁有強大力量的呂氏族人誅殺。
陸賈知道，因為當朝兩個最重要的大臣陳平和周勃之間有隔閡，並且由來已久，也非常深沉，要想陳平和周勃兩人聯手並非易事。
儘管這樣，陸賈覺得自己還是應該出面，想辦法努力說服陳平和周勃，讓他們聯起手來。否則，只能眼看著劉氏天下被呂氏族人取代。
作為劉氏江山的建立功臣之一，也出於對高祖的敬佩，陸賈對劉氏天下很有感情，自然不願看到劉氏天下被呂氏族人取代。既然已經知道劉氏江山面臨危險，儘管自己已經以養病為名退出了朝廷，但也不能視而不見，必須為劉氏江山的穩定盡一份力。
作為力倡儒家學說的人，陸賈對黃老思想和法家思想都有深入研究，最終他繼承了先秦儒家的德化理論，將自己的認識歸結到儒家的仁義觀上。陸賈認為秦朝的滅亡是因為不施仁義、專任刑罰，驕奢靡麗並重用奸佞之臣趙高所致，為此，他提出“道莫大於無為”的思想，提出減賦免役，讓利於民；與民休息，不幹民，不擾民，做到“國不興無事之功，家不藏無用之器，稀力役而省貢獻”。陸賈的這些觀點，很契合高祖和高後的思想，也因此為漢初的帝王實行無為而治提供了理論依據。
陳平對陸賈的這些觀點很是認同，對陳平的影響也不小。陳平小時候讀書時就非常喜愛黃老思想，但那是書本知識，而陸賈卻是現實生活中實實在在的黃老思想傳播者，自然深受陸賈思想的影響。由於陳平的不少思想都和陸賈相近，所以對陸賈本人非常尊重。也正是這個原因，兩人的關係一直走得比較近。
對朝中文武大臣之間的關係狀況，陸賈非常清楚，知道要想將他們聯絡起來，必須首先做通作為文臣之首的陳平和作為武將之首的周勃的思想。只要這兩個人的思想通了，其他人的思想就很容易統一。基於自己和這兩人之間的關係，陸賈覺得從陳平處入手比較有把握，畢竟自己和陳平都是文臣，思想中相通的地方更多，並且自己和陳平的關係也不錯。同時陸賈認為陳平作為丞相，更能夠理解當前劉氏江山所面臨危險的緊迫性。只要把陳平的思想做通了，再去做周勃的思想並不是難事，陸賈相信，以自己的口才，一定能夠說服周勃。
儘管陸賈和陳平關係不錯，但陸賈辭官回家後很少到陳平府。一方面陸賈知道陳平作為朝中第一重臣，朝廷事務非常忙碌，另一方面自己辭官的目的，就是為了避開官場的是是非非，如果辭官後還經常到陳平這些在職的朝中重臣府中游走，不僅會讓人覺得自己辭官是為了撈取名聲，還會因為經常與在朝官員往來惹來非議甚至招來禍端。陸賈飽讀史書，深知身在官場蘊藏的極大危險。
