無論出身商販、囚徒、寒門白身，只要奉上足額金銀綢緞，就能得到對應品級的官職；在職官員想要升遷、調任富庶州縣，必須按照品級送禮，少一分都沒有門路。他家府邸門前，每日擠滿攜帶重金求官之人，車馬擁堵街巷，熱鬧程度遠超吏部官衙。五品、六品中層官職明碼標價，甚至在押囚犯，只要出錢，便能託關係減刑脫罪，黑白兩道的錢財源源不斷流入李家庫房，數年時間積攢的金銀、田產、珍寶堆積如山，富貴程度不輸老牌國公府。
李義府本身並無識別人才的眼光，銓選官員只看禮金厚薄，不問品行才幹。品行低劣、目不識丁的富商重金買官，便能前往州縣主政；寒窗苦讀、清廉正直的寒門學子，拿不出錢財，哪怕才華出眾，也只能常年原地踏步。朝堂官員任免秩序徹底混亂，無數士子心中積滿怨恨，彈劾文書堆滿門下省，可礙於武后撐腰，始終無法撼動李義府分毫。
出身寒門的自卑，始終紮根在李義府心底。縱然身居宰相、手握大權，世家士族依舊私下鄙夷他低微家世，宴會應酬之時，隱晦排擠輕視。這份難堪，讓他決意打破舊有門閥體系，抬高寒門官員地位，也給自己的家族抬高門第。他主動向唐高宗上奏，請求重修《氏族志》，得到准許後，委任學者呂才主持修訂。
新修訂的《姓氏錄》徹底推翻舊門閥規則：無論祖上家世高低，只要當朝官階達到五品及以上，全部錄入士流；曾經高高在上的五姓七望，若無當朝高官，地位大幅下降。同時朝廷下令，收繳民間流傳的舊版《氏族志》統一焚燬。這一舉措，重創延續數百年計程車族門閥體系，極大削弱關隴、山東世家勢力，完美契合唐高宗、武則天收攏皇權的需求，李義府也藉此讓自家李氏躋身士族名錄，揚眉吐氣，一舉三得。
除去賣官鬻爵、修改氏族典籍，李義府行事奢靡跋扈，絲毫不顧及朝野觀感。他想要遷葬祖父，便下令周邊七縣徵調民夫、牛車，不分晝夜趕工修建豪華陵墓，勞民傷財，百姓苦不堪言。工期繁重，催逼嚴苛，負責督辦的縣令不堪重壓，累死在工地之上。下葬當日，文武百官爭相贈送陪葬珍寶，送葬隊伍綿延七十餘里，儀仗奢華程度，初唐以來少有王公貴族能與之相比，民間百姓私下痛罵其耗費民脂民膏、狂妄無度。
家中子嗣、女婿依仗李義府權勢，橫行長安。長子李津官拜太子右司議郎，收受賄賂、私下洩露宮中機密，肆意結交市井無賴；次子李洽任率府長史，幼子李洋為千牛備身，仗著宰相之子身份欺壓同僚、強奪百姓財物；女婿柳元貞任職少府主簿，利用工部職權倒賣宮廷器物，貪贓無數。一家子弟全部沾染貪腐惡習，長安百姓將李洽、柳元貞等四人稱作“四凶”，人人避之不及。
手握重權的李義府，還熱衷結黨營私，拉攏大量依附自己的官員，形成龐大私黨。朝堂之上，官員分為兩派：順從依附李氏者，快速升遷；稍有牴觸、不願同流合汙者，暗中羅織罪名貶謫外放。滿朝文武大多敢怒不敢言，唯有少數剛直大臣，持續向高宗密報李義府一家貪贓枉法、禍亂朝堂的種種罪狀。
唐高宗對李義府的所作所為，其實心知肚明。只是前期需要依靠他打壓長孫無忌元老集團，一直選擇隱忍包容。待到顯慶四年，長孫無忌、褚遂良、韓瑗、來濟等元老盡數被清算流放、賜死，關隴集團徹底瓦解，朝堂皇權牢牢握在帝后手中，李義府的利用價值大幅降低，他持續不斷的貪腐跋扈，漸漸讓唐高宗心生厭煩。
皇帝曾私下單獨召見李義府，語氣溫和地勸誡：“聽聞你家中子弟、親屬多有收受賄賂、不法行事，朕為你遮掩多次，你應當約束家人，收斂行事，莫要再惹朝野非議。”
這番勸告，已是帝王給出最後的臺階，但凡稍有分寸的臣子，都會惶恐謝罪，整頓家族、收斂貪慾。可李義府早已被權勢衝昏頭腦，聽完皇帝勸誡，非但沒有半分愧疚，反而臉色驟變，厲聲反問高宗：“是誰向陛下告發臣？”
質問君主，已然是大不敬之舉，唐高宗瞬間動怒，冷冷回覆：“朕規勸你，何須過問告密之人？”君臣二人不歡而散。自此，唐高宗心中徹底對李義府生出嫌隙，往日的信任蕩然無存，只等待合適時機，徹底清算李氏一族的罪責。
龍朔年間，李義府官職再度晉升，拜右相，達到人臣權力頂峰。可他內心深處始終不安：自己樹敵無數，帝王已然心生不滿，武后雖看重自己，卻不會永遠為他兜底。他出身寒門，沒有世家根基做後盾，一旦失去帝王庇護，所有榮華富貴都會化為泡影。
為求長久富貴、保全家族，李義府暗中結識一名精通望氣風水的術士杜元紀。他私下邀請杜元紀前往自家府邸，登上高樓觀望宅地氣運。杜元紀觀察許久，告知李義府：“貴府宅邸牢獄之氣過重，想要壓制災禍、長久掌權，必須積攢二千萬貫錢財，方可化解凶煞。”
二千萬貫鉅額錢財，恰好戳中李義府心底貪慾，他自此更加瘋狂地賣官斂財，不分晝夜收取禮金，只為湊足錢財鎮壓所謂凶氣。不僅如此，他藉著為母親守孝的名義，每月初一、十五都悄悄和杜元紀出城，前往城郊登高望氣，行蹤隱秘，卻還是被朝中監察官員察覺，暗中記錄上報唐高宗。
望氣私窺氣運，在古代屬於觸碰皇權大忌的行為，帝王最忌憚臣子私下勾結術士、窺探吉凶禍福。再疊加多年積累的賣官鬻爵、欺壓百姓、子弟貪贓、逼死畢正義、強徵民夫修墓等舊案，所有罪狀彙總，一樁樁擺在唐高宗面前。
龍朔三年，高宗下令司空李積監督，刑部尚書劉祥道全權審理李義府一案，全面核查李氏家族多年罪證。經過嚴密審訊，所有罪狀全部查實，證據確鑿，無可辯駁。唐高宗不再有半分姑息，下長篇詔書細數李義府全部罪責，最終裁決：李義府除名，長期流放巂州，終身不得返回長安；長子李津流放振州，次子李洽、幼子李洋、女婿柳元貞一併除名，長期流放庭州。
詔書頒佈當日，長安朝野百官百姓無不歡呼慶賀，街頭有人撰寫討伐李義府的露布，張貼在城中四通八達的要道，全城百姓爭相圍觀傳閱。露布之中專門寫道，當年李義府強佔掠奪的奴婢，如今李家倒臺，全部四散奔逃，各自迴歸原生家庭，一句“混奴婢而亂放，各識家而競入”，傳遍全城，人人拍手稱快。
李家被抄之時，堆積如山的金銀綢緞、良田地契、奇珍古玩盡數充公，昔日門庭若市的宰相府邸，一夜之間人去樓空，依附他的黨羽四散逃離，唯恐被牽連治罪。曾經人人逢迎、笑面藏刀的“李貓”，淪為全長安唾棄的罪人，孤身踏上前往巂州的流放之路。
巂州地處西南蠻荒，路途遙遠艱險，瘴氣遍佈，氣候惡劣，與繁華長安天差地別。昔日錦衣玉食、前呼後擁的宰相，如今孤身徒步跋涉，身邊沒有僕從，沿途百姓聽聞他的過往，紛紛出言唾罵。一同流放的子女、女婿分赴不同蠻荒州縣，一家骨肉四散分離，此生再難相見。
抵達巂州之後，李義府困於偏遠小城，失去所有權勢財富，往日圍繞身邊奉承之人盡數消失，訊息隔絕，只能日日聽聞長安傳來的訊息，知曉自己的黨羽盡數被貶，家族勢力土崩瓦解。他心中滿是不甘與憤懣，自認當年廢王立武立下不世之功，帝后卸磨殺驢，全然不念昔日輔佐恩情。
流放的三年裡，他終日鬱結於心，愁悶無處排解，時常翻出自己早年所作詩文、《度心術》手稿，回想自己一生步步為營、機關算盡，最後落得這般下場，心中悔恨與怨毒交織，身體日漸衰敗，常年臥病。
乾封元年，唐高宗前往泰山舉行封禪大典，大赦天下，全國流放罪人大多允許迴歸故土。所有流放之人都盼著重返家鄉，唯有李義府單獨被朝廷明文標註，不在赦免名單之中，永遠不得回京。
得知大赦卻不包含自己的訊息，李義府最後的希望徹底破滅，巨大的打擊讓他憂憤攻心，舊疾爆發，很快病逝於巂州流放之地，終年五十三歲。
他死後，訊息傳回長安，沒有任何朝臣惋惜，百姓依舊議論他往日惡行，那段“笑裡藏刀”的權臣往事，成為朝堂流傳的警示典故。他一生著作頗豐，文集三十卷流傳世間，早年所作箴文、詩詞文采斐然，權謀著作《度心術》剖析人心算計，流傳後世，可所有人提起他，最先想起的永遠是陰狠虛偽的“李貓”名號，而非他的文才與謀略。
武則天執掌朝政、登基稱帝之後，念及當年廢王立武之時，李義府是第一個挺身而出支援自己的臣子，清理長孫無忌元老集團，他出力最多，是無可替代的心腹助力。為感念舊功，武則天下旨追贈李義府為揚州大都督，恢復一部分名譽，算是彌補他流放身死的悽慘結局。
可到唐睿宗時期，朝野重新清算武后舊黨奸佞，朝臣紛紛上奏，羅列李義府賣官害民、構陷忠良、陰狠貪腐的種種罪狀，認為不配享有都督追贈，睿宗隨即下詔，收回全部追贈官職，徹底抹去這份身後榮寵，李義府重新被釘在奸臣名錄之上，《新唐書》直接將他歸入《奸臣列傳》，定下調性。
縱觀新舊兩唐書對李義府的記載，褒貶極度割裂，清晰展現此人複雜的雙面人生。
先論其不可否認的才能：其一，文學天賦頂尖，年少憑詩文獲太宗賞識，東宮時期與來濟並稱文壇雙璧，參與修撰《晉書》《永徽五禮》，行文工整典雅，詩詞流傳後世；其二，具備精準的人心洞察力，所著《度心術》系統拆解人性慾望、官場博弈之道，看透世人軟肋，是流傳千年的權謀典籍；其三，政治舉措深刻改變初唐格局，推動重修《姓氏錄》，打破門閥壟斷，削弱關隴世家勢力，極大強化中央皇權，為武則天后來執掌朝政掃清世家阻礙；其四，眼光獨到，永徽六年精準押注廢王立武，打破元老集團對皇權的束縛，客觀推動大唐權力結構轉型。
。壞敗氣風堂朝累連，惡作婪貪，法不行橫勢權仗依弟子族宗，六第；線底權皇，氣士結勾下私，王帝問質面當於敢，畏敬知不位相居，五第；衡平堂朝壞破，臣大直正排打，系派堂朝人私建構，私營黨結，四第；法律唐大踏踐，口滅惜不證罪蓋掩為，員寺理大死子貌奪搶為，法枉私徇，三第；姓百方地累拖，墳祖華奢建修財傷民勞，膏民脂民量海刮搜，度制拔選員擾，職賣售開公家全間期部吏掌執，度無婪貪度極，二第；人之己自逆忤何任下不容，陷構後背好面當，籤標屬專為”刀藏裡笑“，機殺藏暗下之臉笑的誌標，毒偽虛品，一第：因原心核的臣為歸其將世後是也，行惡的白洗法無看再
。局結然必是滅覆，護庇重雙后帝去失，憚忌生心宗高唐讓又，恨怨朝滿惹既，扈跋揚張事行，脹膨限無慾貪，線底無毫後之勢得，府義李觀反。事的線底權皇出做不絕，界邊有耐忍王帝曉知，弟子中家束約，財斂意肆不力權握手，制剋斂收得懂但，后武迎逢、機投長擅樣同宗敬許。寸分事行於在距差心核？局結的死放流得落府義李而，寢正終壽以得宗敬許何為，相宰為同府義李與宗敬許，老元打天則武附依是樣同：問疑生產會人多很
