話說李贊善曉得兒子李修緣，有些根器，遂加以用意撫養。只是奇怪的是，兒子長到三四歲的時候都不怎麼說話。除非李修緣單獨和父親李贊善一起的時候才勉強說一句話，這一句話卻讓贊善感到吃驚不小，也感到忌憚。李修緣對父親贊善說過的話就是：“當今奸臣不死，孩兒不隨口說話。”
紹興二十一年（1151年）秋，韓世忠病重，上表辭官。八月四日（9月15日），被策拜為太師。同日，韓世忠病故於臨安，享年六十三歲。獲贈太師、通義郡王。
韓世忠死後，秦檜以為自己在朝廷上終於沒有人能制衡，更是得意。卻不知天網恢恢疏而不漏，善惡到頭終有報應。紹興二十五年（1155年）十月二十二日當天晚上，本來病重的秦檜咬舌而死。死後幾天，秦檜妻子王氏也死。夫婦二人魂入地府，直接被閻羅王把他們打入十八地獄受千年刑罰。
果然秦檜死後，李修緣就肯開口正常說話了。到了八歲，李贊善給兒子李修緣請了個老師，同妻舅王安世的兒子王全，兩個同在家中讀書。
那李修緣讀得高興，便聲也不住，從早晨直讀到晚；有時懶讀便口也不開，終日只得默坐瞪著眼睛只管想，想得快活，仰面向天哈哈大笑。
有人問他，卻是遮遮掩掩的不說為什麼。到了十二歲，李修緣無書不讀，文理精通，吟詩作賦，無般不會矣。
是時，正是紹興三十年（1160年）二月，宋高宗趙構正式以趙瑗為皇子，更名瑋，進封建王，趙璩的身份則定為皇侄。
這一日，時值清明，老師應例該休假回家。
李贊善設宴席款待，又備了一些禮物，命李修緣與表兄王全，帶了從人，送老師回家。
李修緣和王全二人送了老師到家後，轉身回家的時候，看見有兩個十二三歲的孩童在吵架爭。
一個孩童罵另一個孩童說他像馬糞。
李修緣故意在他們旁邊大聲說道：“蘇軾有一次和佛印禪師一起打坐參禪，蘇軾問佛印：“你看我坐禪的樣子怎麼樣？”佛印說：“很好，像一尊佛。”蘇軾聽了很得意，反過來嘲笑佛印說：“我看你坐在那兒像一坨牛糞。”佛印沒生氣，只是笑笑。
蘇軾回家後跟妹妹蘇小妹炫耀，蘇小妹卻說：“哥哥你錯了，佛家講究見心見性，佛印看你像佛，說明他心中有佛；你看佛印像牛糞，說明你心裡有什麼？”蘇軾聽完頓時啞口無言。”
一旁的孩童知道李修緣是在暗諷自己，轉頭隨口罵道：“就你會學問吧，臭顯擺。”
李修緣笑了笑說：“以和為貴，何故爭執不休，別人累，你也累。”
說罷，就繼續跟著王全直接走開了。那兩個孩童聽了李修緣的話，停下爭執。
李修緣和王全走路回家之際，從一個寺院前經過，李修緣問從人道：“這是何寺？”
從人回答道：“這是台州府有名的祗園寺。”
王全聽了便道：“祗園寺原來就在此處，聞名已久，今日無心遇著，我與賢弟何不進去一遊？”
李修緣道：“表兄所言正合我意。”
李修緣和王全二人遂攜手而入，先到大殿上瞻仰了佛像，隨即遍繞回廊觀玩景緻，信步走到方丈室來。
早有兩個老僧攔住道：“有官長在內，二位客人若是閒遊，到別處去走走算了！”
李修緣道：“方丈室乃僧家客坐，人人可到，就算有長官在內，我二人進去相見又有何妨？”
說罷，李修緣遂和王全昂昂然地走將進去，只見左邊坐著一位官長，右邊坐著本寺的道清長老，兩邊排列著幾十個行童，各執紙筆在那裡思索著什麼。
李修緣走近前把手一拱，道：“請問大人與長老，這許多行童，各執紙筆在此何為？”
那官長未及開言，這道清長老先看見他兩個衣貌楚楚，知道是貴家子弟，不敢怠慢，遂立起身來，徐徐答應道：“此位大人因有事下海舟，至黑水洋；驀然波浪狂起，幾至覆沒，因而許了一個度僧之願，方得平安還家。今感謝佛天，舍財一千貫，請了一道度牒，要披剃一僧，故集諸行童在此檢選。因諸行童各有所取，一時檢選不定，便做了一首詞兒，寓意要眾行童續起兩句，以包括之，若包括得有些意思，便剃他為僧，故眾行童各執紙筆，在此用心。”
李修緣聞言，說道：“原來如此，乞賜此位大人的原詞一觀，未識可否？”
那位官長看見李修緣語言不凡，遂叫左右將原詞付與李修緣道：“小客要看，莫非能續否？”
：兒詞）紅江滿（首一是卻，看一來接緣修李
。嗷嘯共，築卜中山，到想常，勞徒事世
。腹書詩飽常眠困，眼利名開洗坐靜，竹翠松蒼，風清月明
！束拘無，生平度飯淡任
。碌碌徒，塵紅了遍踏鞋鐵穿？辱榮無何知不，在自求間人向，覆雲翻雨是俱，到。軸車同人恨；局棋如，事世奈
”。屋茅椽一是總，界三來看眼淨“：道句二頭續，筆提上案在遂，笑一微微，畢看緣修李
。茶奉行命，下坐人二全王和緣修李讓遂，駭驚勝不到時登，鋒機有大，語之題續緣修李了看老長清道與人那
”？名大姓尊人客位二問請“：道老長清道
”。是便緣修字賤，子之善贊李乃生小，也全王子之世安王乃，兄表家吾即此“：道答全王著指緣修李
”。慧宿的來帶是真，警靈此如筆下怪難，子公李是就來原“：道說，喜又驚又到，了聽老長清道
？故緣其問，因有話說老長清道見長那
”。真是非豈，言之老長空那，來看語之續所子公李據”。仕出宜不，家出可只，凡不，世轉人聖是子公小“：道善贊李對諄諄曾，日之天歸老長空寺清國前年餘十，知不人大“：道老長清道
”。矣多行諸於勝則，僧為人客小位此得度剃能若“：道喜大，了聽長那
”！理之家出有豈，人一生小生只父家但，果善是固度剃“：道謝辭遂，他度剃要量商人二得聽緣修李
