西元558年，南朝陳永定二年，越州餘姚虞府添了二公子，取名虞世南，字伯施。
餘姚虞氏絕非尋常門第，自三國東吳虞翻開基，綿延八百年文脈不絕，經學家、天文學家、書法家代代輩出，是江左公認的頂級書香世家。祖父虞檢，曾任南梁始興王府諮議，周旋皇室，飽讀典冊；父親虞荔，官拜陳朝太子中庶子，常年伴東宮，文章德行冠絕朝堂，連陳文帝都對其禮遇有加；叔父虞寄，官至中書侍郎，執掌中樞機要，文筆謀略一時無雙。
生在這樣的家族，虞世南本該是含著書卷長大的貴公子，可命運開篇，便給了他一場別離。虞世南年僅四歲，父親虞荔驟然離世，稚子尚且不懂生死離別，只看見家中上下白衣素縞，母親終日垂淚，他跟著母親晝夜守靈，小小年紀哀痛過度，身形迅速消瘦，幾乎撐不住一身孝服。
陳文帝素來敬重虞荔，聽聞虞家兩兄弟年幼失怙，時常派遣宮中使者登門安撫，送來衣食典籍，保全虞氏一脈文脈。可更大的難題擺在家族面前：叔父虞寄一生無子嗣，按照南朝宗法，需從兄長家中過繼一子承續香火。兄長虞荔留有兩子，長子虞世基、次子虞世南，幾番商議後，年僅四歲的虞世南，過繼給叔父虞寄為後，“伯施”一字，便是由此而來，意為承繼伯父、侍奉叔父，肩起家族傳承的重擔。
過繼後的日子，虞世南並未得到安逸的溺愛。叔父虞寄性格剛直，治學嚴苛，從不縱容子弟紈絝習氣，自虞世南識字起，便日日督促誦讀經史。彼時江南尚且安定，可一場橫禍再度襲來：陳朝大臣陳寶應盤踞閩越，起兵叛亂，叔父虞寄奉命出使勸降，反被叛軍扣押軟禁，身陷絕境數年，生死未卜。
訊息傳回餘姚虞府，虞世南心中記掛叔父安危，哪怕早已過了喪父守孝的期限，依舊常年身著粗布麻衣，日日吃素，拒絕一切宴飲享樂。旁人勸他，叔父身陷禍亂是國事，不必如此苛待自己，虞世南只是淡淡搖頭：“叔父育我成人，一日不歸，我一日不敢脫去喪服。”
這一等，便是十餘年。直至陳朝太建末年，朝廷大軍平定陳寶應叛亂，身陷閩越的虞寄才得以平安歸來。見到一身布衣、面有菜色的虞世南，虞寄又心疼又感慨，至此才准許他換上常服，恢復肉食。這件事傳遍江南士林，人人都贊虞世南小小年紀，孝心與道義遠超常人，年少便顯露出遠超同齡人的隱忍德行，這便是太宗口中“德行一絕”最早的底色。
少年歲月裡，虞世南與兄長虞世基一同拜入南朝大儒顧野王門下求學。顧野王博覽經史、通曉天文地理，是南陳文壇泰斗，門下弟子無數，可唯有虞家兩兄弟，最為刻苦。
史書記載二人勤學之狀：“經十餘年，精思不倦，或累旬不盥櫛。”
放到現代來看，這件事幾乎難以想象。為了鑽研典籍、推敲文章，兩人時常沉浸書齋數十天，連洗臉梳頭都顧不上，滿心思緒全落在古籍字句之間。旁人讀書只求應付科考、博取功名，虞世南讀書，只為吃透典籍裡的治亂興衰、修身之道。顧野王授課之餘，常私下讚歎：世基才思敏捷，文采張揚；世南沉靜內斂，底蘊深厚，日後二人前途，全看心性取捨。
除經史文章之外，虞世南另闢蹊徑，尋到同郡永欣寺智永和尚學習書法。智永是王羲之七世孫，隱居寺廟數十年，承續二王筆法，閉門練字三十年，禿筆堆積成冢，傳世《真草千字文》滋養後世無數書家。
智永起初不願輕易收徒，王家筆法從不外傳，可虞世南每日往返寺廟，風雨無阻，攜帶自己臨摹的字帖登門請教，謙卑恭敬，數年不曾間斷。智永見他心性純粹、耐得住寂寞，終肯傾囊相授，將“永字八法”、二王筆意盡數傳授。
旁人練字只求字形好看，虞世南練字重在修心。智永教導他，王羲之書法貴在平和中正，藏鋒芒於筆墨，不逞凌厲外露，正如君子處世，外柔內剛。這番道理，虞世南記了一輩子，不僅融進書法，更融進為人處世之中。少年時期打下的筆墨根基，讓他年紀輕輕便在江南聲名鵲起，詩文、書法雙雙拔尖，彼時江南文人提起年輕才俊，必提餘姚虞氏兩兄弟。
陳文帝聽聞二人才名，成年後率先徵召虞世南入朝為官，授建安王法曹參軍，後遷西陽王友，常年陪伴藩王，掌文書典籍。此時的虞世南，不過二十出頭，身處南朝溫柔富貴鄉，卻從未沾染奢靡習氣，依舊保持簡樸清淡的生活，每日公務結束，便閉門讀書練字，不攀附權貴，不參與朝堂朋黨應酬，在浮華江南，活成一股清冷清流。
西元589年，隋軍南下攻破建康，陳朝覆滅，存續三十三年的南朝煙消雲散。江南世家子弟一夜之間淪為亡國之臣，虞世南與兄長虞世基結伴北上，奔赴長安求取生路。
兄弟二人同負盛名，文章書法冠絕江左，抵達長安瞬間轟動京城，時人將二人比作西晉陸機、陸雲兩兄弟，合稱“二虞”。彼時晉王楊廣、秦王楊俊爭相派遣使者登門徵召，兩份辟書同時送到虞氏居所，禮遇厚重，許諾高官厚祿。
虞世南卻以母親年邁體弱、無人照料為由，堅決推辭兩份徵召，選擇留在長安城外侍奉老母，閉門不涉官場。兄長虞世基卻滿心歡喜，認定楊廣日後必成大業，主動依附晉王門下，往來殷勤，早早埋下攀附權貴的心思，兄弟二人的人生分水嶺，自此徹底拉開。
數年之後，楊廣登基為隋煬帝，虞世基憑藉出眾文采、圓滑處事，一路平步青雲，官至內史侍郎，執掌朝廷詔令，成為煬帝身邊第一近臣，權傾朝野。彼時朝堂百官爭相巴結虞世基，送禮、攀親、登門拜訪者絡繹不絕，虞府門前車馬川流不息，榮華富貴達到頂峰。
反觀虞世南，只得了一個不起眼的秘書郎，後遷起居舍人，終日待在秘書省後堂，整理前朝古籍、編纂典故，職位低微，俸祿微薄。哪怕兄長身居高位，虞世南依舊保持往日簡樸，平日裡布衣蔬食，不接受兄長任何饋贈，不借著虞世基的權勢謀求升遷，朝堂之上，兩人形同陌路。
身邊親友屢次勸說：兄長如今聖眷正濃，你只需多說幾句軟話，便能身居高位，何必守著冷衙門吃苦？虞世南每次只是淡然回應：“為官憑才德，不靠骨肉親緣。兄長走他的路，我守我的本心，不必強求一處。”
隋煬帝好大喜功、驕奢暴虐，常年大興土木、四處巡遊，三徵高句麗耗盡民力，天下百姓怨聲載道。虞世基深知煬帝性情，凡事只知迎合討好，但凡煬帝有奢靡想法，他盡數順從，隱匿各地災荒、叛亂訊息，矇蔽帝王視聽，百官敢怒不敢言。
唯有虞世南，身在低位，卻從未放棄勸諫。煬帝計劃大規模巡遊江都，耗費舉國財力，沿途百姓不堪重負，虞世南接連三次上書直諫，細數巡遊勞民傷財、滋生禍亂的隱患，字字懇切，直指朝政弊病。奏疏遞入宮中，煬帝看罷心中不悅，全然不予採納，身邊同僚都替他捏一把汗，勸他收斂鋒芒，免得觸怒帝王招來災禍。
虞世南絲毫不懼：“身居朝堂，食君之祿，便要擔社稷之憂，明知有錯卻閉口不言，算什麼臣子？”哪怕人微言輕，他依舊抓住一切機會，借古籍典故規勸煬帝剋制慾望、體恤百姓。
在秘書省任職的數十年，虞世南利用閒暇，埋首編纂類書，以秘書省後堂“北堂”為名，著成《北堂書鈔》，全書一百八十九部、八百五十二卷，是中國歷史上現存最早的大型類書。書中搜羅從上古至隋代的典章制度、詩文軼事、禮樂器物，分門別類整理成冊，為後世留存海量失傳古籍資料。
編纂此書耗費虞世南十數年光陰，每日公務結束，便獨自留在北堂抄錄整理，沒有朝廷專項撥款，沒有下屬協助，全靠一己之力伏案謄寫。後世學者評價，若無《北堂書鈔》，大量魏晉、南朝典籍典故將徹底湮沒，虞世南以一人之力，護住數千年文脈，這份“博學一絕”，絕非虛名。
大業末年，天下大亂，瓦崗、竇建德、王世充群雄並起，隋朝江山分崩離析。宇文化及發動江都兵變，隋煬帝遇害，權傾一時的虞世基因長期矇蔽君主、苛待百姓，被叛軍當場誅殺，家中男丁盡數牽連處死。
兵變之時，虞世南不顧一切衝上前，跪在叛軍面前痛哭流涕，苦苦哀求，願替兄長一死，保全兄長性命。叛軍將領感念他仁義，最終沒有牽連虞世南，可兄長身死、家族遭難的慘劇，依舊讓他悲痛欲絕。
昔日兄弟，一貪權殞命，一守德保全，巨大反差讓世人感慨萬千。所有人這才明白，當年虞世南不願依附兄長、甘於清貧冷官，不是愚鈍，而是早已看透亂世權貴如泡沫，唯有德行道義，方能安身立命。
。線底的人書讀住守，裡夾世在，計算伐征的侯諸方各與參不，姓百待善、賦薄徭輕德建竇勸規常時，心本改不舊依卻，朝偽居雖南世虞，峙對唐李與，北河據割德建竇時彼。職一郎侍門黃其授，行德與名文的他重敬德建竇。中手德建竇落終最，落流轉輾南世虞，後之都江
”。幸萬屬實，見得日今，下天絕冠識學行德，士名朝三生先“：言直，重敬生心便下之見一，儒老的弱瘦形、髮白頭滿、歲六十六位這到見，南世虞訪尋意特民世李，後城軍大。北河定平，德建竇潰擊而繼，充世王滅剿，破攻軍率民世李王秦，年四德武
。日終談暢，節禮臣君拘不，道之國治榷商、史經討探人眾與，館學文往前便，務要政軍完理民世李，食膳饈珍給供日每，守值館在流班三為分士學，遇禮高極予給，”士學八十“稱號，館士之學飽位八十選遴，館學文設開，才賢下天納廣正民世李時彼
。耀榮高至人書讀是，”洲瀛登“為館學文稱，慕羨不無人書讀下天，府書家皇於藏，語讚寫題亮褚，像畫製繪士學八十為本立閻。位席心核士學八十列位，室記府王遷後，軍參府王秦授被南世虞
。失得政為出點地力有卻和溫能總，理道國治煉提里故典衰興代歷從，今喻古以長擅獨獨南世虞而，詁訓義經通明德陸、達穎孔，事大政軍劃謀長擅晦如杜、齡玄房。通靜冷事遇，穩沉長年他有唯，年壯值正多大士學眾一，年之甲花是已南世虞，府王秦初
。始如終慎，奢驕制剋後之功是的難，難不業立功建王帝：民世李醒提，劇慘的禍之蠱巫、敝凋生民、武黷兵窮年晚帝武數細，口開緩緩南世虞有唯，業偉頌稱味一多人眾，功喜大好、土拓疆開帝武漢及談，過功王帝代歷論爭人眾與常時民世李
。殺廝謀權靠依非而，心歸下天得贏厚仁以，心民累積、姓百待善、行德養修民世李勸規覆反只，計之鬥權劃謀主不從南世虞。進激辭言，礙障清肅、擊出主民世李勸僚幕不，湧流暗堂朝，烈激漸日爭之位儲建李子太與王秦時彼。教求下私，人旁退屏，南世虞見召獨單常事遇此自，理有言所覺深，久許默沉完聽民世李
