可這份痛快在崇禎元年（1628年）被徹底打破。
那年夏天，鄭芝龍收到了福建巡撫熊文燦的招安文書，決定帶著大部分弟兄歸順朝廷。
訊息傳到胡大的船艙時，他正在跟弟兄們喝著劣質的米酒，吃著鹹魚幹。
當聽到“招安”二字時，他手裡的酒碗“啪”地摔在地上，酒水和碎碗片濺了一地。
“歸順朝廷？”他猛地站起身，眼睛紅得像要滴血。
“那王懷仁害死我爹孃，朝廷何曾為我伸過半分冤屈？現在讓我歸順，我做不到！”
彼時，鄭芝龍麾下的大頭目李魁奇也堅決反對招安。
李魁奇是個性格暴躁、野心勃勃的人，他找到胡大，拍著他的肩膀說：“胡兄弟，鄭芝龍軟骨頭，要去當朝廷的狗，咱們可不能跟他走！我打算盜走他的戰船，自立門戶，你帶著弟兄跟我幹，以後閩海就是咱們的天下！”
胡大本就不願招安，又覺得李魁奇是條漢子，便答應了他。
七月十五那天夜裡，月黑風高，李魁奇率領不願招安的弟兄，趁著鄭芝龍的船隊防備鬆懈，悄悄盜走了四百多艘戰船，胡大帶著自己的三四十個弟兄，駕著三艘戰船跟在後面。
離開廈門港時，胡大回頭望了一眼那片熟悉的海域，心裡五味雜陳，他雖然捨不得鄭芝龍的知遇之恩，卻更放不下心中的仇恨。
可跟著李魁奇沒多久，胡大就發現兩人根本不是一路人。
李魁奇為人雖有勇力，卻心狠手辣，毫無底線。
他不僅劫掠富商的商船，連載著百姓的漁船也不放過，搶完貨物還縱火燒船。
一次，李魁奇下令洗劫臺灣北部的一個小漁村，胡大親眼看到弟兄們搶走漁民僅有的糧食和衣物，還把反抗的老人綁在柱子上燒死。
他當場就跟李魁奇吵了起來：“李大哥，咱們當海盜是為了活命，不是為了殘害無辜百姓！你這樣做，跟那些貪官汙吏有什麼區別？”
李魁奇冷笑一聲：“胡大，你少在這裡裝好人！咱們是海盜，不是善男信女！不搶他們，咱們吃什麼喝什麼？”
兩人的矛盾越來越深，李魁奇開始處處排擠胡大，不僅剋扣他手下的糧餉，還故意把最危險的任務派給他。
胡大知道，再跟著李魁奇，遲早會落得個身敗名裂的下場。
一天夜裡，胡大召集自己的弟兄，在船艙裡開了個會。
他看著眼前這些跟自己出生入死的弟兄，說道：“弟兄們，李魁奇不仁不義，咱們不能跟著他繼續錯下去。閩海雖大，卻沒有咱們容身之地。我聽說臺灣南部的麻豆灣，地處偏僻，荷蘭人還沒來得及佔領，那裡有天然的避風港，還有大片荒地，咱們去那裡安身怎麼樣？”
“醜話先說在前面，咱們只劫那些為富不仁的商人和欺壓百姓的官船，當然還有那些洋人，絕不騷擾漁民和百姓，誰敢對百姓和漁民動手，我胡大絕不會放過他！”
弟兄們早就對李魁奇的做法不滿，聽胡大這麼一說，紛紛響應。
“大哥去哪，咱們就去哪！”
“對，咱們不能做傷天害理的事！”
當天夜裡，他們趁著李魁奇的船隊停靠在澎湖列島補給，悄悄裝上糧食、淡水和武器，駕著三艘戰船，朝著臺灣麻豆灣駛去。
經過三天三夜的航行，他們終於抵達了麻豆灣。
這裡的海域平靜無波，灣內的避風港能容納數十艘戰船，岸邊是大片肥沃的荒地，遠處還有原住民居住的部落。
。通民住原的近附跟人派又，地營的易簡了建搭旁港風避在，岸登們兄弟著帶大胡
。來起善友們他對也便，換們他跟匹布和食糧些一出拿主還，掠搶殺燒樣那盜海他其像不們他見民住原
。了下紮灣豆麻在們兄弟著帶就大胡，此就
