1655年(清順治十二年、明永歷九年)，張名振與張煌言合兵三入長江，抵燕子磯，因兵力單弱，無功而返;乃會同鄭成功部甘輝、陳六御等收復舟山，張名振縞素入城，遍覓母尸，哀動三軍。歲末，張名振猝死。死前曾言：“吾于君母恩俱未報，若母尸不獲，毋收吾骸?！毖援吰鹱?，擊床而逝，死不瞑目，猶凜凜有生氣。后葬于普陀勾山南岙村。張名振原本遺囑由張煌言統(tǒng)領(lǐng)其軍，而鄭成功卻下令由陳六御接掌。次年清軍再度占領(lǐng)舟山，陳六御陣亡，在將士的推戴下張煌言成為原魯監(jiān)國系統(tǒng)軍隊的主要領(lǐng)袖，繼續(xù)同鄭成功聯(lián)合作戰(zhàn)。

1658年(清順治十五年、明永歷十二年)，永歷帝封鄭成功為延平郡王，張煌言為兵部左侍郎。同年清軍進犯云貴，鄭成功、張煌言進軍浙江，攻克樂清、寧海等地，在羊山遇臺風，損失巨艦百余艘，漂沒戰(zhàn)士八千余人，被迫撤回廈門。

1659年(清順治十六年、明永歷十三年)，張煌言與鄭成功一起，為牽制大舉向云貴地區(qū)進攻的清軍，再次率義軍入長江作戰(zhàn)。先是，義軍抵達并占領(lǐng)崇明。張煌言對鄭成功建議說：“崇明，江、海門戶”，宜先將義軍“定營于此”，稍事休整，務使義軍“進退有所據(jù)”。但鄭成功未聽從。當時，駐防長江的清軍，在瓜洲金、焦二山間橫上攔江鐵索(俗稱“滾江龍”)，且在沿江兩岸遍置西洋大炮，防守頗為堅固。張煌言卻率義軍乘十七條船機警巧妙地破壞了江防防線，在后援的鄭軍配合下，“翦江而渡”，于六月一舉攻占瓜洲。

攻克瓜洲后，張煌言又向鄭成功建議全力攻取鎮(zhèn)江，然鄭成功顧慮駐守江寧(南京)的清軍將趕往支援。張煌言則主張可先派一支舟師水軍，佯攻直搗江寧北門，即觀音門，這樣“南京清軍自不暇出援”。

同時，他還提議這支水軍應溯江而上，前往蕪湖一帶活動，以防阻江楚方面清軍的來援。鄭成功采納了意見，并命他向南京方向進攻。此時，張煌言所率義軍將屬人數(shù)不滿一萬，渡江之舟不滿百艘，仍毅然率軍西行。不久，張煌言攻克儀真，并進軍六合，沿途受到沿江民眾的熱烈歡迎，“儀征吏民赍版圖迎降五十里外”。

當?shù)孟む嵆晒タ随?zhèn)江后，張煌言又致信鄭成功，言及當“先撫定夾江郡縣”后，再從陸路進軍，直取南京，但鄭成功未采納他的建議，“竟從水道進”。致使有利戰(zhàn)機瞬間喪失，而南京清軍得以喘息并獲后援而鞏固城防。

六月二十八日，張煌言軍直抵南京觀音門外江面，停留兩日仍不見鄭軍的到來，只得派遣別的將領(lǐng)率輕舟數(shù)十艘的水軍，“直(西)上攻蕪湖”，他自己則率軍駐扎在浦口。待鄭成功率“水師”到達后，張煌言又于七月七日趕到蕪湖，在此，他“部勒諸軍”，將義軍兵分四路，分道攻城略地，且在沿途“移檄諸郡縣”，張貼文告。許多故明降清的舊官吏，見到文告，紛紛倒戈，“于是太平、寧國、池州、徽州、廣德及諸屬縣皆請降”，使義軍很快便收復了四府、三州、二十四縣，城池近三十座。義軍紀律嚴明，所過之處，對民眾百姓“秋毫無犯”。

張煌言每“經(jīng)郡縣，入謁孔子廟，坐明倫堂，進長吏，考察黜陟，略如巡按行部故事，遠近響應”。致使出現(xiàn)“父老爭出持牛酒犒師，扶杖炷香，望見衣冠，涕淚交下，以為十五年來所未見”的空前盛況。而“瀕江小艇，載果蓏來貿(mào)易者如織”，給義軍很大支持與鼓舞?？墒?，這一大好形勢，卻因鄭成功率軍攻打南京城的失利，而很快急轉(zhuǎn)直下。

正當張煌言收復徽州時，聞鄭成功在南京城下兵敗之事，于是“還蕪湖收兵，冀聯(lián)合瓜洲、鎮(zhèn)江(義)軍為守計”，期待有利時機，再作他圖。不久，張煌言又得到鄭成功軍已放棄瓜洲、鎮(zhèn)江等地，而退回海上的消息，致使張煌言所率義軍處于進退維谷、腹背受敵的危險處境，很快遭致潰敗。

此際，清兩江總督郎廷佐一方面調(diào)遣水軍切斷張煌言義軍東退的水路，另一方面又寫信向張煌言勸降。張煌言對招降書“拒不應”，同時，為擺脫困境，又率“余兵道繁昌，謀入鄱陽湖”，向江西發(fā)展。當義軍船隊進抵銅陵時，卻與湖廣來援的大批清軍水師遭遇，與之激戰(zhàn)而敗退。

最后，張煌言“撫殘兵僅數(shù)百，退次無為，焚舟登陸”。又從陸路自桐城，取道霍山、英山，到達東溪嶺時，適逢清軍“追騎至，從者盡散”。張煌言好不容易才突圍而出，只得“變服夜行，至高滸埠，有父老識之，匿于家數(shù)日，導使出間道，渡江走建德、祁門亂山間”。此時張煌言身染瘧疾發(fā)作，幾不能行，但他仍不顧病痛，奮力疾行。到達休寧后，“得舟下嚴州”。登岸后，又復行山路，途經(jīng)浙江的東陽、義烏“至天臺達?！薄?/p>

歷盡千難萬險，兵敗后繞道潛行二千余里，九死一生，終于回到了浙江沿海地區(qū)。此后，他“收集舊部”，準備東山再起。鄭成功得到張煌言生還的消息后，也將自己的部分兵力撥歸他統(tǒng)轄，致使義軍稍有壯大。

張煌言將義軍屯駐長亭鄉(xiāng)，“筑塘捍潮，辟田以贍軍”需軍餉。同時，張煌言又派遣使者向桂王稟告自己兵敗的消息。桂王得悉后，在敕書中表示安撫慰問的同時，又給他“加兵部尚書”的職銜。