张世杰，范阳人。少时随从张柔戍守杞州，有犯法的行为，于是奔逃到宋州，隶籍淮兵中，没有人知道他的名字。
阮思聪见到他认为他是奇才，告诉了吕文德，吕文德征召他为小校。多次立功升到黄州武定诸军都统制。攻打安东州，战斗猛烈，与高达援救鄂州有功，迁调官职十阶。
不久随从贾似道进入黄州，战于騣草坪，夺回敌人所俘获的东西，加官环卫官，历任知高邮军、安东州。
咸淳四年(公元1268年)，元军修筑鹿门堡，吕文德向朝廷请求增兵，调张世杰与夏贵前往。等到吕文焕带着襄阳投降元军，朝廷命令张世杰率领五千人驻守鄂州。
张世杰用铁索封锁两城，夹以火炮、弓弩，其显要之地都散布木桩，设置攻打器具。元军攻破新城，长驱而下，张世杰奋力战斗，使元军不能前进，元军派人招降他，张世杰不顺从。元丞相伯颜阳明着攻打严山隘，暗中从唐港以水军冲锋陷阵进入汉水，东攻鄂州，鄂州投降。
张世杰率领所部军队入卫临安，又经过饶州，才入朝廷。当时正危急，召诸将救援朝廷大多没有到达，只有张世杰来到，宋度宗叹息惊异。
张世杰从和州防御使不到几个月多次加官到保康军承宣使，总都督府兵。派遣将领四处出击，取得浙西各郡，收复平江、安吉、广德、溧阳诸城，军势颇为振奋。
七月，与刘师勇等将领大规模出师焦山，命令用十条船结为并船，下碇停泊在江中，没有命令不得启碇，表示以必死的决心。元主帅阿术载着张满弓弩的士兵用火箭攻打并船，张世杰军队乱了阵脚，没人敢启碇，投江而死的有一万多人。
张世杰大败，奔逃圌山。向朝廷上奏疏请求救援的军队，没有得到答复。不久提升为龙、神、卫四厢都指挥使。十月，升任沿江招讨使，改任制置副使、兼知江阴军。不久元军到独松关，朝廷召文天祥入卫，以张世杰为保康军节度使，知平江。不久也被征召入卫朝廷，加官检校少保。
德佑二年(公元1276年)正月，元军迫近临安，张世杰请转移皇帝、皇后、太后三宫进入海上，而与文天祥合兵背城一战，丞相陈宜中正派人向元军请和，张世杰不同意，报告太皇太后阻止。没有多久，和议也终止。
元兵到达皋亭山，张世杰于是领兵进入定海。石国英派都统卞彪劝说张世杰投降，张世杰以为卞彪是来随从自己一起南下，用椎杀牛让他享用，酒吃到一半，卞彪从容说话，张世杰大怒，割断他的舌头，在巾子山把他裂尸。
德佑二年(公元1276年)四月，张世杰随二王进入福州。五月，与陈宜中尊奉赵昰为君主，张世杰被任命为签书枢密院事。王世强引导元军攻打南宋，张世杰于是侍奉益王进入海上，而自己率领陈吊眼、许夫人等畲族军队攻蒲寿庚，没有攻克。
十月，元军主帅唆都率领军队来支援泉州，宋军于是撤兵退去。不久唆都派人招降益王，又派经历孙安甫劝说张世杰，张世杰把孙安甫拘留在军中不让他回去。元军招讨刘深攻打浅湾，张世杰战败，把益王移居井澳，刘深又来攻打井澳，张世杰击退了刘深，因而迁到硇州。
景炎三年(公元1278年)正月，元军派大将王用攻打雷州，王用战败。四月，南宋益王死，卫王赵昺被立为皇帝，拜张世杰为少傅、枢密副使。五月，元派琼州安抚张应科攻雷州，三战都不顺利。
六月，再次决战于雷州城下，张应科战死。张世杰认为硇州已不能久居，将赵昺转移到新会的崖山。八月，张世杰被封为越国公。朝廷散发琼州的粮食供给军队。
十月，南宋派凌震、王道夫袭击广州，凌震战败。
祥兴二年(公元1279年)，元军主帅张弘范等人的军队到达崖山，有人对张世杰说：“北兵用水军堵住海口，我军就不能进退了，为什么不先占据海口。侥幸取胜，这是国家的福份;不能取胜，仍然可以向西撤退。”
张世杰担心军队长时间在海上有离散之心，就说：“连年航行在海上，什么时候是个了呢?现在应该与敌人决一胜负。”全部烧毁了皇帝临时驻地的集市，将一千多艘大船连结起来做成水寨，以为死守之计，人人都感到形势危险。
不久，张弘范的兵开到，占据海口，打柴、汲水的道路全被堵死，宋军啃干粮啃了十多天，口渴了，向下捧海水来喝，海水味咸，喝了就呕吐泄肚，宋军极度困乏。张世杰率领苏刘义、方兴每天大战。
张弘范得到张世杰一个姓韩的外甥，给他官做，三次派他前去招降张世杰，张世杰历数古代的君臣说：“我知道投降了，不仅能生存而且能富贵，但是我为皇帝死的志向是不能动摇的。”
二月二十日，张弘范等人攻打崖山，张世杰战败，退保卫王所乘坐的船。元军接近宋军的中军，张世杰才割断拴船的绳子，带着十一艘大船冲出港口，其余的人收军回到崖山。元军的刘自立击败了他们，降服了他们的将领方遇龙、叶秀荣、章文秀等四十多人。
张世杰还想侍奉杨太后寻求赵氏的后代而立位，再图后举;但杨太后在听闻宋帝赵昺的死讯在后亦赴海自杀，张世杰将其葬在海边。
飓风忽大作，将士劝张世杰登岸，张世杰说了句：“不必了。”然后登上柁楼，露香祝道：“我为赵氏，能做的事都做尽了，一君亡，又立一君，现在又亡。我还没有死的原因是希望敌兵退，再另立赵氏以存祀啊。现在到了这个地步，岂非天意啊!”
不久张世杰在大风雨中溺卒于平章山下(约今广东省阳江市西南的海陵岛对开海面)。