太平天国在1860年跟1861年，连续两年攻打杭州旗营，一次安然无恙，一次寸草不生。
1860年初，太平天国天京（南京）被清军江南大营包围。忠王李秀成与洪仁玕打算用围魏救赵之计，来摆脱这生死危机。内容是率领一支部队围攻杭州，吸引清军分兵，解围天京。战术执行人是李秀成。
当年二月十九日，太平军悄悄地抵达了杭州北城门武林门外。守城的清军看到雾中有部队接近，一开始以为是小股土匪。等到太平军攻城时才看清，不过太平军攻打数日也没得手。27日，太平军利用他们一直使用的战术，在城墙下掘地道，把炸药塞进地道，炸开城墙，终于攻入了杭州城。
太平军习惯的还是到处烧杀，杭州城里百姓死伤数目有点大，浙江巡抚罗遵殿及手下官员大多数自杀。旗兵与太平军在西湖边涌金门外接了一仗，未生出胜负，旗兵退入旗营坚守。
三月二日，张玉良率领清军救援部队，从杭州城东北部的艮山门攻入杭州。太平军看到旗子上的张字旗，以为是另一支他们害怕的张字军队，况且解围天京目的已达成，所以迅速撤军。此战旗营损失甚微。
1861年10月，太平军打算占领杭州。李秀成率军从严州一路横扫过来，沿杭州城西边古荡开至杭州城外。此时，守城清军除了林福祥一支三千人筑营在城东望江门外，其余的都退入城内。当时的浙江巡抚是王有龄，胡雪岩第一次发大财就是与王有龄官商合作。
城外的林福祥派人送信给城内，叫城内清军出城筑营。城内守军将领与他判断不一，犹豫了一个晚上。结果，一夜之间，太平军在杭州城外到处筑营，整座杭州城被围得水泄不通。胡雪岩购买的两万石大米停泊在钱塘江上，进不了城。
城内的粮食很快就见底了，百姓们把树皮，皮革都吃尽了，甚至有人倒在地上，还在喘气，腿上的肉就被人割走吃了。28日，太平军攻破城池，浙江巡抚王有龄与大部分官员又纷纷自杀了。太平军放开手脚大肆杀戮，原先杭州城有七十多万人，最后只剩下七万人，当然除了被杀的饿死的之外，也有背井离乡的。
旗营当然也早就饥肠辘辘了，当时的旗营将军叫瑞昌，早已卧病在床。李秀成后来的口供说，他命人从城外把劝降书绑在箭上，射入旗营。信中写道，大家给为其主，身不由己，如果开门言和，那么送全营老幼直至镇江，有钱的随身带走，没钱的送银两。瑞昌开了军事会议，决定以身殉国。于是挨家挨户发了火药，用以自焚。
仅仅三天，太平军就攻入了旗营，除了少数清军将领战死之外，包括瑞昌在内大多自杀。旗营士兵与家属奴仆等没有自焚的，太平军当然见人就杀，见房就烧，旗营几乎夷为平地，旗营城墙也烧毁大半。旗营里当时各色人等一共一万余人，等到1864年左宗棠收复杭州，重新点检，还有四十六人。
浙江乍浦有一支海防清军，雍正年间建立，隶属于杭州旗营，有数千人，由杭州旗营副都统领衔。3月份时即被太平军消灭了，除了260人出差的或者调防外地的侥幸留存。
左宗棠后来修复了旗营，不过无论城墙规格还是营坊建筑，风光再也不在了，驻扎的人数也大为锐减。
辛亥革命后，新军在吴山上对着旗营放了几炮，其中一炮打掉了将军旗子。双方零星交了一点火，在几次谈判后，旗营开门缴械投降。几年内，旗营所有房子与城墙一概拆除。