渡江战役结束后，倪克林所在部队继续南下，就在南下的路上，遇到一场对他战斗生涯影响巨大的战役——“上海战役”。

解放军突破长江放线后，又在安徽广德、郎溪地区歼灭京沪杭警备总部所属部队5个军，虽然在战场上节节败退，但是以蒋介石为首的国民政府依然困兽犹斗。在国民党总裁蒋介石的直接部署下，国军企图依靠上海的丰富资财和长期筑成的永备工事继续顽抗，号称将上海战役变成第二个斯大林格勒保卫战，幻想通过上海外围坚固的防御工事和城市巷战拖垮人民解放军。

1945年5月，解放上海的战斗打响，倪克林所在纵队作为预备队待命增援。由于外围的战壕交错、钢骨水泥地堡纵横、战场地域狭窄、各种防御手段复杂，解放军对国军的攻击并不顺利，整个战场推动缓慢，而且造成不断的伤亡。第三野战军指挥部根据战场态势，总结攻击钢骨水泥地堡群的经验，调整了战斗部署，并下达了改取以小分队行动为主，实施火力、爆破、突击紧密结合的攻坚战术，逐个夺取碉堡的战术指示。

眼见前面攻击不顺利，倪克林只能焦急而耐心地等待着，焦急是因为其他部队伤亡不断，而自己却只能奉命待在原地而无法和其他部队并肩作战，耐心是他知道，前面攻击不顺利，马上他们就会被派往战场。很快，战斗的命令就下了下来，倪克林率领部队火速投入战场。他命令各营分成小队，对驻守国军发起攻击。

倪克林在团部密切关注着自己部队的攻击状况，虽然一点点往前推进，但是敌人活力网严密，再加上壕沟里设置了各种障碍，每前进一步就要付出很大的代价。倪克林待在团部如坐针毡，等到大部队终于攻克敌人外围防御，逐渐向市内突击的时候，他再也坐不住了。

“团部剩下的人和我一起向敌人发起最后的攻击！”倪克林带领仅留下的部队向城内冲进去。“团长，前面的高楼上敌人重兵把手，几次攻击伤亡太大。”有人向倪克林报告。“命令爆破手给我把据点炸了！”倪克林有点着急。“可是团长，前面的建筑是上海市内标志性建筑，总部曾再三命令不要破坏市内重要建筑。”身边的人提醒倪克林。听到这个，倪克林心中有些懊恼，他无奈地看着战友们一个接一个地倒下。“组织突击队，我亲自带人上去拿下这个据点。”倪克林对着身旁的人说。“团长，这样是不是太冒险了，还是我带人去吧。”副团长在一旁主动请缨。“不要再争论了，就这么决定了，你带着其他人给我掩护，这么僵持下去伤亡会更多。”

倪克林率领突击队在掩护下一点点向敌人据点靠拢了过去，经过几次的交战，终于杀到了楼下。可驻守的国军见解放军突破到楼下，立刻封死了下楼的通道，突击队两次突击都收效甚微。第三次突击，倪克林亲自带队往上冲，经过这几次的攻击，驻守的敌人渐渐支撑不住。就在快拿下据点的时候，不知道从何处飞过来的一颗子弹，正好击中倪克林的胸部，倪克林还没来得及反应便倒了下去。“团长！”“团长！”突击队瞬间乱做了一团，好在后续部队赶到，迅速投入战斗，并最终消灭了敌人，拿下来据点。

“卫生员！卫生员！卫生员在哪？！”“团长！团长！”战士们大喊着卫生员，现场乱成了一团。倪克林倒在了血泊中，呼吸变得困难起来，很快失去了知觉，不省人事。卫生员火速赶了过来，简单的包扎处理后，几个战士用担架抬起倪克林，向野战医院飞速而去。