此时，曾国藩也给李鸿章写信，恳切邀请他回来。1861 年 7 月，李鸿章又回到曾国藩的大营，二人又开始了密切的合作。
第三章 创办淮军，声名鹊起场
3.1节 草创淮军的一代名将
1861 年 8 月，咸丰帝驾崩。年仅 6 岁的同治帝继位。11 月，慈禧发动宫廷政变，宣布垂帘听政。早在 1860 年 5 月，太平军第二次攻破江南大营之后，清军在长江下游已经失去了最后一支主力。虽说 1861 年湘军收复了上游的安庆，但由于太平军的猛烈攻势，江南的地主和豪绅纷纷逃到了上海。为了自家利益，云集上海的豪绅阶级开始设想种种办法以求自保。他们派出代表钱鼎铭等一行人，前去安庆面请曾国藩派兵援沪。钱鼎铭拿出当年chūn秋时期楚国贵族申包胥请求秦兵援助的招式，每日到曾国藩处痛哭，弄得曾国藩一看见他就头疼。钱鼎铭还提出，上海的豪绅愿意每月筹集军饷 60 万两给湘军。但是曾国藩考虑上海地处偏远，又恐分兵不利，所以没有答应他们的要求。钱鼎铭是个公关的良才，他利用自己的父亲是李文安同年的关系，开始转而游说李鸿章，并终于把李鸿章说动了心。李鸿章劝说曾国藩，说现在湘军军费紧张，上海豪绅肯每月给我们60万两，能帮我们很大的忙。另外保住上海，对我们也是好事，我们何必要将他们拒之门外?于是，曾国藩同意派兵入沪。曾国藩对于入沪人选进行了仔细的分析，开始，他选派自己的弟弟曾国荃。可是，曾国荃一心想拿攻克天京的首功，对上海之事根本没有兴趣。曾国藩又邀请湘军老将陈士杰出山，可是陈士杰以老母需要照顾为理由，拒绝了曾国藩。曾国藩想来想去，最后，把这个任务jiāo给了李鸿章。
1861 年 12 月，曾国藩考虑湘军无可分之兵，于是命令李鸿章招募新兵援助上海。李鸿章想到上海人地生疏，不如直接回老家安徽招募淮勇。其实曾国藩很早之前就有建立淮军的计划，此次让李鸿章担当此任，应了天时地利人和。李鸿章有在安徽帮办团练的基础，加上在曾国藩身边多年，耳濡目染，学习到很多带兵之道，所以信心百倍，觉得自己一定能做好这件事情。
李鸿章招募淮军，首先想到的是老家合肥东乡的团练，但遗憾的是自己的旧部早已星散了。于是，他想起以前合肥西乡的一些办的不错的团练来。当时西乡三山的一些民办团练比较有名。他们分别是：周公山下的张树生、张树珊兄弟的张老圩;大潜山北的刘铭传的刘老圩;大潜山西南的唐氏兄弟的唐老圩;大潜山南的董凤高董老圩;紫蓬山的周氏兄弟的周老圩。此外还有一些官办的团练，如紫蓬山就有解先亮带领的叶志超等人。在上述团练队伍中，最能打仗的是张氏兄弟、刘铭传和周氏兄弟的三支。先此，他们三人曾效仿刘关张桃园三结义，发誓要做出一点功业来。当听说李文安的儿子李鸿章在辅佐曾国藩，张树生曾写信给曾国藩表达过豪情壮志。当时，曾国藩看完信后，对李鸿章说，此人犹如东晋的祖逖。张树生年龄较大，得过廪生的功名，是三个人中间的老大。
李鸿章在安庆招募的团练中，最早编练的就是张树生统率的树字营，刘铭传统率的铭字营。随后是周氏兄弟的盛字营和李鹤章招募的人。还有三河潘鼎新和庐江吴长庆的队伍分别被编为鼎字营、庆字营。树、铭、鼎、庆等各支队伍到达安徽安庆集合后，曾国藩提出要接见这些团练的头目。在张树生和刘铭传等十几个人来到曾国藩的大厅之后，曾国藩一直躲在屏风后面两个多小时就是不出来，暗中观察他们的反应。这些人当中，刘铭传表现的最为愤怒，一直在大骂，而张树生表现的最有耐心。曾国藩认为这两个都是不错的将才。由于招来的人马大部分是新勇，缺乏实际作战经验，人数也不多，自然不足以保护上海。于是，李鸿章又从曾国荃那里挖来了程学启的开字两营，并请求曾国藩从湘军中调拨兵力给自己。这样，淮军初具规模，有了 13 个营，共6500人。李鸿章学习曾国藩训练湘军的方式，训练淮军。
1862年4月，淮军在李鸿章的率领下，分批乘船前往上海。李鸿章从此开始了统率淮军的漫漫征程。湘军和淮军最初没有太大的区别，但是由于曾国藩、李鸿章二人性格不同，带兵策略不同，慢慢地湘军和淮军也有了很大的区别。但有一点是相同的，湘军和淮军都是以将领为中心，先立官，然后由官招兵。这样，湘军和淮军慢慢地就成了“曾家军”和“李家军”，别人根本无法指挥调遣。他们各自拥兵一方，势力惊人。
在组建淮军的过程中，由于急于求成，队伍中成份复杂。李鸿章在任命统领时，看重能力，至于他们是否出身贫寒，是否有文化，都不是很在意。他鄙弃那些空有一肚子才学而不知世事之人，也不认为出身贫贱就低人一等，他甚至敢于任用盐贩子出身的人和太平军的降将。可见，李鸿章以后形成的最根本的治世思想——“务实”——这时候就已经开始有所体现了。
3.2节 擢升江苏巡抚
1862 年 4 月，李鸿章到达上海不到一个月，就受命署理江苏巡抚。年底，正式出任江苏巡抚。李鸿章的政治生涯里，这是第一次担任地方长官。第二年3月，李鸿章又兼任南洋通商大臣。当然，这都是得益于曾国藩的举荐。曾氏在奏折中称李鸿章“劲气内敛，才大心细”。
人到中年的李鸿章，此时已是手握兵权、政权和财权的一方封疆大吏，其仕途“从此隆隆直上”，开始了他在晚清政坛上纵横 40 年的政治生涯。
李鸿章初到上海，就面临太平军第二次攻打上海。李鸿章知道如果没有上海，自己的一切都将化为虚无。李鸿章也知道有太多的目光关注着自己，所以他丝毫不敢懈怠。他给自己提出“不要钱、不怕死”的六字方针，时时刻刻提醒着自己、鞭策着自己。由于淮军中大部分人都是农民，他们初到上海的时候，上海的官员商绅和外国人看到这支脚穿芒鞋，布帕包头，土里土气的队伍，都忍不住哈哈大笑。他们怀疑这样一支队伍能否担当起保卫上海的职任。为了自己也是为了这支刚刚建立的队伍将来的命运，李鸿章始终对淮军严格治理，加大训练qiáng度，整顿军中纪律。
训练的内容主要有阵法操练和扎筑营盘。淮军每天在营房四周做防御工程，筑高墙，挖深沟。他们筑的墙高八尺，厚一丈，用土块和草袋垒在外面，里面是实土。墙上还有四尺高的子墙，上面有枪眼，士兵就守在子墙上面。墙外修了壕沟，配合绊马桩、梅花坑、铁蒺藜等障碍物。此外，淮军还有严格的体能训练，例如要求士兵能跳上一丈高的房屋，越过一丈宽的壕沟抛火球要二十丈远，腿绑沙袋一天要走 100 里。
纪律整顿方面，每天中午晚上各点名一次，规定士兵不许擅自出营。绝不允许吸食鸦片。李鸿章还不断设法鼓舞士气，士兵的jīng神状态良好，都盼着快点开战，好试试身手。
李秀成率领十万大军对上海进行第二次围攻时，上海的英法联军一再要求淮军协同作战，李鸿章对他们不予理会，要带领淮军进行独立的战斗，1862 年 6 月，上海流行瘟疫，太平军很多人染上疾病，李秀成决定撤离上海。撤退之前，李秀成先围攻虹桥的程学启部。李鸿章带领队伍前去救援。