在专制时代，不孝是极大的罪过。而皇帝意犹未尽，又杀气腾腾地挑明说，大阿哥、三阿哥对母后之死幸灾乐祸，有觊觎神器的野心。因此，这二人绝不能成为太子人选：“大阿哥、三阿哥如此不孝，朕以父子之情，不忍把他们诛杀。但朕百年之后，皇统则二人断不能承继！大阿哥、三阿哥日后若心怀不满，必至弟兄相杀而后止，与其让他们兄弟相杀，不如朕在之日杀了吧！”怒气冲冲的皇帝转过脸来又告诫满洲大臣，今后如有人奏请立皇太子，“朕必将他立行正法，断不宽贷”！（《清史稿》）
其实大家都看得清清楚楚，这两个皇子的表现并无太大不妥。皇帝的这些激烈言辞不过是他在孝贤皇后之丧中的失常举动之一，然而两个儿子却难以承受这样猛烈的打击。因为这一番惊吓，大阿哥永璜竟患了重病，并于乾隆十五年（1750年）忧惧而死，上距严厉的廷训不过一年零九个月。
闻听大阿哥惊惧成疾，从皇后之丧中清醒过来的皇帝也十分后悔。弥留之际，皇帝亲临皇子寝处视疾，素幔中的大阿哥泪汪汪地对亲临视疾的皇帝说：“儿不孝，不能送皇父了！”
皇帝痛悔不已。
为弥补心灵上的不安，皇帝追赠永璜为定安亲王，使他成为诸子中第一个得封亲王爵者，并且其名号由永璜长子绵德继承。绵德因此成为乾隆诸孙中第一个未降等袭封亲王的。皇帝并破例让绵德即于皇长子所居别室治丧，不必迁移外所。终其一生，皇帝对皇长子一支都给予了特殊的关爱。
虽然因为防范过甚痛失亲子，皇帝此后并不在防范子孙方面有丝毫放松。乾隆四十一年（1776年），皇长孙绵德与礼部郎中秦雄褒私下“相见送礼”。按理说，皇孙与京城官员见个面，接受个小礼物，不算什么大不了的事，然而在皇帝眼里却是无法原谅的。老皇帝严厉处分，革退了绵德的王爵，废为庶人，罚他去守泰陵。并将秦雄褒发遣伊犁，连绵德的师傅也受到处分。同年七月，一个山西小吏向出继出去的四阿哥投信，被凌迟处死，四阿哥也因背了个黑锅，于几个月后忧惧而死。乾隆四十五年（1780年），山西巡抚喀宁阿风闻六阿哥和皇次孙建储有望，就向六阿哥永瑢及绵恩呈递请安片子，并“送鱼数尾”。绵恩等鉴于前事，惧不敢受，将其事奏报给皇帝。皇帝因此褒奖绵恩，喀宁阿受到传谕申饬。正是由于皇帝的严厉果断，使诸子诸孙十分注意约束自身的行动，终乾隆一朝未发生争储之事。
除掉死去的那些阿哥外，十二阿哥因为生母那拉皇后为皇帝所厌恶，根本没资格列为皇储人选。四阿哥和六阿哥早已分别过继给履亲王允祹和慎郡王允禧为孙，因而也被排除掉了立为皇储的可能。皇帝真的要决定立储大事，就只能在八、十一、十五和十七阿哥这狭小的范围中做一抉择。
八阿哥永璇是皇帝身边最年长者，他文才不错，书法赵孟，妩媚可爱，也能画平远山水，但为人轻躁，做事颠倒。有一次皇帝分派诸皇子去西郊黑龙潭祈雨，八阿哥本当值班，却遍寻不见。一问才知道他带着亲随侍从忙中偷闲到城里玩去了。在严峻苛刻的皇帝看来，这无疑是不能容忍的重大过错。加以他又有脚病，仪表欠佳，皇帝对他不抱期望，乾隆四十四年（1779年）封个仪郡王了事。
十一子成王永瑆更具文艺天分。他的诗文jīng洁，尤工书法，早年学欧阳询、赵孟书，出入王羲之、王献之笔法，临摹唐宋各家名帖，均造极诣，独创所谓“拔镫法”，名重一时，论者以为清朝自王若霖以下，成王一人而已。同时代享有盛名的书法巨擘还有铁保、翁方纲、刘墉，与成王并称四大家。乾隆是个风雅天子，每每临幸成王府第，观赏他的书画佳作。不过，对十一阿哥的寄情翰墨，皇帝也并非一味赞同。乾隆三十一年（1766年）五月的一天，皇帝见十五阿哥永琰手持扇上有题画诗名，落款为“兄镜泉”三字，一问才知“镜泉”是年方十四五岁的十一阿哥别号，皇帝以为天家子弟不当如此效仿汉人陋习，所以下旨斥责，不许宗室贵族取号，因为过于文弱，难免丢掉满洲的勇武，并说这些细节“所关国运人心，良非浅鲜”。皇帝对十一阿哥的不满尚不止于此，这位阿哥柔而无断，而且随着年龄的增长，怪脾气越来越多，越来越吝啬。据说一次乘的马死了，即命烹马肉代膳，当天王府即不举炊。传出去，成了整个朝廷的笑话。这样的人，显然也无人君之相。
至于十七阿哥永磷恐怕是兄弟几个中最不成器的。这个老儿子从小就不喜欢读书，性情也轻佻浮躁。年纪稍长，就常常溜出宫禁，一身便服去外城狭路曲巷寻花问柳。乾隆五十四年（1789年）皇帝八旬万寿庆典前大封诸子，六阿哥、十一阿哥、十五阿哥都封了王爵，永磷只封个贝勒，从此对皇位彻底死了心。他曾对亲近的人说：“即使皇帝多如雨落，也不会有一个雨珠儿滴我身上。将来哪位哥哥当了皇帝，能把和砷府邸赐给我，也就心满意足了。”和砷败后，他的同胞兄长嘉庆皇帝果然将为王公大臣垂涎的和府赐予永磷一半，从此，永磷燕居邸中，唯以声色自娱而已。
唯一还不让皇帝失望的，只有十五阿哥了。
和其他三个皇子比起来，皇十五子永琰不是最聪明的一个，却是缺点最少的一个。
十五阿哥在乾隆三十八年（1773年）被密立为太子时年仅十三岁。他的生母魏氏，是汉人出身，系内务府包衣，外祖父为内管领清泰，身份并不高贵。
但这个孩子有其他几个不及的优点，“以勤学闻名”。他自认为天赋平常，所以学起习来异常用功，三九寒冬，深更半夜，还经常手不释卷。史载他“以不学为戒，故三冬甲夜，孜孜于退食之时，游情于圣贤之籍”。在他的诗集中每有这样的诗句：“夜读挑灯座右移，每因嗜学下重帏。”“更深何物可浇书，不用香醅用苦茗。”
另一个突出之点是他的孝顺与“端淳”。在乾隆的严厉督责下长大的永琰，品格端方，为人勤勉，生活俭朴，待人宽厚。他最大的长处就是能克制自己，不为任何声色所诱惑，不做任何出格过分的事情。正史笔记，绝少关于他的负面记载。
虽然有清一代，严禁皇子与大臣jiāo接，然而通过皇子师傅这一渠道，朝野上下对这几个皇子也并非毫不了解。据说，在四个皇子中，年仅十三岁的皇十五子是最懂事、最勤奋的一个。当时出使天朝的朝鲜使臣回国后，向他们的国王汇报见闻时多次说：“第十五子嘉亲王永琰，聪明力学，颇有人望”，“皇子见存四人，八王、十一王、十七王俱无令名，唯十五王饬躬读书，刚明有戒，长于禁中，声誉颇多”。（《朝鲜李朝实录》）
岁月不待人，年过花甲的乾隆必须做出决定。他在传位密诏中小心翼翼地写下了永琰的名字，不过放下笔后，他一直不能驱走心中的忐忑。毕竟，十三岁这个年龄对于一个继承人来说，是太小了，这棵看起来不错的幼苗能否长成参天大树，谁也不能确定。乾隆三十八年冬至，六十三岁的老皇帝到天坛祭天，跪在圜丘中心，默默向苍天祷告：“我已经秘密立永琰为皇储，然而此子年仅十三，性情未定。如果永琰有能力继承国家洪业，则祀求上天保佑他诸事有成。如果他并非贤能之人，愿上天让他短命而死，使他不能继承大统。我并非不爱自己的儿子，只是为祖宗江山计，不得不如此。”（《清高宗实录》）