送走了启民可汗和义成公主，隋炀帝没有回长安，而是走太原，绕道东都，到了洛阳的时候，已经是九月。一到洛阳，就宣布齐王杨暕改任河南尹、开府仪同三司，原来太子杨昭的二万多人也划归杨暕，独狐篡交了兵权，还是回长安负责军工，李浑以右骁卫将军领太子宗卫率。

杨崇也被兵部派回长安，兵部尚书段文振和兵部侍郎明雅随杨广在外，长安和洛阳的兵部如同摆设。兵部共设有十位主事，其中兵部主事四人，职方主事二人，驾部主事二人，库部主事二人；在洛阳由库部侍郎裴弘策负责，兵部、职方、驾部、库部还各留主事一人，而长安只有兵部主事元无竭一人，负责整个兵部的运作。

杨崇以兵部主事的身份回去，排在元无竭之后，只是为了堵住某些人的嘴，表示兵部还是重视长安的；实际上，兵部尚书段文振说得很清楚，杨崇回长安只要做两件事，一是尽可能整理西域的情报，二是再琢磨些装备。杨崇意外地是，自己离开洛阳的时候，在城门口除了宇文恺和工部尚书卫玄，柱国大将军麦铁杖竟然也跑来给自己送行。

麦铁杖是始兴人，勇猛而有膂力，少年时能日行五百里，据说跑起来可以赶上奔马，为人粗犷放荡且好酒，喜欢结交朋友；做贼被南陈广州刺史欧阳頠俘获后，麦铁杖沦为朝廷的奴仆，专给陈后主撑伞。隋灭陈后，麦铁杖转入大将军杨素军中，屡立战功，开皇十六年征召为车骑将军；隋炀帝即位，麦铁杖征讨汉王杨谅有功，任柱国大将军。

杨崇和麦铁杖在榆林城就是旧识，但是并不是很熟，麦铁杖扇动着巨掌，拍在杨崇肩上说：“好小子，在榆林做得不错，回到长安小心一点，你现在可是别人的眼中钉。”

杨崇忍着疼痛，咧咧嘴说道：“麦将军，轻一点。多谢你的好意，只是圣意难违。”

卫玄听出杨崇的那一丝无奈。榆林城发生的事情所有人都清楚，杨崇的做法平息了一场政治风波，隋炀帝杨广高兴之余，也没有追究对手；但是苏威等人依旧认为，如果没有杨崇的节外生枝，他们会让宇文化及兄弟丢掉脑袋，甚至能让宇文述丢官罢职，逼迫隋炀帝杨广在政治角逐中作出让步。

这种差异同样在定向贸易这件事上，与咄吉世的贸易对中枢有利，但实际上是抢走了士族和咄吉世之间的走私生意，也正是因为这个原因，在中枢内外的压力下，隋炀帝杨广和兵部尚书段文振只好同意调杨崇回长安，让裴矩负责对塞北的运筹。军方对此的态度是截然相反，如果杨崇操作，十六卫的将领们多多少少都分点利，在裴矩的手上，连段文振和明雅都是忧心忡忡，麦铁杖来送杨崇，就是军方发出的一个不满信号。

麦铁杖分明听懂了杨崇的潜台词，哈哈大笑；宇文恺在大众之下，反倒没有多说话，只是礼节性地拱拱手，杨崇在洛阳住在宇文恺家，师兄弟要说的话要做的安排早就商议好。杨崇和众人行完礼，翻身上马，随换防的禁卫军奔腾西去，这几个月在兵部，杨崇唯一进步迅速的就是骑马技术，基本上能跟上大队的行动。

到达长安，杨崇到留守的尚书台报了个备，请了五天假，连兵部都没去，就很干脆地回家了；杨崇的打算很简单，先歇个几天再说。杨崇到家才知道杨六和杨九在崔家作坊帮忙，到现在也没回来；杨三、杨四、杨七、杨十在铁匠铺干得不错，韦隆已经开始教他们武功；杨一、杨二、杨五、杨八被安排到宇文作坊学木匠和杂艺，韦横在那里盯着。

韦雷每过十天半个月，都会去各处看看，包括农庄李春那儿，情况都不错。不过韦雷汇报完，没有一点要走的意思，带着点讪笑站在那里，杨崇很奇怪，问道：“还有什么事？”

韦雷吱吱唔唔半天才说，上次去宇文作坊，宇文虎问了一件事，韦雷三人是不是原来就姓韦？韦雷一开始没弄懂，过了几天才反应过来。宇文虎的意思很明了，韦雷他们要是原来就是姓韦，倒也没什么，如果是韦家赐姓，那么都到杨家几个月了，韦雷三人应该到考虑改姓的时候。不过这种事，韦雷还真做不了主，所以就看杨崇的态度。

杨崇到隋朝已经有一年多的时间，知道这赐姓是一种认同的象征，只是杨崇并不认同奴籍，所以心中一直有个想法，希望韦雷等人脱离奴籍；杨崇于是问道：“你们三人的意思，是改回原姓，还是要姓杨？另外，你们考虑过换籍没有？”

韦雷急忙跪下答道：“我们是自愿入奴籍的，绝没有换籍的想法，我们加入韦家的时候，已经抛弃了原来的姓氏，也不准备改回去，家主如果同意，我们希望姓杨。”