这时，右丞薛孝通拦住了他，问：“您要去洛阳？”
贺拔岳说：“是的，虽然是皇帝下的旨，但实际是高王让我去的，这地球人都知道。我不怕皇帝，但要是高王让我去，我就得掂量掂量”
薛孝通说：“高王虽然已经击败尔朱氏，但没有完全剿灭，而且六镇残兵不时骚扰，他不可能有精力打关中的主意，能自保就不错了。您倚山为城，凭河为池，进控山东，退封函谷，为什么要听命高欢，受人所制呢？”
贺拔岳听后，奋然起立，说：“你说得好，我不去洛阳了。”于是上表，找了一大堆客观理由，无非是关中有事，离不开，一旦有空，立即到洛阳朝见云云。
孝武帝很失望，他本对贺拔岳寄以厚望，因为高欢把他当汉献帝，他也把高欢当曹操，他特别希望有个人能为他做主，除去高欢，从目前的地方实力派来看，只有贺拔岳有这个可能。但不管是汉献帝还是曹，现在都拿贺拔岳同志毫无办法。
贺拔岳不来洛阳，高欢感到十分无聊，做了几件无聊的事聊以打发寂寞。
元修既已即位，天下粗定，于是离散在外的宗亲王室纷纷回归，然后大封其官职。追谥被尔朱兆绞死的元子攸为孝庄帝，收被尔朱荣沉入黄河的胡太后及幼主元钊尸，葬于双灵寺中，谥胡太后“灵”。这个灵也许挺贴切，看看历史上谥“灵”的都些什么人吧，楚灵王把强大的楚国搞得乱七八糟，他本人也在野外孤独地死去；汉灵帝信任宦官和外戚，把原来还算健康的东汉王朝折腾得只剩一口气，“桓灵时期”成为历史上皇帝最无能、朝政最黑暗的代名词。
客观地说，胡太后谥灵，有点过份，特别考虑到胡太后是女同志，又是一个不同凡响的女同志，就更不对了。
贺拔岳在关中养精蓄锐，实力一天强似一天。孝武帝元修，每天遭受高欢欺凌，自是希望手握重兵的大臣们，能有一两个可值得信任的，他注意贺拔岳已经很久了，也知道普天之下，除了贺拔岳，恐怕没有谁能对高欢构成威胁。
于是，孝武帝多次派人秘密接洽贺拔岳，让他设法除去高欢。
贺拔岳派人去晋阳进行火力侦查，来人回来说：高欢奸诈有余，不可轻信。贺拔岳又派心腹大将宇文泰去进行进一步的观察。
这时的宇文泰，任贺拔岳的司马，是他的左右手，不能离开须臾，比刘备信任诸葛亮还过份，甚至快赶上同了。
宇文泰的祖上本是匈奴东胡族，但后来已经鲜卑化