究竟是不能辨，还是畏于当朝权贵的威势而不敢辨？这个就无从知晓了。反正这个说法出自于于慎行的官场回忆录《谷山笔尘》，而于慎行按说是张居正的门生，也即徐阶徒孙辈。
总之，徐府子弟使用投献、诡寄、挪移、飞诡、洒派、虚悬、寄庄……等各种舞弊手段，大肆侵吞国有资产，兼以盘剥乡里百姓，夺取他人赖以谋生的田舍，是不争的事实。而徐阶作为一家之主，究竟是始终被蒙在鼓里，还是心知肚明而默许甚至暗中支持，那就只有徐阶自己知道了。
唯一可以确定的是，海瑞时对徐阶的理解，显然倾向于从负面角度出发，对徐阶的贪吝多有不满。这里还有一桩事：海瑞刚上任时，曾因为吴中饥荒向当地富人募捐，在海青天的威名震慑之下，当地富豪还是不得不给面子的，譬如溧阳的一名官商富豪就直接捐出三万两白银，而海瑞去华亭县募金，徐阶在万般无奈之下，才不情不愿地拿出了几千两银子应付他——这恐怕还是因为海瑞本身是徐阶此前所推荐的缘故。
当时徐府挂名家人多至数千，招摇在外，海瑞建议徐阶削去那些假借的户籍，使他们不能继续妄借声势为非作歹，谁料徐阶竟然表示为难，没有答应。这两桩事，大概给海瑞留下了相当不好的印象，乃至影响到后来处徐府事的态度。再加上徐阶的兄弟徐陟残害百姓的劣迹被乡民揭发，以海瑞的脾气，他不气愤根本不可能。
海瑞其人，天下共知，心公而性直，在处理徐氏相关田土诉讼时不念旧恩，只凭律法(参考《明律》中的反投献条款)，甚至驳回当时首辅李春芳等人的求情，千古传为奇谈，却因触及豪族利益太深而为时论所匪议，多遭朝内舆论的恶意攻击。
然而，正当徐阶与海瑞在退田问题上僵持不下之时，另一个对徐阶来说天大的坏消息传来：当年十二月二十二日，皇帝发下敕命召高拱还阁。高拱奉旨，即刻启程抵京赴任。
陪高拱一路回京的高务实当然知道高阁老这一次回京势头之凶猛，不仅官复原职，还兼掌吏部天官之枢机，可见皇帝对其信赖如初。
高拱是有明一代的理财能臣，与隆庆帝甚至可以用“名为君臣，情同父子”来形容。对于国有资产的隐性流失，高拱一向深恶痛绝，因此在整治江南豪族的问题上，高拱与海瑞的基本立场完全一致。但是，高拱自己也知道，由于先前与徐阶结怨已深，如果一力支持海瑞，必然会引起舆论抨击他挟私理政、公报私仇，这也是高务实此前力劝他避免的。是故，高拱处理此事多有折中