秦桧灰心丧气回到家中，妻子王氏不解其故，谓曰：“官人何故垂气？”桧曰：“遭侫人弹劾，不复相也！”王氏曰：“官人不必忧心，范宗尹、吕颐浩、朱胜非皆庸才，飞统兵御外，未尝败绩，最得圣宠，此为官人腹敌。”
秦桧曰：“非也！自太祖始，无武将权骇朝野。前有则平、平仲、介甫、君实、元常等，皆为文辅，桧与飞若车辕之二毂，无磕碰之虞，飞于我无害也！”秦桧的意思是：自从太祖以来，都是文官当朝，没有武将权倾朝野的，赵普、寇准、王安石、司马光、蔡京等人皆是如此，我与岳飞好比马车的两只轮子，不会碰撞在一起，岳飞与我没有厉害冲突。
金太宗完颜吴乞买在世时，挞懒主持大金朝政。绍兴五年一月，吴乞买去世，挞懒怕失去主持朝政大权，叫嚣着以“和议为主，进攻为辅”的策略，即：南人归南，北人归北；以长江为界，北方归大金，南方归大宋。完颜宜觉得刚继大统，朝局不稳，任由挞懒叫嚣，并让挞懒署理南京，专管和议之事，借机将他排挤出大金政治核心。
挞懒力求宋金和议，并抛出“奉赵桓于开封”，威胁宋高宗赵构。二月，秦桧复官为资政殿学士；六月，又拜观文殿学士、知温州；绍兴六年七月，秦桧改知绍兴府。不久，又被任命为醴泉观使兼侍读、行宫留守，并暂去尚书省、枢密院参议政事。因为秦桧与挞懒正在构和，岳飞打下商洛之地后，高宗让岳飞撤军，缓解和谈气氛。