这时的南京政府由于蒋、胡的引退，一时出现权力真空，西山会议派与桂系实力派都想乘机掌权，也都想利用胡汉民这块有影响的党国元老牌子。汪精卫到南京后，试图组成以他为首的国民政府与国民党中央，为壮大势力，也想请胡汉民协助。胡汉民一时成了各方争夺的香饽饽，但这些都遭到了胡汉民的拒绝。

　　胡汉民之所以持这种观点，是因为国民党各派势力的斗争形势还不明朗，或者是他不满意某个派别的人物或观点，或觉得时机尚未成熟。汪精卫为了名正言顺地确立他在国民党内的领袖地位，提出召开国民党二届四中全会，但遭到胡汉民的坚决抵制。当时胡汉民同吴稚晖、张静江、李石曾等因蒋介石的下野而离开南京，住在上海。汪精卫放下架子，偕谭延、孙科、宋子文亲赴上海请胡汉民等与会，结果是热脸贴上个冷屁股，胡汉民居然连见面的机会都没给。汪精卫只好在9月10日邀请在沪的国民党要员召开非正式会议，交换全党团结的意见，20多名国民党名士与会，唯胡汉民、蒋介石这样权倾一方的大人物因与汪不和而未出席。

　　经过三天的争争吵吵，各方力量组成了32人的中央特别委员会，其中包括蒋介石、汪精卫、胡汉民。9月20日改组南京政府，组成政务委员会，由汪精卫、胡汉民、谭延、蔡元培、李烈钧等人任常委；同时成立的军事委员会，由蒋介石、汪精卫、胡汉民等14人组成。很显然，这种组织不过是各派暂时妥协的松散联盟，势不能长久，很快，汪精卫即在桂系军阀和西山会议派的攻击下到欧洲去了。胡汉民独木难支，也同孙科、伍朝枢到南洋、欧美各国考察去了。这一切为蒋介石东山再起提供了机会。

　　1928年2月，蒋介石在国民党二届四中全会上担任了中央常务委员会主席、中央政治会议主席兼军事委员会主席，从此建立起独裁专制的政权，成为无人再可与其平起平坐的"领袖"。

　　胡汉民在赴欧美等国考察的7个多月时间里，按国民政府外交委员会协议负有宣传国策，敦睦邦交和致力于取消不平等条约等使命，胡汉民为此做出了积极的努力。在此期间，给蒋介石寄来了《训政大纲草案》，提出根据孙中山设想的中国民主政治三部曲，现在军政时期已经结束，开始训政时期，为将来进入宪政时期作准备。胡汉民还幻想通过"训政"可用"以党治国"来制衡蒋介石的"以军治国"，殊不知蒋介石不过是利用国民党，利用他胡汉民来为自己的独裁服务。

　　1928年8月末，胡汉民从欧洲回到香港。受到掌握西南的地方实力派陈济棠、陈铭枢的热情欢迎。他们希望胡汉民这位元老加入西南势力，可以大大增强与蒋介石抗衡的能力；如果胡汉民不肯加入，也希望胡成为反蒋派领导人；就是不希望胡去帮助蒋介石。