此时，张闻天已经开始考虑变换军事领导人的问题。王稼祥将张闻天的想法告诉了彭德怀，又告诉了毛泽东，消息在刘伯承等将领中传开，大家均表示赞成。
正如后来周恩来回忆所说：“从湘桂黔交界处，毛主席、稼祥、洛甫即批评军事路线，一路开会争论。从老山界到黎平，在黎平争论尤其激烈。”
美国记者哈里森·索尔兹伯里曾将毛泽东、张闻天、王稼祥三人自长征开始到遵义会议取得的胜利，归结为“担架上的‘阴谋’”，张闻天也说：“他（指毛泽东） 要我同他和王稼祥同志住在一起，这样就形成了以毛泽东同志为首的反对李德、博古领导的‘中央队’三人集团，给遵义会议的伟大胜利打下了物质基础。”
1935 年1 月7 日，红军占领遵义城。9 日，张闻天随军委纵队进驻遵义，和毛泽东、王稼祥住在遵义新城古寺巷的一幢两层花园洋房里。那是国民党旅长易少荃的私宅，小楼四周砌有高高的灰砖墙。毛泽东与王稼祥住在楼上，张闻天住在楼下。三人住在一起，为讨论如何开好遵义会议，提供了便利条件。
1 月15 日至17日，政治局委员和军事领导人20 余人在遵义老城子尹路80 号召开政治局扩大会议，即遵义会议。