由于司马懿不骄不狂的处世方式，使得他先后在曹操和魏文帝曹丕手下担任了重要职位。等到魏明帝即位的时候，司马懿已经是魏国的元老级人物了。由于他长期带兵在关中跟蜀国打仗，魏国兵权大部分都掌握在了他的手里。后来，辽东太守公孙渊反叛，司马懿又被调过去对付叛乱。叛乱平定了，洛阳派人送来紧急诏书，要他迅速赶回洛阳。
司马懿到了洛阳，发现魏明帝已经病入膏肓。魏明帝把司马懿和皇族大臣曹爽同时叫到床边，希望他们可以共同辅助太子曹芳。魏明帝死后，太子曹芳即位，就是后来的魏少帝，而曹爽当了大将军，司马懿当了太尉，二人的职位相当。曹爽虽然是皇族，但是能力和资格都跟司马懿相差很远。所以，起初他处处尊重司马懿，凡事都听听司马懿的意见。
后来，曹爽手下有一批心腹提醒曹爽说：“曹家的大权不能分给外人啊！”曹爽便用魏少帝的名义提升司马懿为太傅，名义上是给他升官爵，实际上是夺去了司马懿的兵权。接着，曹爽又给自己的心腹、兄弟都安排了重要的职位。对这些，司马懿看在眼里却装聋作哑，一点也不介意。