东曹属、丞相主簿等职。而据《魏略》记载，司马懿好学，曹洪自以为才疏，想让司马懿去帮助他，司马懿耻于和曹洪来往，假装拄拐不去。曹洪记恨司马懿，去跟曹操打小报告，曹操征召司马懿，司马懿立刻扔了拐杖去见曹操为其效命。
曹操逐渐察觉司马懿“有雄豪志”，又发现他有“狼顾之相”，心里很忌讳。因此对曹丕说，司马懿不是甘为臣下的人，必会干预我们的家族之事。但因曹丕和司马懿关系很好，总是维护他，而得以无事。于是，司马懿演技天成，从此半真半假，勤于职守，废寝忘食，遂使曹操安心。
建安二十年（公元215年），曹操征讨张鲁，司马懿随军。他对曹操说：“刘备用诡计俘虏刘璋，蜀中之人还未曾归附他，就又兴兵争夺江陵，这正是破刘的好机会。今若在汉中陈兵示威，益州就会震动不安，再进兵威逼，蜀兵势必瓦解，趁这个好机会，事情是可以成功的。圣人不能违时，也不能失时。”曹操说：“人苦于不知足，既得陇右，复欲得蜀。”未从其计。
建安二十四年（公元219年），司马懿升任太子中庶子，佐助曹丕。时司马懿“每与大谋，辄有奇策”，为曹丕所信任和重用，与陈群、吴质、朱铄并称“四友”。司马懿转任军司马，建议屯田解决粮食问题，得到曹操的采纳。他指出荆州刺史胡修粗暴，南乡太守傅方骄奢，都不应驻守边防，曹操未予重视。随后曹军遭遇变故，关羽围曹仁于樊城，水淹七军，降于禁，斩庞德。胡、傅二人果然乘机降蜀。一时间关羽声势“威震华夏”，因汉献帝在许县，距樊城很近，曹操感到威胁，为避关羽锋芒，一度准备迁都黄河以北。司马懿和曹椽蒋济及时劝阻说：“于禁被水军所淹，不是战守上的失误，对于国家的大局并没有大损失，为此而迁都，即是向敌人示弱，又会使淮河汉水一带人心不稳；刘备、孙权外亲内疏，现在关羽坐大，孙权必定更不高兴，把这事告之孙权，使他牵制关羽，则樊城之围自解。”曹操从其计，孙权果然派吕蒙袭取公安，关羽被其俘杀，实际是死于司马懿的算计。
此战利用孙、刘争夺荆州的矛盾，充分运用外交谋略，坐收渔利，不仅挫败关羽的强大攻势，解除了樊城之围，而且也使诸葛亮原定的一路向宛洛、一路出秦川的两面钳击中原的计划无法实现。更重要的是一举破坏了孙、刘联盟，改变了当时的战略格局，掌握了主动权。
之后曹操认为荆州遗民及在颍川屯田的军民逼近南方寇贼，想把他们迁走。司马懿认为：“荆楚轻脱，易动难