东汉献帝建安四年(公元199年)以州从事的身份作为凉州刺史韦端的使者到许昌拜见曹操,被任为安定长史。杨阜回来后,关中各位将军问袁绍和曹操将谁胜谁败,杨阜说:“袁公宽厚但不果断,喜好谋略但缺乏决策,不果断就没有威严,缺乏决策就会误事,现在他虽然强大,但最终不可能成就大业。曹公有雄才远略,决断应变豪不犹豫,法令统一而军队精良,能使用不循常规的人,所任用的人都各尽其力,他必定是能成大事的人。”长史不是他喜欢的官职,于是就弃官而去。韦端征召他任大仆,
建安十二年(公元207年)韦端的儿子韦康代父任刺史,征辟杨阜为别驾。被举为孝廉,征召为丞相府官员,州中上表请求把他留下来参赞军事。
建安十六年(公元211年)马超战败于渭南,逃走退守到西北诸戎族中。曹操追到安定,而苏伯在河间反叛,曹操将要率军回东面去。杨阜当时正有使命在军中,对曹操说:“马超有韩信、英布的勇猛,甚得羌、胡各族人之心,西部的州郡都害怕他。如果大军回去,不进行严密的戒备,陇地诸郡就要失去。”曹操认为他说的正确,但回军很仓猝,防备不周密。
建安十八年(公元213年)马超率领各部族的头领来袭击陇地的郡县,这些郡县都响应他,只有冀城聚集州郡的兵力坚守。马超兼并了所有陇西的军队,张鲁又派大将杨昂来帮助他,共一万多人,攻打冀城。杨阜率领城中的士大夫和自己宗族的子弟精兵一千多人,让堂弟杨岳在城上建立半月形的营寨,与马超接战,从正月至八月一直坚守,但没有援兵来到。州中派遣别驾阎温沿着河水潜出求救,被马超所杀,于是刺史、大守恐惧失色,开始有投降的计议。杨阜哭着劝谏说:“我们率领父兄子弟以道义相激励,除了死没有另外的打算。过去田单守城,也没有比这里更牢固。(投降是)放弃马上就要到手的成功,并陷入了不义的名声中,我要以死坚守。”于是就大声哭喊。刺史、大守最后还是派人请求停战,打开城门迎接马超。马超进城后,把杨岳拘押在冀城,派杨昂杀了刺史、大守。
杨阜心中有向马超报仇的志向,但没有得到机会。不久,杨阜以丧事为由请求给予埋葬妻子的休假。杨阜的妻兄姜叙屯守在历城。杨阜年幼在姜叙家长大,见到姜叙和他的母亲时,说起前些时候在冀城中的事,非常悲痛。姜叙说:“怎么你这么悲伤?”杨阜说:“守城没有守住,刺史、太守被杀而自己又没有一起死,还有什么面目在世上活下去!马超背叛父亲和国君,虐待杀害州中将领,这难道仅仅是我的忧虑和责任,一州的士大夫都蒙受了耻辱。你统兵独据一方,却没有讨伐叛贼之心,这与过去赵盾被记载为弑君是一样的。马超强大但没有道义,内部有很多分歧,是容易对付的。”姜叙的母亲受到感动,命令姜叙听从杨阜的计策。计议确定后,他们又与同乡人姜隐、赵昂、尹奉、姚琼、孔信,武都人李俊、王灵共同计划谋略,商定了讨伐马超的期约,杨阜派堂弟杨谟到冀城告诉杨岳,并交结安定的梁宽、南安的赵衙、庞恭等人。誓约明定后,九月,杨阜与姜叙在卤城起兵。马超听说杨阜等人起事,自己率领军队出战。而赵衙、梁宽等人释放杨岳,关闭了冀城城门,去讨伐马超的妻子儿子。马超袭击历城,抓到姜叙的母亲。姜叙的母亲骂他说:“你这个背叛父亲的逆子,杀害君王的强盗,天地难道会长久容纳你,你不早死,还敢有脸见人吗?”马超发怒杀了她。杨阜与马超交战,身上受了五处伤,他族中的兄弟死了七人。马超于是向南投降张鲁。