韩遂在西凉地区很有威信,早年曾进京,大将军何进听说他的名声,特地与之相见。韩遂献策诛杀宦官,何进不能采纳,于是韩遂请求回到西凉。
东汉灵帝中平元年(公元184年)湟中郡、北地郡的羌、胡等少数民族北宫伯玉、李文侯造反,劫持了边章、韩遂,拥立他们为主帅,杀死了金城太守陈懿,割据一方。
中平二年(公元185年)边章、韩遂在美阳与前来征讨的东汉政府军张温交战,被击败,撤至榆中。张温又派周慎、董卓等多只部队去追击,均无功而反。
中平四年(公元187年)韩遂杀死了边章、北宫伯玉、李文侯等人(《典略》称边章病死),吞并了他们的部队,部众达到十几万,进兵包围陇西郡,陇西太守李相如投降,与韩遂联合。凉州刺史耿鄙率六郡之兵征讨韩遂,他任用贪官程球为治中,士兵和百姓都很不满,不久耿鄙的手下造反,杀死了耿鄙和程球。耿鄙的军司马马腾与韩遂联合,共同推举王国为主帅,进兵至三辅地区劫掠。
中平六年(公元189年)王国被朝廷派来的军队击败,马腾、韩遂等人于是废掉王国,又劫持阎忠为主帅。不久阎忠病死,马腾、韩遂等人相互争权,势力有所衰弱。
献帝初平三年(公元192年)当初,董卓进京时曾拉拢马腾、韩遂,要他们一起出兵进京。此年,马腾、韩遂到达长安,董卓已死,李傕等人专权,于是拜韩遂为镇西将军,遣还金城,马腾为征西将军,屯于郿。
兴平元年(公元194年)马腾有私事求于李傕,没有得到应允,于是率兵相攻。汉献帝派使者劝解,没有成功,随后屯于金城的韩遂率兵前来劝解,继而与马腾联合,一起进攻李傕。朝臣种邵、马宇、刘范欲诛杀李傕等人,于是秘密与马腾联系,愿为内应,事情败露,逃奔至槐里。李傕使樊稠、郭汜以及侄子李利出击,马腾、韩遂败走,退回凉州。李傕的部队又进攻槐里,种邵等人都被杀死。不久,李傕等人又与马腾、韩遂讲和,改任马腾为安狄将军,韩遂为安降将军。马腾与韩遂相联合,结为异姓兄弟。
建安二年(公元197年)关中仍是十几股军阀割据的局面,其中马腾、韩遂势力最强。于是曹操采用荀彧的建议,派钟繇以侍中的身份代理司隶校尉,持节督关中诸军。钟繇到达长安后,写信给马腾、韩遂,陈述利害关系,于是马腾、韩遂愿意归顺,各自送来儿子作人质。
建安七年(202年)曹操表拜马腾为征南将军,韩遂为征西将军,俱开府。
建安十三年(公元208年)起先,因部曲间的矛盾,马腾、韩遂二人成为仇敌,韩遂杀掉了马腾的妻子,二人连年交战。曹操派钟繇、韦端前去劝和,升马腾为前将军,改屯槐里,不久又入朝为卫尉,其子马超封为偏将军,代替马腾统领部队,屯于原地。
建安十五年(公元210年)韩遂讨伐杀雍州刺史邯郸商的武威太守张猛,张猛发兵东拒;武威郡吏民畏韩遂,响应共讨张猛,张猛登楼自烧而死。
建安十六年(公元211年)曹操派钟繇等征讨张鲁,马超、韩遂等人怀疑曹操要征讨他们,于是联合关中将领侯选、程银、杨秋、李堪、张横、梁兴、成宜、马玩十部反叛,部众十万,屯据潼关。曹操亲自引兵征讨,马超等人交战不利,请求讲和,曹操假装答应,同时设计离间他们。曹操与韩遂有旧,于是相约会见,在阵前叙说旧事,抚掌欢笑,并不谈及军事。事后马超等人问韩遂曹操所言何事,韩遂说没什么重要的,于是马超等人起疑。曹操又写信给韩遂,信中多有修改的痕迹,于是马超等人更加起疑。曹操趁机出兵进攻,马超、韩遂大败,逃回凉州,成宜、李堪等人战死。
建安十九年(公元214年)韩遂驻军在显亲,曹操部下夏侯渊率军进攻。韩遂得到消息后,便退走躲避。夏侯渊收其粮草,追至略阳城,离韩遂军只有20余里,部将中有的主张立即进攻,有的建议转攻兴国。夏侯渊则认为,韩遂兵精,兴国城固,都不能很快攻下,韩遂军中家在长离的羌人很多,不如转攻长离。于是,夏侯渊留部将看守辎重,亲率精兵轻装疾进,纵火攻焚长离羌屯,斩获其众。韩遂闻讯,果然率兵回救。夏侯渊韩遂对阵,部将见韩遂援兵势盛,欲挖堑筑营,暂避敌锋。夏侯渊则认为士兵转战疲敝,不能长久拖下去。于是下令击鼓冲锋,士兵奋勇争先,一举击溃韩遂的军队。韩遂的女婿阎行想杀死韩遂投降,率兵夜袭,没有成功。韩遂逃到羌中,因他一直有恩惠于羌人,因此受到羌人的保护,于夏侯渊撤退后再次归来。
建安二十年(公元215年)韩遂被部下麹演、蒋石等人杀害,年七十余岁,首级献于曹操。(《后汉书》称韩遂病死于羌中。) 以上资料取材于《三国志》、《后汉书》、《典略》