刘备投奔袁绍后，先被派出袭扰许昌附近汝、颍之间的地区，后又被派率部到达汝南。201年(东汉建安六年)秋，曹操率军击败袁绍主力，官渡之战结束，便进军汝南，继续对刘备所部发动进攻。刘备因实力不济，率部南下，依附荆州刺史刘表。刘表亲自出城，“郊迎”刘备，“以上宾礼待之，益其兵，使屯新野’’(《三国志·先主传》)。关羽从刘备在新野(今河南省新野县)招募兵马，扩充实力，伺机反攻。

202年(建安七年)秋冬之际，奉刘表派遣，关羽随刘备大军北上，至曹操属地南阳郡叶县作战。曹操遣大将夏侯惇、于禁率重兵抵御，刘备与关羽等避其锋芒，未与之正面交战，佯装撤退，麻痹曹军。然后，设置埋伏，给曹军以重创。

207年(建安十二年)冬，关羽、张飞随刘备三顾茅庐，请诸葛亮谋划创业大计。诸葛亮提出了以荆、益二州为依托，建立蜀国，内修政事，外结东吴，南抚夷越，待机北伐，最后实现统一的战略方针。

208年(建安十三年)七月，曹操率军征伐刘表。八月，刘表病故。九月，曹操军至新野，刘表之子刘琮遣使请降。此时，刘备屯樊城，闻讯后决定南走江陵，派关羽统帅舟船百余艘、水军万余人自汉江沿水路南下，自己率张飞、赵云及诸葛亮自陆路南行。许多民众随刘备南撤，沿途还不断有人加入，“比到当阳，众十余万，辎重数千辆”(《三国志·先主传》)，包袱很重，行动迟缓。曹操派精骑五千，在当阳之长坂追上刘备，刘备惨败，与诸葛亮、张飞、赵云等数十骑逃走。原定与关羽会师的地点江陵已被曹军先期占据，刘备等“斜趋汉津”，与关羽所率水军相遇，方得会合，渡过沔水，得到刘表长子、江夏太守刘琦的接应，又汇集了刘琦所率部队万余人，一同到达夏口(今湖北省武汉市)。

是年冬，发生了著名的赤壁之战，孙、刘联手抗曹，曹军兵败北还，三足鼎立格局的基础从此奠定。北撤之前，曹操分别部署乐进守襄阳，曹仁、徐晃守江陵。刘备与周瑜围攻据守江陵的曹仁所部长达一年多时间，关羽奉命率军从北面迂回，阻击襄阳乐进部南下增援。曹仁孤军难守，放弃江陵，退守襄樊。孙权遂以周瑜为南郡太守，屯江陵；程普为江夏太守，屯沙羡(今湖北省汉口西)；吕范为彭泽太守、吕蒙为寻阳令，完全控制了西起夷陵(今湖北省宜昌东南)东至寻阳(今江西省九江市)的长江防线。周瑜为安置刘备部，在长江南岸给了刘备一块地盘，刘立营于油江口(今湖北省公安县境)。“备以瑜所给地少，不足以安民，复从权借荆州数郡”(《先主传》注引《江表传》)，这就是所谓“刘备借荆州”，实际只是借得这数郡靠近长江的部分地区。刘备只得依靠自己的力量，乘周瑜与曹仁相持江北之际，主动向南拓地，南征江南荆州辖地武陵、长沙、桂阳、零陵四郡。

刘备取得四郡后，因刘表之子刘琦病故，他在民众的推举下，自为荆州牧，刘琦的数万军队也由他直接控制，又拥有了江北部分地区。他任命诸葛亮为军师中郎将，督零陵、桂阳、长沙三郡；任张飞为征虏将军、宜都太守；以赵云为偏将军、领桂阳太守；任命关羽为荡寇将军、领襄阳太守，屯驻江北之江陵城。

关羽受命驻守江北，是刘备整体战略的重要一步，一方面可以抵御屯驻襄阳、樊城的曹仁所率曹军的进扰，另一方面还可以待机北向发展。210～211年(建安十五年至十六年)，关羽曾率军北进，先后与曹操部将乐进、文聘等战于寻口(今湖北钟祥市西南)、荆城(今湖北省钟祥市汉水东西岸)，又与徐晃、满宠等战于汉津(江陵以北汉水下游)。通过一系列的征战，在长江中游地区为刘备创立蜀汉建立了赖以依托的战略后方。