客家人，是指原籍中原的汉族，历经五次大规模南迁，在南方各省形成的具有独特风貌的客家民系，是中华汉民族八大民系中最重要的支系之一。遂川县是客家人较为集中的地区，客家人对遂川产生了积极而又深远的影响。
据考证，客家人的先民，有过5次大规模的南迁：
第一次南迁是在公元—年间。东晋怀帝妥朝时，由于西北方少数民族入侵中原，形成对汉民族影响深远的“五胡乱华”之局，中原地区的不少官员和平民，纷纷随着渡过黄河南下。当时，为了避难，一部分中原居民辗转迁入闽粤赣边区。稍后，由于南北对峙，又有近百万中原人民南迁至长江中游两岸。其中一部分人口流入赣南，一部分经宁都、石城进入闽粤地区。为了避免和原户籍者发生混淆，便把这些新来的户籍称为“客”。这是“客”字第一次在中华民族上出现。
第二次南迁是在唐末黄巢起义时期。先是唐代安史之乱，给百姓带来巨大灾难，迫使大量中原汉人南逃。唐末黄巢起义，又有大批中原汉人逃入闽粤赣区。固始人王绪、王潮响应黄巢起义，率光、寿二州农民起义军下江西，致使闽赣边一带人口激增。
第三次南迁是宋南渡及宋末时期。金人入侵，建炎南渡，一部分官吏士民流移太湖流域一带。另一部分士民或南渡大庚岭，入南雄、始兴、韶州；或沿走洪、吉、虔州，而后由虔州入汀州；或滞留赣南各县。南宋末年，元军大举南下，又有大量江浙及江西宋民，从蒲田逃亡广东沿海潮汕至海南岛。这过程中，许多客家人均卷入保卫宋室、抵抗元兵的勤王战争。宋亡后，他们退往了更偏远的广东东、北部。
第四次南迁是在明末清初。其时，生活在赣南、粤东、粤北的客家人因人口繁衍，而居处又山多地少，遂向川、湘、桂、台诸地以及粤中和粤西一带迁徙。这次大规模的迁徙，在客家移民史上被称作“西进运动”。当时四川人口因战乱、瘟疫及自然灾害锐减，康熙皇帝为了争取南方的民心，赐给每个男子8两银子、妇女儿童4两银子，鼓励客家人迁入四川、广西及台湾，这就是“西进运动”中著名的“湖广填四川”。一向以客家人为荣的朱德同志的祖辈就是在这一次迁徙时，从韶关移居四川的。
第五次南迁是19世纪中叶太平天国时期。太平天国的首领洪秀全和大部分太平军都是客家人，太平天国失败后，许多客家人在清政府的压力下，纷纷向偏远的南方，甚至向东南亚等海外地区迁徙。
除以上五次大规模的南迁外，中原汉人也有因旱灾水患逃荒而南迁者，另有历代官宦、贬谪、经商、游学而定居闽粤赣边地区的。但并不是所有南迁的汉人都成为了客家人，只有闽粤赣系和源自这一系的人，才被称为客家人。
据史料记载，隋、唐以后，每逢朝代更易和战乱，遂川（古称龙泉）都有一次较为明显的“北民”迁徙而来，使县内人口大增。清同治《龙泉县志》载：“宋淳熙十六年（）民户户，男丁（16岁以上）人。其中主户（土著人）户，男丁人；客户户，男丁人。”年前，客家户数和男丁人口在全县的比例分别达53%、43%。
遂川县地处湘赣边区，森林茂密，气候温和，土地肥沃，地处偏僻。明末清初，粤、闽两地因过量客家南迁、资源开发“殆尽”，以及日本武士和一些不法商人的侵扰掠夺，导致大批客家从闽粤由南往北“回迁”现象。
《吉安地区志》载：“明末清初，闽粤湘等省有更多的客家人为避战乱和自然灾害，辗转迁徙来吉安山区，垦种谋生，搭棚而居，俗称‘棚户’。遂川是福建、广东客籍人迁入最多的一个县。清顺治时，遂川已有闽广流寓之人；乾隆时，遂川出现‘丁口半出流寓’的景象，该县的人口有一半以上是外籍人。”
年，遂川县钟氏家族编修的《钟氏族谱》载：“我壁公于元朝顺帝时（年前后），由福建长汀徙广东长乐（今五华县）铁炉坝为一世祖。历元、明、清三朝传十三世。明崇祯十二年（）敏公诞生。是时，明朝国运将终，干戈四起，敏公于险阻艰难，无不备尝。迨清大祖定鼎以后，敏公知粤东有人满为患，于是偕温祖妣携家眷，挈儿孙由粤迁赣，卜居龙泉（今遂川）宝洞（西溪），遂为开基之祖。由广东长乐迁遂川迄今已三百余载，传十三世，裔孙数千众，分居遂川黄坑、西溪、大汾、堆前和南昌、萍乡及湖南江华等地。”
年，遂川县古氏家族编修的《古氏族谱》载：“吾祖兄弟三人初居广东长乐邑，大清康熙二十一年壬戌（）迁江西龙泉之鹿洞（大汾），迄今已有三百余年。”该谱还载：“与古氏迁来龙泉的先后还有张、钟、李、彭、曹、何等大小30多个姓氏，人口逾数千，遍及该县西部山区。”