中国的信贷资源向沿海发达地区倾斜严重，而急需资金的欠发达地区（如河南省），得不到及时的资金支持。在2005年4月一次行业会上，河南省相关人士提出组建中原银行。[2]

2005年6月，河南省出台《关于构建区域性金融中心的意见》明确提出建立中原发展银行，由郑州、洛阳、焦作、开封等地的商业银行重组，但未能实施。2007年11月5日，河南省政府发布的《郑州区域性金融中心建设规划纲要》中关于中原银行的规划因随后国际金融危机爆发而被搁置。[4]

在2013年中国全国两会上，来自河南省企业界和金融界的代表再次呼吁设立服务中原经济区建设的中原银行。2013年4月11日，河南省政府《关于印发2013年河南省金融工作专项方案的通知》中提到要积极组建地方法人金融机构，研究组建省级银行模式。[2]

2017年7月19日中原银行成功在香港交易所挂牌交易，每股招股价2.45港元，发行33亿股H股(包括社保基金出售3亿股旧股)，并已引入三个基石投资者合共认购约16.22亿股，集资71.15亿港元。2019年2月19日中原银行与河南万松建设工程有限公司成功以47.35亿元人民币于上海联合产权交易所举办的公开挂牌程序中投得安邦保险旗下邦银金融租赁有限公司100%。

2021年10月27日，中原银行发布公告，其董事会通过拟由本行吸收合并洛阳银行股份有限公司、平顶山银行股份有限公司及焦作中旅银行股份有限公司。[5][6]