汉元帝(公元前48到公元前33年在位)时期,为减少流民,汉元帝废止了徙陵政策,但破坏了汉初打击豪强以巩固中央集权的传统,导致
西汉统治基础被动摇。汉元帝疏于政务,导致宦官
石显专权,吏治腐败,国家政治、经济日趋衰落,西汉由盛转衰,正是发生在汉元帝统治期间,
昭宣中兴结束。
刘回任职巨鹿都尉正是在这一时期。汉元帝
初元四年(公元前45年),刘回的族兄、第三代陵侯、时任
苍梧县(今
梧州市)
太守刘仁上书汉元帝,因南方地势低洼,潮湿太过,情愿缩小封地,请求舂陵侯这一系迁回中原。
刘奭很同情他,准许他迁往舂陵侯原封地
南阳郡。于是,刘仁、刘回率家族成员,从
零陵郡延唐县舂陵乡(今
宁远县北部、
新田县全部及阳明山一带)迁往南阳郡
蔡阳白水乡(今湖北
枣阳市吴店镇),仍以舂陵为爵号,改白水乡为舂陵乡。
刘回是
刘启第六子
刘发刘发的曾孙,他这一系非嫡系而是旁系
刘买的孙子,
嫡长子袭爵。刘买被封为舂陵侯,刘买嫡子
刘熊渠袭第二代舂陵侯。刘回之父
刘外只能任一个郁林郡太守。刘外生子刘回,任
巨鹿县都尉。刘回的长子刘钦,任南顿县令,刘钦去世的比较早,死时刘秀仅有九岁,和兄长一起被
叔父刘良抚养长大。刘回次子刘良,任
萧县县令。刘秀称帝后,尊祖父刘回为皇祖考,尊父亲
刘钦为皇考,叔父
刘良先后被封为广阳王、赵王、赵公,对早逝的长兄
刘縯、二兄
刘仲皆有追谥。