大江氏的历史可以追溯至平城天皇时期，据说他们是平城天皇之子阿保亲王的后裔。在贞观年间，他们开始使用大江作为姓氏。关于大江氏的起源还有一种说法，认为它源自土师氏。大江氏的第一代成员是大江音人，之后出现了多位著名人物，如玉渊、千古、朝纲、匡衡、匡房、广元等。其中，匡房的曾孙匡范及其家族长期服务于朝廷，后来改姓北大路。匡范的弟弟光元曾在镰仓幕府担任政所别当，他的后代则分别改姓毛利、那波、长井。
大江氏以其深厚的学术背景而闻名，与菅原氏并称为学术世家。他们在文化领域有着显著的影响，对
日本的文化发展做出了重要贡献。