西安碑林的源头可追溯至唐代立于帝都长安城务本坊国子监内的《石台孝经》、《开成石经》。唐天祐元年（904年），长安驻守韩建缩建长安城，将原存务本坊国子监内的一部分石经迁至唐尚书省附近的文宣王庙（今西安社会路一带）。后梁开平三年至乾化四年（909年—914年），长安驻守刘鄩接受幕吏尹玉羽建议将其余石经迁至唐尚书省之西隅（今西安社会路一带）。北宋景祐二年（1035年），范雍在唐尚书省西隅附近建立京兆府学；元丰三年（1080年），吕大防将文庙和府学的一部分迁至西安碑林现址；元祐二年（1087），陕西转运副使吕大忠因看到保存在唐尚书省之西隅的石经“地杂民居，其处洼下”，遂将石经及其他唐宋碑刻徙至“府学之北墉”；崇宁二年（1103），虞策知永兴军时将府学彻底迁至“府城之东南隅”即西安碑林现址，并进行了修建和改造。至此，府学、文庙与碑林同在一地，即今西安碑林所在地。金正隆五年（1160年），河中府同知府尹耶律隆和陕西东路转运副使周维甫对碑林进行了修葺。