当时，武则天的侄儿武三思看张遂才学出众，就有意拉拢他，企图博取“礼贤下士”的美名。张遂不愿接受他的聘请，又怕受到迫害，就遁入沙门，逃到河南嵩岳寺做了和尚，取法名为“一行”。此后，张遂四处周游，请教高师，使他的天文学和数学都有了更深的造诣，随之，一行的名字在社会上也显赫起来。

　　玄宗开元九年（公元712年），太史频奏日蚀不效、历法不准。宰相张说介绍说：“僧一行精诸家历法，应令造新历。”于是唐玄宗就召见了一行，并让他主持修定新历。从此，一行就开始了专门从事天文历法工作。

　　为了测准黄道的进退，即日月在轨道上的位置和运动情况，他协同兵曹（管机械师的官）梁令瓒和一些能工巧匠，精心设计、反复试制，成功完成了两架大型天文仪器----黄道游仪和水运天仪。一行用这些仪器来测定日月星辰的规道，运行周期及二十八宿的相距星度，正辰刻，定四季，修订了新历，起名《大衍历》。这个历法比当时流传的大明历（祖冲之撰）、皇极历（刘焯撰）、麟德历（李淳风撰），都要准确得多，对日本、印度的历法有过重大影响，是当时世界上先进的历法。