垂拱四年(688年)，张光迅奏狄仁杰出言不逊被贬为复州(今湖北沔阳西南)刺史，入为洛州司马。天授二年(691年)九月，狄仁杰被任命为地官(户部)侍郎、同凤阁(中书省)鸾台(门下省)平章事(宰相)，开始了他短暂的第一次宰相生涯。

　　万岁通天元年(696年)十月，契丹攻陷冀州(今河北临漳)。为了稳定局势，武则天起用狄仁杰为与冀州相邻的魏州(今河北大名一带)刺史。神功元年(697年)十月，狄仁杰被武则天召回朝中，官拜鸾台(门下省)侍郎、同凤阁鸾台平章事，加银青光禄大夫，兼纳言，恢复了宰相职务，成为辅佐女皇治理国家大正的左右手。

　　圣历元年(698年)秋，突厥南下骚扰河北。皇帝命太子为河北道元帅、狄仁杰为副元帅征讨突厥，迅速恢复了河北的安定。久视元年(700年)，狄仁杰病故，朝野凄恸，女皇哭泣着说“朝堂空也”。赠文昌右丞，谥文惠。唐中宗继位，追赠司空。唐睿宗又封之为梁国公