兴隆寺相传为东汉开国皇帝刘秀所建，如果算到今天，已有一千九百八十多年的历史了。是深州历史最久，规模最大的寺院。兴隆寺建成后，香火鼎盛，远近闻名，经过历代维修和扩建，规模越来越大，从山门算起，沿中轴线从南至北共有五座建筑，其中第四座最大，这就是大雄宝殿了，面宽约20米，进深约7—8米，瓦为绿色琉璃瓦，柱础直径约75厘米，大雄宝殿的废墟堆积有三层楼高，由此可见兴隆寺一定雄伟壮丽。根据这些情况分析，大雄宝殿可能超过20米，即六七层楼高。
兴隆寺门前有一条东西走向的运粮官道（德州到正定），来往的车辆较多，凡是过往车辆在此必须停下，把车轴上的油刮下少许，抹到石狮的嘴里，不然就会翻车，这个习俗一直延续到抗战前夕。
兴隆寺是在1853年被太平天国的军队烧毁的。太平天国的军队在深州驻扎半个月之久，他们确实骚扰过清辉头和大寺庄村。他们来到兴隆寺前，首先推倒门前的两通石碑，然后冲进院内，斩杀和尚，烧毁大殿，化掉铜佛像，砸铜佛像的声音传得很远，村里都能听得清楚，火光映红了天空，村民们情急无奈，不敢近前。就这样兴隆寺被毁。
如今2010年清辉头村开始重建兴隆寺，现主佛像已将建成，匀称的汉白玉观音像已经树起，佛像高约3米，底座也高约3米，通高约6米。