1648년(인조 26)에 지방유림의 공의로, 선조 초기에 통진현감(通津縣監)으로 있으면서 유생을 훈도한 조헌(趙憲)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다. 1669년경 김포유생이 청액소(請額疏)를 올려 사액을 청하였지만 한창 첩설(疊設)에 따른 폐단이 논의되던 때라 실현을 보지 못하였으며, 1675년(숙종 1) 남인정권하에서 충절장려책의 일환으로 현판을 하게 되어 ‘우저(牛渚)’라고 사액되었다. 선현배향과 지방교육의 일익을 담당하여왔으며, 1868년(고종 5)경 흥선대원군의 서원 철폐시 훼철되지 않고 존속한 47개 서원중의 하나이다. 1973년에 보수하고 단장을 신축하였다. 경내의 건물로는 정면 3칸, 측면 2칸의 맞배지붕으로 된 사우(祠宇), 정면 4칸, 측면 2칸의 팔작지붕으로 된 강당과 비각(碑閣)·내삼문(內三門)·외삼문(外三門) 등이 있다. 사우에는 조헌의 위패가 봉안되어 있으며 매년 봄과 가을에 향사를 지내고 있다.