봉황산 중턱에 있는 부석사는 신라 문무왕 16년(676)에 의상대사가 왕명을 받들어 화엄의 큰 가르침을 펴던 곳이다. 무량수전 뒤에는 ‘부석(浮石)’이라고 새겨져 있는 바위가 있는데, 『송고승전』에 있는 설화를 보면, 의상대사가 당나라에서 유학을 마치고 귀국할 때 그를 흠모한 여인 선묘가 용으로 변해 이곳까지 따라와서 줄곧 의상대사를 보호하면서 절을 지을 수 있게 도왔다고 한다. 이곳에 숨어 있던 도적떼를 선묘가 바위로 변해 날려 물리친 후 무량수전 뒤에 내려 앉았다고 전한다. 또한 조사당 앞 동쪽 처마 아래에서 자라고 있는 나무는 의상대사가 꽂은 지팡이였다는 전설도 있다.
조사당은 의상대사의 초상을 모시고 있는 곳으로 고려 우왕 3년(1377)에 세웠고, 조선 성종 21년(1490)과 성종 24년(1493)에 다시 고쳤다.
앞면 3칸·옆면 1칸 크기로, 지붕은 옆면에서 볼 때 사람 인(人)자 모양을 한 맞배지붕으로 꾸몄다. 처마 내밀기를 길게하기 위해 올린 공포가 기둥 위에만 있는 주심포 양식이며, 건물 자체가 작은 크기이기 때문에 세부양식이 경내에 있는 영주 부석사 무량수전(국보)보다 간결하다. 앞면 가운데 칸에는 출입문을 두었고 좌우로는 빛을 받아들이기 위한 광창을 설치해 놓았다.
건물 안쪽의 좌우에는 사천왕상·보살상 등 고려 후기에 그려진 벽화가 있었다. 이것들은 고려시대 회화 가운데 매우 희귀한 것으로, 고분벽화를 제외하면 가장 오래된 채색 그림 중 하나였다. 지금은 부석사 성보박물관에 보관하고 있으며, 원래 벽화가 있던 자리에는 본떠 그린 그림을 놓아 당시 벽화의 모습을 잘 전해주고 있다.