장림 시장이 있는 현재의 시장 자리에 1960년대부터 인근에서 생산되던 채소나 과일, 생선 등을 판매하는 좌판이 자연 발생적으로 생겨나기 시작했고, 1976년에 건물을 지어 장림 시장을 개설하였다. 1990년 부산광역시 사하구 신평동과 장림동에 신평·장림 일반 산업 단지가 조성되면서, 많은 사람들이 이사를 오면서 시장은 더욱 활성화되었다. 1990년대 후반 시장이 침체되기 시작했지만, 2007년 공동 창고 설치와 지붕 교체 사업을 진행하는 등 2000년대 들어 내부 시설 개선 사업을 완료해 지금은 보다 쾌적하게 장을 볼 수 있게 됐다.