Il a été fondé par Florence Phillips, femme d'un magnat des mines, qui a réussi à convaincre son mari et plusieurs hommes d'affaires sud-africains de financer ce projet d'un musée à Johannesbourg. En 1909, le marchand d'art Hugh Lane l'a elle-même persuadée de dédier ce lieu à l'art contemporain et non, comme imaginé un moment, à l'art industriel. La collection est constituée en 1911 et installée en 1915. La collection permanente s'est ensuite étoffée grâce à des donations, issues de l'art occidental essentiellement. Mais en 1983, des œuvres d'art des peuples d'Afrique australe sont introduites dans les collections1. Depuis 1994, la politique d'acquisition de cette institution privilégie les œuvres d'artistes sud-africains, qu'elles soient de nature patrimoniale ou qu'il s'agisse d’œuvres contemporaines. Selon le réseau des arts visuels d'Afrique du Sud, la JAG est la galerie d'art la plus fréquentée en Afrique.