Солман родился в Витебске. Его семья эмигрировала в США, когда ему было 12 лет. Он закончил нью-йоркскую Национальную академию дизайна. Первая персональная выставка Солмана прошла в 1934 году.
Вскоре после этого вокруг него и его друга Марка Ротко сформировалась группа художников-экспрессионистов, которая называлась "Десять", хотя их было девять.
Джозеф Солман считается одним из самых влиятельных американских художников ХХ века, с которого началось увлечение абстрактным экспрессионизмом. Среди его самых знаменитых работ - серия зарисовок, которые Солман делал в нью-йоркском метро по пути на работу. "Люди прекрасно позируют, когда спят", - говорил художник об этой серии.