Nato a Shanghai, Stephen Pan si inserisce nella società cinese nel momento di massimo splendore del potere della Guardia Rossa; era in atto la distruzione di tutto ciò che non era puramente cinese.
Pan aveva cinque anni, quando suo nonno, Bo Yin Pan, famoso per la calligrafia e la poesia, gli diede le prime lezioni di disegno e pittura.
All'età di 13 anni, Stephen Pan ha vinto il primo di una serie di premi nazionali per l'eccellenza artistica in Cina per i suoi dipinti ad olio splendidamente resi.
Pan ha iniziato la sua carriera di insegnante a Shanghai all'età di 20 anni e ha scoperto che i suoi giovani studenti erano desiderosi di studiare arte da lui.