Caillebotte nasce a Parigi nel 1848 dalla terza moglie di Martial Caillebotte, imprenditore di successo in campo tessile. Dalle due mogli precedenti, morte per malattia, erano nati tre bambini solo uno dei quali, Alfred, vive ancora alla nascita di Gustave.
Nel 1851 nasce il fratello René, che morirà all'età di 25 anni, e nel 1853 Martial (battezzato con lo stesso nome del padre), che sarà legato a Gustave da uno stretto rapporto affettivo.
Inizialmente Gustave segue studi giuridici, diplomandosi nel 1870.
Nel 1872, insieme al padre, compie un viaggio in Italia.
Particolarmente colpito dai colori del meridione, dipinge a Napoli - dove conosce il pittore Giuseppe De Nittis - almeno due dei suoi primi quadri.
L'amore per la pittura lo porta ad iscriversi all'École des Beaux-Arts, dopo aver brillantemente superato il concorso di ammissione nel 1873.