Caillebotte nasce a Parigi nel 1848 dalla terza moglie di Martial Caillebotte, imprenditore di successo in campo tessile. Dalle due mogli precedenti, morte per malattia, erano nati tre bambini solo uno dei quali, Alfred, vive ancora alla nascita di Gustave.
Nel 1851 nasce il fratello René, che morirà all'età di 25 anni, e nel 1853 Martial (battezzato con lo stesso nome del padre), che sarà legato a Gustave da uno stretto rapporto affettivo.
Inizialmente Gustave segue studi giuridici, diplomandosi nel 1870.
Nel 1872, insieme al padre, compie un viaggio in Italia.
Particolarmente colpito dai colori del meridione, dipinge a Napoli - dove conosce il pittore Giuseppe De Nittis - almeno due dei suoi primi quadri.
L'amore per la pittura lo porta ad iscriversi all'École des Beaux-Arts, dopo aver brillantemente superato il concorso di ammissione nel 1873.
Nel 1874 la casa parigina della famiglia Caillebotte viene sopraelevata in modo da poter offrire a Gustave un ampio atelier.
Il 24 dicembre di quell'anno il padre di Gustave, muore, lasciando un notevole patrimonio che garantirà all'intera famiglia una vita decisamente agiata.
In questo periodo Gustave conosce Edgar Degas e Claude Monet, che lo presentano agli altri impressionisti.
Nel 1876, su invito di Pierre-Auguste Renoir, partecipa alla seconda mostra degli impressionisti.
In quella circostanza Caillebotte espone otto opere, fra cui due versioni dei Raboteurs de parquets. Nei mesi successivi il suo rapporto con Monet si consolida ed egli aiuta a più riprese l'amico, sia acquistando suoi quadri, sia con doni in denaro.
Caillebotte è ricordato non solo come artista, ma anche come mecenate: la sua ricchezza personale gli permette infatti di acquistare opere di impressionisti e di finanziarne la terza esposizione, nel 1877.
Nel 1878 muore la madre, Céleste Daufresne, all'età di 59 anni. Gustave e Martial mettono in vendita la grande casa della Rue de Miromesnil in cui aveva vissuto la famiglia intera e poi la tenuta di Yerres, nel dipartimento Seine-et-Oise. Si verifica un cambiamento radicale nella vita dei due uomini, alla base del quale c'è la pratica assidua della navigazione a vela.
Con il denaro ereditato e quello ricavato dalla vendita degli immobili, Gustave e Martial acquistano un appartamento in Boulevard Haussmann e un terreno situato sulla riva della Senna, al Petit Gennevilliers, che con successive acquisizioni raggiungerà l'estensione di circa un ettaro.
Su questo terreno trovano luogo una casa, un grande atelier, un giardino, un orto e una serra: si tratta di un piccolo eden, nel quale Gustave trascorrerà il resto della sua vita.
Come finanziatore e organizzatore partecipa alle esposizioni del 1879, 1880, 1882 ed alla trasferta a New York nel 1885.
Dopo il 1882 tenta inutilmente di tenere unito il gruppo impressionista, allora diviso da profonde lacerazioni e gelosie, ma, visti vani i suoi sforzi e deluso dal comportamento di alcuni, decise di abbandonare momentaneamente la pittura per dedicarsi alla navigazione da diporto e al giardinaggio.
Nel 1888 partecipa al Salon des XX di Bruxelles, recependo in parte le nuove tendenze neoimpressioniste.
Caillebotte muore il 21 febbraio 1894 a Gennevilliers, secondo l'autopsia a causa di una "congestione polmonare", lasciando incompiuto un quadro intitolato "Il giardino del Petit Gennevilliers".
Il 26 febbraio, dopo la cerimonia funebre che ha luogo nella chiesa di Notre Dame de Lorette con la partecipazione di una grande folla di amici ed estimatori, viene sepolto
nella tomba di famiglia nel cimitero parigino del Père Lachaise.
Camille Pissarro scrive: "... ecco una persona che possiamo rimpiangere, è stato buono e generoso e, ciò che non guasta, un pittore di talento".
E Claude Monet, dal canto suo: "... aveva tanti doni naturali quanto buoni sentimenti e, quando l'abbiamo perso, era appena all'inizio della sua carriera".
Nel testamento donò la sua intera collezione, sessantacinque dipinti suoi e dei più grandi impressionisti, alla stato francese, a condizione che fossero esposti prima al Palazzo del Luxembourg di Parigi, il museo d'arte moderna di allora, e poi al Louvre.
Il fratello Martial e Pierre-Auguste Renoir, esecutori testamentari, riuscirono in parte a superare l'opposizione dei pittori ufficiali dell'Accademia, che ottusamente pretesero di sceglierne alcuni e di scartarne altri: alla fine ne vennero accettati solo trentotto.