Buffet nació en París, Francia, estudió arte en la École Nationale Supérieure des Beaux-Arts (Escuela Nacional de Bellas Artes) y trabajó en el estudio del pintor Eugène Narbonne. Entre sus compañeros estaban Maurice Boitel y Louis Vuillermoz.
Contratado en exclusiva por Emmanuel David, luego extendido a Maurice Garnier, que le garantizaban exposiciones periódicas, Buffet produjo piezas religiosas, paisajes, retratos y algunas naturalezas muertas.

Buffet se casó con la escritora y cantante Annabel Schwob. Un discípulo de Buffet, Jean Claude Gaugy, fue el padre del Expresionismo lineal.
Se suicidó en su casa en Tourtour, al sur de Francia, el 4 de octubre de 1999. Buffet estaba sufriendo de Parkinson y no podía trabajar. La policía dijo que Buffet murió alrededor de las 16 después de poner su cabeza en una bolsa de plástico atada a su cuello con una cinta.