Dubuffet sai lisaks kunstnikuks olemisele tuntuks ka kui ''Art Brut’Brut''<nowiki>'</nowiki>i koguja. Ta pidas hullulmeelsete, laste ja ka vangide kunsti oluliseks allikaks, mõistmaks inimest üldisemalt, kuna selles puudub kunstiakadeemiate kehtestatud normide rakendamine ja vajadus poseerida<ref>{{Raamatuviide|autor=N. Lynton|pealkiri=Moodsa kunsti lugu|aasta=2001|koht=|kirjastus=Avita|lehekülg=}}</ref>. ''Art Brut’Brut''<nowiki>'</nowiki>i ehk toore, brutaalse kunsti kogumise algpõhjus oli ilmselt Dubuffet' korduvad reisid Alžeeriasse[[Alžeeria]]sse 1940. 40ndatelaastatel. 1948. aastal moodustasid tema ja mõned teised ''Art Brut’iBrut''<nowiki>'</nowiki>i austajad ühingu ''La Compagnie de l'art brut in Paris,'' mis kogus süstemaatiliselt toorest kunsti, korraldas näituseid ja kirjutas brutaalse kunsti võludest.
