Obrázkové skládačky velmi vzdáleně podobné těm dnešním existovaly už ve starověké Číně a Řecku. Mnohoúhelníkové dílky (tangram, stomachion) se daly složit do čtverce, někdy v různých variantách. Z některých z nich bylo dokonce možné sestavit tvar zvířat nebo budov.

V roce 1766 dostal anglický mědirytec a obchodník s mapami John Spilsbury skvělý nápad, který měl v duchu hesla ‚škola hrou‘ učit děti zábavnou formou zeměpis. Spilsbury nalepil na dřevěné desky mapu Anglie a rozřezal ji podél hranic jednotlivých hrabství. Drobotina pak měla dílky složit zpátky do mapy. Později k tomu přibyly skládačky map čtyř kontinentů. Předchůdce puzzle byl na světě a Spilsbury na něm vydělal peníze.

Puzzle kdysi bývalo drahou zábavou, kterou si mohly dovolit jen velmi bohaté rodiny. Nová hra se nicméně brzy rozšířila i do kontinentální Evropy a Spojených států, a protože si ji oblíbili i dospělí, přinesli výrobci na trh také obrázky krajin, budov a známých osobností. Jednotlivé dílky se ale k sobě jen volně přikládaly a nedržely u sebe. Navíc na obalu obvykle nebyl obrázek, jak by mělo složené puzzle nakonec vypadat. Tak zvané "interlocking puzzle", v němž do sebe jednotlivé dílky zapadaly tím jediným správným způsobem, bylo vynalezeno až v polovině 19. století.

Na počátku 20. století se výroba skládaček zlevnila a zrychlila díky tomu, že dřevo nahradila levná překližka, která se dala navíc snadno vyřezávat díky novému typu lupenkové pily (jigsaw). Ta navíc umožnila přesný a jemný řez. Odtud také pochází anglický název hry "jigsaw puzzle", protože samotné slovo puzzle označuje v angličtině jakýkoli hlavolam, skládačku, záhadu nebo křížovku. Původem podivné české výslovnosti „pucle“ je evidentně němčina.

Od roku 1930 nahradil překližku karton a skládačky se začaly vyrábět ve velkém. Hlavolamy se staly cenově dostupnými a „puclíky“ zaplavily svět. Jejich obliba trvá dodnes. Existují v mnoha různých velikostech, klasickou variantu doplňují další, například 3D puzzle, kdy se skládají prostorové objekty.