Fezen blir ofte forbundet med Midtøsten og Nord-Afrika, men det kjegleformede hodeplaggets opphav er sterkt omdiskutert.
Ifølge noen kilder ble fez-lignende hatter brukt allerede i oldtidens Hellas, mens andre peker på Balkanhalvøya som fezens arnested.
Hvorom allting er vant fezen først for alvor popularitet under det osmanske riket, som strakte seg fra Egypt i sør til Østerrike i nord.
Blant osmanene ble fezen forbundet med modernitet og var en populær hodebekledning blant menn i alle hjørner av det enorme riket – ofte som et alternativ til turbanen, som ble oppfattet som gammeldags.
Paradoksalt nok ble fezen selv med tiden et symbol på konservatisme og tilbakeliggenhet – blant annet i Tyrkia, der fezen ble forbudt og erstattet av vestlige hatter etter det osmanske rikets sammenbrudd i 1922.
Fezen er oppkalt etter byen Fez i Marokko, der det røde fargestoffet til hattene opprinnelig ble produsert.