Javascript veletlen szín generálás

Feladatom a Mesterlogika/színözön játék megcsinálása webes környezetben. A logikát Javascriptben írtram meg.
Igazából miden klappol kivéve, hogy a színeket véletlenszerűen kell kiválasztani egy előre megadott listából ismétlődés nélkül.
Tehát megvan adva 6 db szín "
const colors = ["orange", "yellow","blue","green","black","brown"];"
Ezek közül szeretnék kiválasztani 4-et úgy, hogy ne lehessen kettő ugyan olyan.
Én eddig idáig jutottam vele:
"function randomFinal(){
    const finalFinal = [...new Array(4)].map(color => {
        const random = Math.floor(Math.random()* Math.floor(colors.length));
        return colors[random];
    })
    console.log(finalFinal);
    return finalFinal;
}"
Esetleg tud valaki segíteni?
Előre is köszönöm!