Obtengo "Uncaught SyntaxError: Unexpected string" al mostrar el resultado

La respuesta que ya han proporcionado es correcta y valida. Pero me gustaría responderte para decirte dónde está el error en tu código:

 document.getElementById("hex").innerHTML = "El numero decimal" +{num}" equivale en hexadecimal y binario a:" <br>"0x"+{hexa} <br>"0b"+{bin};

Por lo que veo, Pones el + delante de la variable pero en realidad se usa como si concatenases. Dejando afuera las variables, quedando algo así:

 document.getElementById("hex").innerHTML = "El numero decimal" + num + " equivale en hexadecimal y binario a: <br>0x"+hexa+" <br>0b"+bin;

Nota, las etiquetas html no forman parte del lenguje java y las tienes que tener dentro de la cadena, no es una variable.

Espero haberte ayudado

Solo falta acomodar la sintaxis de las Plantillas literales

    function conversion(num){ 
    let hexa=num.toString(16);
    let bin=num.toString(2);
    document.getElementById("hex").innerHTML = `El numero decimal ${num}  equivale en hexadecimal y binario a" <br>0x${hexa} <br> 0b${bin}`;
    }
    
    conversion(100)

<div id='hex'></div>