Yo te aconsejo, luego tu decides. Soy habitual en Potes, para tu recorrido te diría que lo mejor es Madrid-Burgos, Burgos-Osorno, Osorno-Torrelavega, Torrelavega-Unquera (hasta aquí todo autopista, y ahora la antigua nacional, Unquera-Panes (Ancha y de muy buen firme) y Panes-Potes (Por el desfiladero de la Hermida. 22km estrechos pero llaneando. Cualquiera de las otras opciones (por Herrera de Piuserga o por San Glorio) hay que bajar dos puertos duros con zonas de curvas en las que tendrás que mantener el coche con freno motor por debajo de 20km/h, que yo creo que merece la pena dar la vuelta por Torrelavega, si que son más kilómetros, pero posiblemente en tiempo lo ganes. Para que te hagas una idea, de Herrera de Pisuerga a Cervera (carretera estrecha) 1 hora, Cervera a Potes (Carretera en obras y con mal firme hasta el límite con Cantabria) unas 2 horas y media.