El equipo de Philippe Clement pagó el precio de una pésima actuación en la eliminatoria de quinta ronda disputada en Ibrox, en la que un gol de Seb Drozd en la segunda parte adelantó al Queen's Park antes de que Calum Ferrie detuviera el lanzamiento de Tavernier.
Una de las mayores sorpresas de la historia de la Copa de Escocia podría ser la gota que colma el vaso para la directiva del Rangers, que se plantea el futuro de Clement.
Trece puntos por detrás del Celtic en la Premiership escocesa, derrotado por sus rivales del Old Firm en la final de la Copa de la Liga escocesa y ahora fuera de la Copa de Escocia, las esperanzas de Clement de evitar el despido parecen más sombrías que nunca tras el momento más bajo de una temporada sombría.
El Rangers está clasificado para los octavos de final de la Europa League, pero aún está por ver si su entrenador seguirá al frente del equipo cuando regrese a la competición europea.
A la pregunta de si se plantearía dimitir tras la desastrosa derrota, Clement respondió: "No, en absoluto".
"No me lo planteo porque se puede poner a otro entrenador y ¿sería diferente en ese sentido?".
"Por supuesto que es inaceptable este resultado. Pero estar entre los ocho primeros de Europa y ser más regulares en la liga y todas estas cosas, no cambian en 90 minutos".
"Si tomas decisiones de esa manera, entonces sólo las tomas por emociones y no por lo que ha pasado. Así que no espero esto ahora".
Para mayor ignominia del Rangers, es la primera vez que el Queen's Park alcanza los cuartos de final de la Copa de Escocia desde 1928.
"En la primera parte, el ritmo no fue lo suficientemente alto. Por eso, no creamos lo suficiente. No estaba contento en el descanso", dijo Clement.
"En la segunda parte, hubo más ocasiones, pero demasiado precipitadas. Una ocasión en contra y ellos consiguen el gol".
"Hoy hemos tirado más a puerta que en toda la temporada, pero no hemos conseguido marcar, ni siquiera con un penalti".
"Nadie se lo esperaba"
Ferrie se erigió en el héroe de los modestos al detener los lanzamientos de Mohamed Diomande, Vaclav Cerny y Nedim Bajrami en la primera parte.
El equipo de Callum Davidson, que milita en la Championship, mantuvo a raya al Rangers con una exhibición de garra antes de dar el zarpazo en el minuto 69.
Drozd llevaba menos de tres minutos sobre el terreno de juego cuando el excanterano del Millwall aprovechó un saque de esquina botado por Louis Longridge, eludió a Jefte y batió al guardameta del Rangers, Liam Kelly, con un disparo desde dentro del área.
A falta de pocos segundos para el final del tiempo añadido, el Rangers pensó que se había ganado la vida cuando William Tizzard concedió un penalti por una entrada sobre Cyriel Dessers.
Pero el lanzamiento de Tavernier fue magníficamente atajado por Ferrie, que se recompuso rápidamente para desviar el cabezazo de Robin Propper en el saque de esquina resultante.
El pitido final sonó instantes después, mientras el Rangers se desplomaba sobre el césped y los jugadores del Queen's Park bailaban de alegría a su alrededor.
"Los chicos han estado fantásticos hoy. El gol nos ha dado algo a lo que agarrarnos", declaró Davidson.
"Nadie se lo esperaba. Teníamos cuatro defensas en forma. Me desperté a la 1:30 de la madrugada con la esperanza de que nadie estuviera enfermo. No teníamos un plan alternativo.
"Todo el mérito es del grupo. No viene de los individuos, viene del grupo".