Contador de caracteres restantes

Quería saber si me pueden ayudar a mejorar este código el cual es un contador en reversa tipo twitter para señalar cuantos caracteres te falta antes de que no puedas escribir mas, funciona en parte porque hay momentos que hace cosas raras como cuando escribes 2 caracteres y luegos los borras en lugar de quedar en la misma posición te llega a quedar 1 caracter menos.

Esta es la parte del text area que cuento los caracteres que se van digitando y un pequeño span abajo es el que muestra la cantidad de caracteres disponibles.

<div class="form-row">
    <div class="col mb-3">
        <div class="form-group">
            <label class="section-title mb-0" for="txaMessage">Su mensaje</label>
            <textarea class="form-control" type="text" name="txaMessage" id="txaMessage" rows="5" required></textarea>
            <div class="text-right"><span class="valid-text pt-3" id="txaCount">30</span></div>
        </div>
    </div>
</div>

Aquí el código que va restando el límite de caracteres con la cantidad de caracteres que se van ingresando, así para poner la cantidad en pantalla y cambiar clases para los estilos.

$(document).ready(function() {
    var limit = 30;
    $("#txaMessage").keydown(function(event) {
        var value = limit - $(this).val().length;

        if (value <= 0) {
            $('#txaMessage').removeClass('is-valid');
            $('#txaMessage').addClass('is-invalid');
            $('#txaCount').html(value);
            $('#txaCount').removeClass('valid-text');
            $('#txaCount').addClass('invalid-text');
        } else if (value > 0) {
            $('#txaMessage').removeClass('is-invalid');
            $('#txaMessage').addClass('is-valid');
            $('#txaCount').html(value);
            $('#txaCount').removeClass('invalid-text');
            $('#txaCount').addClass('valid-text');
        }
    });
});