Su incorporación al ejército, sin estudios previos, como era corriente entonces, tuvo lugar después de la creación de la República y a las órdenes del entonces Comandante José Ballivián, siendo poco después ascendido al grado de Teniente.

En la campaña de la Confederación Perú-Boliviana se distinguió como oficial valiente, tuvo lugar después de la creación de la República y las órdenes del entonces Comandante José Ballivián, siendo poco después ascendido al grado de Teniente.

Cuando el General Ballivián desempeñaba la presidencia de la República, tuvo graves disidencias de orden personal con él, que le impulsaron a sublevar al Batallón Quinto, en el que se hallaba arrestado. Con su apoyo tomó el Batallón sexto para apoderarse del Palacio de Gobierno. La acción militar estaba bien coordinada, tanto, que el Jefe de Estado huyó de palacio para salvar su vida; pero, su hermano, el coronel Mariano Ballivián, se enfrentó a Belzu y recuperó el mando de las tropas con un simple “Viva Ballivián”.