En 2013, suite à un voyage en France où Michel Bordeleau joue avec La Bande de vielles à Anost, il décide à son retour qu’il veut créer sa propre « bande de vielleux ». Il commence alors à organiser des rencontres informelles pour le plaisir. Au début il y a deux personnes qui participent, puis avec le temps le groupe s’agrandit et commence à prendre forme. Par la suite, Michel fonde donc Le Vièlle Orchestre qu’il dirige, forme et ensuite les amènent sur scène pour leur plus grand plaisir.
Ils se produisent d’abord dans le cadre du Festival Chants de vielles en 2014. Le groupe récidive maintenant chaque année à Chants de Vielle et fait danser les festivaliers pour leur plus grand plaisir. Ils se sont aussi quelques fois produits lors des soirées du Bal Folk Montréal.