ჯუმბერ ყოლბაია 1972 წლიდან ანსამბლ „რუსთავის” ქორმეისტერ-მომღერალია. ამ ანსამბლში ის 15 წელი მუშაობდა. მის მიერ ჩაწერილი სიმღერები: მეგრული „ნანა”, „კუჩხაბედინერი”, „აფხაზური,“ „ურმული“ პირველად სწორედ ანსამბლ „რუსთავში“ აჟღერდა. 1983 წლიდან ჯუმბერ ყოლბაია საქართველოს მეცნიერებათა აკადემიის ვოკალურ ანსამბლ „ფაზისის“ სამხატვრო ხელმძღვანელია. ანსამბლი „ფაზისი“ წლების განმავლობაში დიდი პოპულარობით სარგებლობდა ქვეყნის შიგნით თუ მის ფარგლებს გარეთ. ჯუმბერის ხელმძღვანელობით ანსამბლმა ხალხური სიმღერების ორი ფირფიტა გამოსცა.

1972 წლიდან ჯუმბერ ყოლბაია რუსთავის მუსიკალურ სასწავლებელში საქმიანობს. მის მიერ აღზრდილი მუსიკოსები ნაყოფიერ მუშაობას აგრძელებენ საქართველოს სხვადასხვა კუთხეში. ის ერთხანს აფხაზეთის სიმღერისა და ცეკვის სახელმწიფო ანსამბლის სამხატვრო ხელმძღვანელიც იყო, ბოლო წლებში კი მისი მთავარი დირიჟორი.

2016 წელს ჯუმბერ ყოლბაიას ქართული კულტურის განვითარებაში შეტანილი განსაკუთრებული წვლილისათვის ხელოვნების ქურუმის წოდება მიენიჭა. ქართულმა კულტურამ მისი ამქვეყნიდან წასვლით დიდი დანაკლისი განიცადა, დიდი დანაკლისი განიცადეს აფხაზეთის სიმღერისა და ცეკვის სახელმწიფო ანსამბლმა და მისმა მსმენელებმა.

ნათელში იყოს მისი სული.

აფხაზეთის ავტონომიური რესპუბლიკის 
განათლებისა და კულტურის სამინისტრო.