Если «бы» нельзя отбросить – слитно. Если можно – раздельно.
Пишите слитно, если хотите сказать, что вам «без разницы».
Спасибо!