Use encoding='utf8' dentro da função open(). Vai ficar assim:

arquivo_json = open('.\json\_teamwork_time_entries.json', 'w', encoding='utf-8')