tasklib/task.py

   1 from __future__ import print_function
   2 import copy
   3 import datetime
   4 import json
   5 import logging
   6 import os
   7 import pytz
   8 import six
   9 import sys
  10 import subprocess
  11 import tzlocal
  12
  13 DATE_FORMAT = '%Y%m%dT%H%M%SZ'
  14 DATE_FORMAT_CALC = '%Y-%m-%dT%H:%M:%S'
  15 REPR_OUTPUT_SIZE = 10
  16 PENDING = 'pending'
  17 COMPLETED = 'completed'
  18
  19 VERSION_2_1_0 = six.u('2.1.0')
  20 VERSION_2_2_0 = six.u('2.2.0')
  21 VERSION_2_3_0 = six.u('2.3.0')
  22 VERSION_2_4_0 = six.u('2.4.0')
  23 VERSION_2_4_1 = six.u('2.4.1')
  24 VERSION_2_4_2 = six.u('2.4.2')
  25 VERSION_2_4_3 = six.u('2.4.3')
  26
  27 logger = logging.getLogger(__name__)
  28 local_zone = tzlocal.get_localzone()
  29
  30
  31 class TaskWarriorException(Exception):
  32     pass
  33
  34
  35 class ReadOnlyDictView(object):
  36     """
  37     Provides simplified read-only view upon dict object.
  38     """
  39
  40     def __init__(self, viewed_dict):
  41         self.viewed_dict = viewed_dict
  42
  43     def __getitem__(self, key):
  44         return copy.deepcopy(self.viewed_dict.__getitem__(key))
  45
  46     def __contains__(self, k):
  47         return self.viewed_dict.__contains__(k)
  48
  49     def __iter__(self):
  50         for value in self.viewed_dict:
  51             yield copy.deepcopy(value)
  52
  53     def __len__(self):
  54         return len(self.viewed_dict)
  55
  56     def get(self, key, default=None):
  57         return copy.deepcopy(self.viewed_dict.get(key, default))
  58
  59     def items(self):
  60         return [copy.deepcopy(v) for v in self.viewed_dict.items()]
  61
  62     def values(self):
  63         return [copy.deepcopy(v) for v in self.viewed_dict.values()]
  64
  65
  66 class SerializingObject(object):
  67     """
  68     Common ancestor for TaskResource & TaskFilter, since they both
  69     need to serialize arguments.
  70
  71     Serializing method should hold the following contract:
  72       - any empty value (meaning removal of the attribute)
  73         is deserialized into a empty string
  74       - None denotes a empty value for any attribute
  75
  76     Deserializing method should hold the following contract:
  77       - None denotes a empty value for any attribute (however,
  78         this is here as a safeguard, TaskWarrior currently does
  79         not export empty-valued attributes) if the attribute
  80         is not iterable (e.g. list or set), in which case
  81         a empty iterable should be used.
  82
  83     Normalizing methods should hold the following contract:
  84       - They are used to validate and normalize the user input.
  85         Any attribute value that comes from the user (during Task
  86         initialization, assignign values to Task attributes, or
  87         filtering by user-provided values of attributes) is first
  88         validated and normalized using the normalize_{key} method.
  89       - If validation or normalization fails, normalizer is expected
  90         to raise ValueError.
  91     """
  92
  93     def __init__(self, warrior):
  94         self.warrior = warrior
  95
  96     def _deserialize(self, key, value):
  97         hydrate_func = getattr(self, 'deserialize_{0}'.format(key),
  98                                lambda x: x if x != '' else None)
  99         return hydrate_func(value)
 100
 101     def _serialize(self, key, value):
 102         dehydrate_func = getattr(self, 'serialize_{0}'.format(key),
 103                                  lambda x: x if x is not None else '')
 104         return dehydrate_func(value)
 105
 106     def _normalize(self, key, value):
 107         """
 108         Use normalize_<key> methods to normalize user input. Any user
 109         input will be normalized at the moment it is used as filter,
 110         or entered as a value of Task attribute.
 111         """
 112
 113         # None value should not be converted by normalizer
 114         if value is None:
 115             return None
 116
 117         normalize_func = getattr(self, 'normalize_{0}'.format(key),
 118                                  lambda x: x)
 119
 120         return normalize_func(value)
 121
 122     def timestamp_serializer(self, date):
 123         if not date:
 124             return ''
 125
 126         # Any serialized timestamp should be localized, we need to
 127         # convert to UTC before converting to string (DATE_FORMAT uses UTC)
 128         date = date.astimezone(pytz.utc)
 129
 130         return date.strftime(DATE_FORMAT)
 131
 132     def timestamp_deserializer(self, date_str):
 133         if not date_str:
 134             return None
 135
 136         # Return timestamp localized in the local zone
 137         naive_timestamp = datetime.datetime.strptime(date_str, DATE_FORMAT)
 138         localized_timestamp = pytz.utc.localize(naive_timestamp)
 139         return localized_timestamp.astimezone(local_zone)
 140
 141     def serialize_entry(self, value):
 142         return self.timestamp_serializer(value)
 143
 144     def deserialize_entry(self, value):
 145         return self.timestamp_deserializer(value)
 146
 147     def normalize_entry(self, value):
 148         return self.datetime_normalizer(value)
 149
 150     def serialize_modified(self, value):
 151         return self.timestamp_serializer(value)
 152
 153     def deserialize_modified(self, value):
 154         return self.timestamp_deserializer(value)
 155
 156     def normalize_modified(self, value):
 157         return self.datetime_normalizer(value)
 158
 159     def serialize_start(self, value):
 160         return self.timestamp_serializer(value)
 161
 162     def deserialize_start(self, value):
 163         return self.timestamp_deserializer(value)
 164
 165     def normalize_start(self, value):
 166         return self.datetime_normalizer(value)
 167
 168     def serialize_end(self, value):
 169         return self.timestamp_serializer(value)
 170
 171     def deserialize_end(self, value):
 172         return self.timestamp_deserializer(value)
 173
 174     def normalize_end(self, value):
 175         return self.datetime_normalizer(value)
 176
 177     def serialize_due(self, value):
 178         return self.timestamp_serializer(value)
 179
 180     def deserialize_due(self, value):
 181         return self.timestamp_deserializer(value)
 182
 183     def normalize_due(self, value):
 184         return self.datetime_normalizer(value)
 185
 186     def serialize_scheduled(self, value):
 187         return self.timestamp_serializer(value)
 188
 189     def deserialize_scheduled(self, value):
 190         return self.timestamp_deserializer(value)
 191
 192     def normalize_scheduled(self, value):
 193         return self.datetime_normalizer(value)
 194
 195     def serialize_until(self, value):
 196         return self.timestamp_serializer(value)
 197
 198     def deserialize_until(self, value):
 199         return self.timestamp_deserializer(value)
 200
 201     def normalize_until(self, value):
 202         return self.datetime_normalizer(value)
 203
 204     def serialize_wait(self, value):
 205         return self.timestamp_serializer(value)
 206
 207     def deserialize_wait(self, value):
 208         return self.timestamp_deserializer(value)
 209
 210     def normalize_wait(self, value):
 211         return self.datetime_normalizer(value)
 212
 213     def serialize_annotations(self, value):
 214         value = value if value is not None else []
 215
 216         # This may seem weird, but it's correct, we want to export
 217         # a list of dicts as serialized value
 218         serialized_annotations = [json.loads(annotation.export_data())
 219                                   for annotation in value]
 220         return serialized_annotations if serialized_annotations else ''
 221
 222     def deserialize_annotations(self, data):
 223         return [TaskAnnotation(self, d) for d in data] if data else []
 224
 225     def serialize_tags(self, tags):
 226         return ','.join(tags) if tags else ''
 227
 228     def deserialize_tags(self, tags):
 229         if isinstance(tags, six.string_types):
 230             return tags.split(',') if tags else []
 231         return tags or []
 232
 233     def serialize_depends(self, value):
 234         # Return the list of uuids
 235         value = value if value is not None else set()
 236         return ','.join(task['uuid'] for task in value)
 237
 238     def deserialize_depends(self, raw_uuids):
 239         raw_uuids = raw_uuids or ''  # Convert None to empty string
 240         uuids = raw_uuids.split(',')
 241         return set(self.warrior.tasks.get(uuid=uuid) for uuid in uuids if uuid)
 242
 243     def datetime_normalizer(self, value):
 244         """
 245         Normalizes date/datetime value (considered to come from user input)
 246         to localized datetime value. Following conversions happen:
 247
 248         naive date -> localized datetime with the same date, and time=midnight
 249         naive datetime -> localized datetime with the same value
 250         localized datetime -> localized datetime (no conversion)
 251         """
 252
 253         if (isinstance(value, datetime.date)
 254             and not isinstance(value, datetime.datetime)):
 255             # Convert to local midnight
 256             value_full = datetime.datetime.combine(value, datetime.time.min)
 257             localized = local_zone.localize(value_full)
 258         elif isinstance(value, datetime.datetime):
 259             if value.tzinfo is None:
 260                 # Convert to localized datetime object
 261                 localized = local_zone.localize(value)
 262             else:
 263                 # If the value is already localized, there is no need to change
 264                 # time zone at this point. Also None is a valid value too.
 265                 localized = value
 266         elif (isinstance(value, six.string_types)
 267                 and self.warrior.version >= VERSION_2_4_0):
 268             # For strings, use 'task calc' to evaluate the string to datetime
 269             # available since TW 2.4.0
 270             args = value.split()
 271             result = self.warrior.execute_command(['calc'] + args)
 272             naive = datetime.datetime.strptime(result[0], DATE_FORMAT_CALC)
 273             localized = local_zone.localize(naive)
 274         else:
 275             raise ValueError("Provided value could not be converted to "
 276                              "datetime, its type is not supported: {}"
 277                              .format(type(value)))
 278
 279         return localized
 280
 281     def normalize_uuid(self, value):
 282         # Enforce sane UUID
 283         if not isinstance(value, six.string_types) or value == '':
 284             raise ValueError("UUID must be a valid non-empty string, "
 285                              "not: {}".format(value))
 286
 287         return value
 288
 289
 290 class TaskResource(SerializingObject):
 291     read_only_fields = []
 292
 293     def _load_data(self, data):
 294         self._data = dict((key, self._deserialize(key, value))
 295                           for key, value in data.items())
 296         # We need to use a copy for original data, so that changes
 297         # are not propagated.
 298         self._original_data = copy.deepcopy(self._data)
 299
 300     def _update_data(self, data, update_original=False, remove_missing=False):
 301         """
 302         Low level update of the internal _data dict. Data which are coming as
 303         updates should already be serialized. If update_original is True, the
 304         original_data dict is updated as well.
 305         """
 306         self._data.update(dict((key, self._deserialize(key, value))
 307                                for key, value in data.items()))
 308
 309         # In certain situations, we want to treat missing keys as removals
 310         if remove_missing:
 311             for key in set(self._data.keys()) - set(data.keys()):
 312                 self._data[key] = None
 313
 314         if update_original:
 315             self._original_data = copy.deepcopy(self._data)
 316
 317
 318     def __getitem__(self, key):
 319         # This is a workaround to make TaskResource non-iterable
 320         # over simple index-based iteration
 321         try:
 322             int(key)
 323             raise StopIteration
 324         except ValueError:
 325             pass
 326
 327         if key not in self._data:
 328             self._data[key] = self._deserialize(key, None)
 329
 330         return self._data.get(key)
 331
 332     def __setitem__(self, key, value):
 333         if key in self.read_only_fields:
 334             raise RuntimeError('Field \'%s\' is read-only' % key)
 335
 336         # Normalize the user input before saving it
 337         value = self._normalize(key, value)
 338         self._data[key] = value
 339
 340     def __str__(self):
 341         s = six.text_type(self.__unicode__())
 342         if not six.PY3:
 343             s = s.encode('utf-8')
 344         return s
 345
 346     def __repr__(self):
 347         return str(self)
 348
 349     def export_data(self):
 350         """
 351         Exports current data contained in the Task as JSON
 352         """
 353
 354         # We need to remove spaces for TW-1504, use custom separators
 355         data_tuples = ((key, self._serialize(key, value))
 356                        for key, value in six.iteritems(self._data))
 357
 358         # Empty string denotes empty serialized value, we do not want
 359         # to pass that to TaskWarrior.
 360         data_tuples = filter(lambda t: t[1] is not '', data_tuples)
 361         data = dict(data_tuples)
 362         return json.dumps(data, separators=(',',':'))
 363
 364     @property
 365     def _modified_fields(self):
 366         writable_fields = set(self._data.keys()) - set(self.read_only_fields)
 367         for key in writable_fields:
 368             new_value = self._data.get(key)
 369             old_value = self._original_data.get(key)
 370
 371             # Make sure not to mark data removal as modified field if the
 372             # field originally had some empty value
 373             if key in self._data and not new_value and not old_value:
 374                 continue
 375
 376             if new_value != old_value:
 377                 yield key
 378
 379     @property
 380     def modified(self):
 381         return bool(list(self._modified_fields))
 382
 383
 384 class TaskAnnotation(TaskResource):
 385     read_only_fields = ['entry', 'description']
 386
 387     def __init__(self, task, data={}):
 388         self.task = task
 389         self._load_data(data)
 390         super(TaskAnnotation, self).__init__(task.warrior)
 391
 392     def remove(self):
 393         self.task.remove_annotation(self)
 394
 395     def __unicode__(self):
 396         return self['description']
 397
 398     def __eq__(self, other):
 399         # consider 2 annotations equal if they belong to the same task, and
 400         # their data dics are the same
 401         return self.task == other.task and self._data == other._data
 402
 403     __repr__ = __unicode__
 404
 405
 406 class Task(TaskResource):
 407     read_only_fields = ['id', 'entry', 'urgency', 'uuid', 'modified']
 408
 409     class DoesNotExist(Exception):
 410         pass
 411
 412     class CompletedTask(Exception):
 413         """
 414         Raised when the operation cannot be performed on the completed task.
 415         """
 416         pass
 417
 418     class DeletedTask(Exception):
 419         """
 420         Raised when the operation cannot be performed on the deleted task.
 421         """
 422         pass
 423
 424     class ActiveTask(Exception):
 425         """
 426         Raised when the operation cannot be performed on the active task.
 427         """
 428         pass
 429
 430     class InactiveTask(Exception):
 431         """
 432         Raised when the operation cannot be performed on an inactive task.
 433         """
 434         pass
 435
 436     class NotSaved(Exception):
 437         """
 438         Raised when the operation cannot be performed on the task, because
 439         it has not been saved to TaskWarrior yet.
 440         """
 441         pass
 442
 443     @classmethod
 444     def from_input(cls, input_file=sys.stdin, modify=None, warrior=None):
 445         """
 446         Creates a Task object, directly from the stdin, by reading one line.
 447         If modify=True, two lines are used, first line interpreted as the
 448         original state of the Task object, and second line as its new,
 449         modified value. This is consistent with the TaskWarrior's hook
 450         system.
 451
 452         Object created by this method should not be saved, deleted
 453         or refreshed, as t could create a infinite loop. For this
 454         reason, TaskWarrior instance is set to None.
 455
 456         Input_file argument can be used to specify the input file,
 457         but defaults to sys.stdin.
 458         """
 459
 460         # Detect the hook type if not given directly
 461         name = os.path.basename(sys.argv[0])
 462         modify = name.startswith('on-modify') if modify is None else modify
 463
 464         # Create the TaskWarrior instance if none passed
 465         if warrior is None:
 466             hook_parent_dir = os.path.dirname(os.path.dirname(sys.argv[0]))
 467             warrior = TaskWarrior(data_location=hook_parent_dir)
 468
 469         # TaskWarrior instance is set to None
 470         task = cls(warrior)
 471
 472         # Load the data from the input
 473         task._load_data(json.loads(input_file.readline().strip()))
 474
 475         # If this is a on-modify event, we are provided with additional
 476         # line of input, which provides updated data
 477         if modify:
 478             task._update_data(json.loads(input_file.readline().strip()),
 479                               remove_missing=True)
 480
 481         return task
 482
 483     def __init__(self, warrior, **kwargs):
 484         super(Task, self).__init__(warrior)
 485
 486         # Check that user is not able to set read-only value in __init__
 487         for key in kwargs.keys():
 488             if key in self.read_only_fields:
 489                 raise RuntimeError('Field \'%s\' is read-only' % key)
 490
 491         # We serialize the data in kwargs so that users of the library
 492         # do not have to pass different data formats via __setitem__ and
 493         # __init__ methods, that would be confusing
 494
 495         # Rather unfortunate syntax due to python2.6 comaptiblity
 496         self._data = dict((key, self._normalize(key, value))
 497                           for (key, value) in six.iteritems(kwargs))
 498         self._original_data = copy.deepcopy(self._data)
 499
 500         # Provide read only access to the original data
 501         self.original = ReadOnlyDictView(self._original_data)
 502
 503     def __unicode__(self):
 504         return self['description']
 505
 506     def __eq__(self, other):
 507         if self['uuid'] and other['uuid']:
 508             # For saved Tasks, just define equality by equality of uuids
 509             return self['uuid'] == other['uuid']
 510         else:
 511             # If the tasks are not saved, compare the actual instances
 512             return id(self) == id(other)
 513
 514
 515     def __hash__(self):
 516         if self['uuid']:
 517             # For saved Tasks, just define equality by equality of uuids
 518             return self['uuid'].__hash__()
 519         else:
 520             # If the tasks are not saved, return hash of instance id
 521             return id(self).__hash__()
 522
 523     @property
 524     def completed(self):
 525         return self['status'] == six.text_type('completed')
 526
 527     @property
 528     def deleted(self):
 529         return self['status'] == six.text_type('deleted')
 530
 531     @property
 532     def waiting(self):
 533         return self['status'] == six.text_type('waiting')
 534
 535     @property
 536     def pending(self):
 537         return self['status'] == six.text_type('pending')
 538
 539     @property
 540     def active(self):
 541         return self['start'] is not None
 542
 543     @property
 544     def saved(self):
 545         return self['uuid'] is not None or self['id'] is not None
 546
 547     def serialize_depends(self, cur_dependencies):
 548         # Check that all the tasks are saved
 549         for task in (cur_dependencies or set()):
 550             if not task.saved:
 551                 raise Task.NotSaved('Task \'%s\' needs to be saved before '
 552                                     'it can be set as dependency.' % task)
 553
 554         return super(Task, self).serialize_depends(cur_dependencies)
 555
 556     def format_depends(self):
 557         # We need to generate added and removed dependencies list,
 558         # since Taskwarrior does not accept redefining dependencies.
 559
 560         # This cannot be part of serialize_depends, since we need
 561         # to keep a list of all depedencies in the _data dictionary,
 562         # not just currently added/removed ones
 563
 564         old_dependencies = self._original_data.get('depends', set())
 565
 566         added = self['depends'] - old_dependencies
 567         removed = old_dependencies - self['depends']
 568
 569         # Removed dependencies need to be prefixed with '-'
 570         return 'depends:' + ','.join(
 571                 [t['uuid'] for t in added] +
 572                 ['-' + t['uuid'] for t in removed]
 573             )
 574
 575     def format_description(self):
 576         # Task version older than 2.4.0 ignores first word of the
 577         # task description if description: prefix is used
 578         if self.warrior.version < VERSION_2_4_0:
 579             return self._data['description']
 580         else:
 581             return six.u("description:'{0}'").format(self._data['description'] or '')
 582
 583     def delete(self):
 584         if not self.saved:
 585             raise Task.NotSaved("Task needs to be saved before it can be deleted")
 586
 587         # Refresh the status, and raise exception if the task is deleted
 588         self.refresh(only_fields=['status'])
 589
 590         if self.deleted:
 591             raise Task.DeletedTask("Task was already deleted")
 592
 593         self.warrior.execute_command([self['uuid'], 'delete'])
 594
 595         # Refresh the status again, so that we have updated info stored
 596         self.refresh(only_fields=['status', 'start', 'end'])
 597
 598     def start(self):
 599         if not self.saved:
 600             raise Task.NotSaved("Task needs to be saved before it can be started")
 601
 602         # Refresh, and raise exception if task is already completed/deleted
 603         self.refresh(only_fields=['status'])
 604
 605         if self.completed:
 606             raise Task.CompletedTask("Cannot start a completed task")
 607         elif self.deleted:
 608             raise Task.DeletedTask("Deleted task cannot be started")
 609         elif self.active:
 610             raise Task.ActiveTask("Task is already active")
 611
 612         self.warrior.execute_command([self['uuid'], 'start'])
 613
 614         # Refresh the status again, so that we have updated info stored
 615         self.refresh(only_fields=['status', 'start'])
 616
 617     def stop(self):
 618         if not self.saved:
 619             raise Task.NotSaved("Task needs to be saved before it can be stopped")
 620
 621         # Refresh, and raise exception if task is already completed/deleted
 622         self.refresh(only_fields=['status'])
 623
 624         if not self.active:
 625             raise Task.InactiveTask("Cannot stop an inactive task")
 626
 627         self.warrior.execute_command([self['uuid'], 'stop'])
 628
 629         # Refresh the status again, so that we have updated info stored
 630         self.refresh(only_fields=['status', 'start'])
 631
 632     def done(self):
 633         if not self.saved:
 634             raise Task.NotSaved("Task needs to be saved before it can be completed")
 635
 636         # Refresh, and raise exception if task is already completed/deleted
 637         self.refresh(only_fields=['status'])
 638
 639         if self.completed:
 640             raise Task.CompletedTask("Cannot complete a completed task")
 641         elif self.deleted:
 642             raise Task.DeletedTask("Deleted task cannot be completed")
 643
 644         # Older versions of TW do not stop active task at completion
 645         if self.warrior.version < VERSION_2_4_0 and self.active:
 646             self.stop()
 647
 648         self.warrior.execute_command([self['uuid'], 'done'])
 649
 650         # Refresh the status again, so that we have updated info stored
 651         self.refresh(only_fields=['status', 'start', 'end'])
 652
 653     def save(self):
 654         if self.saved and not self.modified:
 655             return
 656
 657         args = [self['uuid'], 'modify'] if self.saved else ['add']
 658         args.extend(self._get_modified_fields_as_args())
 659         output = self.warrior.execute_command(args)
 660
 661         # Parse out the new ID, if the task is being added for the first time
 662         if not self.saved:
 663             id_lines = [l for l in output if l.startswith('Created task ')]
 664
 665             # Complain loudly if it seems that more tasks were created
 666             # Should not happen
 667             if len(id_lines) != 1 or len(id_lines[0].split(' ')) != 3:
 668                 raise TaskWarriorException("Unexpected output when creating "
 669                                            "task: %s" % '\n'.join(id_lines))
 670
 671             # Circumvent the ID storage, since ID is considered read-only
 672             self._data['id'] = int(id_lines[0].split(' ')[2].rstrip('.'))
 673
 674         # Refreshing is very important here, as not only modification time
 675         # is updated, but arbitrary attribute may have changed due hooks
 676         # altering the data before saving
 677         self.refresh()
 678
 679     def add_annotation(self, annotation):
 680         if not self.saved:
 681             raise Task.NotSaved("Task needs to be saved to add annotation")
 682
 683         args = [self['uuid'], 'annotate', annotation]
 684         self.warrior.execute_command(args)
 685         self.refresh(only_fields=['annotations'])
 686
 687     def remove_annotation(self, annotation):
 688         if not self.saved:
 689             raise Task.NotSaved("Task needs to be saved to remove annotation")
 690
 691         if isinstance(annotation, TaskAnnotation):
 692             annotation = annotation['description']
 693         args = [self['uuid'], 'denotate', annotation]
 694         self.warrior.execute_command(args)
 695         self.refresh(only_fields=['annotations'])
 696
 697     def _get_modified_fields_as_args(self):
 698         args = []
 699
 700         def add_field(field):
 701             # Add the output of format_field method to args list (defaults to
 702             # field:value)
 703             serialized_value = self._serialize(field, self._data[field])
 704
 705             # Empty values should not be enclosed in quotation marks, see
 706             # TW-1510
 707             if serialized_value is '':
 708                 escaped_serialized_value = ''
 709             else:
 710                 escaped_serialized_value = six.u("'{0}'").format(serialized_value)
 711
 712             format_default = lambda: six.u("{0}:{1}").format(field,
 713                                                       escaped_serialized_value)
 714
 715             format_func = getattr(self, 'format_{0}'.format(field),
 716                                   format_default)
 717
 718             args.append(format_func())
 719
 720         # If we're modifying saved task, simply pass on all modified fields
 721         if self.saved:
 722             for field in self._modified_fields:
 723                 add_field(field)
 724         # For new tasks, pass all fields that make sense
 725         else:
 726             for field in self._data.keys():
 727                 if field in self.read_only_fields:
 728                     continue
 729                 add_field(field)
 730
 731         return args
 732
 733     def refresh(self, only_fields=[]):
 734         # Raise error when trying to refresh a task that has not been saved
 735         if not self.saved:
 736             raise Task.NotSaved("Task needs to be saved to be refreshed")
 737
 738         # We need to use ID as backup for uuid here for the refreshes
 739         # of newly saved tasks. Any other place in the code is fine
 740         # with using UUID only.
 741         args = [self['uuid'] or self['id'], 'export']
 742         new_data = json.loads(self.warrior.execute_command(args)[0])
 743         if only_fields:
 744             to_update = dict(
 745                 [(k, new_data.get(k)) for k in only_fields])
 746             self._update_data(to_update, update_original=True)
 747         else:
 748             self._load_data(new_data)
 749
 750 class TaskFilter(SerializingObject):
 751     """
 752     A set of parameters to filter the task list with.
 753     """
 754
 755     def __init__(self, warrior, filter_params=[]):
 756         self.filter_params = filter_params
 757         super(TaskFilter, self).__init__(warrior)
 758
 759     def add_filter(self, filter_str):
 760         self.filter_params.append(filter_str)
 761
 762     def add_filter_param(self, key, value):
 763         key = key.replace('__', '.')
 764
 765         # Replace the value with empty string, since that is the
 766         # convention in TW for empty values
 767         attribute_key = key.split('.')[0]
 768
 769         # Since this is user input, we need to normalize before we serialize
 770         value = self._normalize(attribute_key, value)
 771         value = self._serialize(attribute_key, value)
 772
 773         # If we are filtering by uuid:, do not use uuid keyword
 774         # due to TW-1452 bug
 775         if key == 'uuid':
 776             self.filter_params.insert(0, value)
 777         else:
 778             # Surround value with aphostrophes unless it's a empty string
 779             value = "'%s'" % value if value else ''
 780
 781             # We enforce equality match by using 'is' (or 'none') modifier
 782             # Without using this syntax, filter fails due to TW-1479
 783             modifier = '.is' if value else '.none'
 784             key = key + modifier if '.' not in key else key
 785
 786             self.filter_params.append(six.u("{0}:{1}").format(key, value))
 787
 788     def get_filter_params(self):
 789         return [f for f in self.filter_params if f]
 790
 791     def clone(self):
 792         c = self.__class__(self.warrior)
 793         c.filter_params = list(self.filter_params)
 794         return c
 795
 796
 797 class TaskQuerySet(object):
 798     """
 799     Represents a lazy lookup for a task objects.
 800     """
 801
 802     def __init__(self, warrior=None, filter_obj=None):
 803         self.warrior = warrior
 804         self._result_cache = None
 805         self.filter_obj = filter_obj or TaskFilter(warrior)
 806
 807     def __deepcopy__(self, memo):
 808         """
 809         Deep copy of a QuerySet doesn't populate the cache
 810         """
 811         obj = self.__class__()
 812         for k, v in self.__dict__.items():
 813             if k in ('_iter', '_result_cache'):
 814                 obj.__dict__[k] = None
 815             else:
 816                 obj.__dict__[k] = copy.deepcopy(v, memo)
 817         return obj
 818
 819     def __repr__(self):
 820         data = list(self[:REPR_OUTPUT_SIZE + 1])
 821         if len(data) > REPR_OUTPUT_SIZE:
 822             data[-1] = "...(remaining elements truncated)..."
 823         return repr(data)
 824
 825     def __len__(self):
 826         if self._result_cache is None:
 827             self._result_cache = list(self)
 828         return len(self._result_cache)
 829
 830     def __iter__(self):
 831         if self._result_cache is None:
 832             self._result_cache = self._execute()
 833         return iter(self._result_cache)
 834
 835     def __getitem__(self, k):
 836         if self._result_cache is None:
 837             self._result_cache = list(self)
 838         return self._result_cache.__getitem__(k)
 839
 840     def __bool__(self):
 841         if self._result_cache is not None:
 842             return bool(self._result_cache)
 843         try:
 844             next(iter(self))
 845         except StopIteration:
 846             return False
 847         return True
 848
 849     def __nonzero__(self):
 850         return type(self).__bool__(self)
 851
 852     def _clone(self, klass=None, **kwargs):
 853         if klass is None:
 854             klass = self.__class__
 855         filter_obj = self.filter_obj.clone()
 856         c = klass(warrior=self.warrior, filter_obj=filter_obj)
 857         c.__dict__.update(kwargs)
 858         return c
 859
 860     def _execute(self):
 861         """
 862         Fetch the tasks which match the current filters.
 863         """
 864         return self.warrior.filter_tasks(self.filter_obj)
 865
 866     def all(self):
 867         """
 868         Returns a new TaskQuerySet that is a copy of the current one.
 869         """
 870         return self._clone()
 871
 872     def pending(self):
 873         return self.filter(status=PENDING)
 874
 875     def completed(self):
 876         return self.filter(status=COMPLETED)
 877
 878     def filter(self, *args, **kwargs):
 879         """
 880         Returns a new TaskQuerySet with the given filters added.
 881         """
 882         clone = self._clone()
 883         for f in args:
 884             clone.filter_obj.add_filter(f)
 885         for key, value in kwargs.items():
 886             clone.filter_obj.add_filter_param(key, value)
 887         return clone
 888
 889     def get(self, **kwargs):
 890         """
 891         Performs the query and returns a single object matching the given
 892         keyword arguments.
 893         """
 894         clone = self.filter(**kwargs)
 895         num = len(clone)
 896         if num == 1:
 897             return clone._result_cache[0]
 898         if not num:
 899             raise Task.DoesNotExist(
 900                 'Task matching query does not exist. '
 901                 'Lookup parameters were {0}'.format(kwargs))
 902         raise ValueError(
 903             'get() returned more than one Task -- it returned {0}! '
 904             'Lookup parameters were {1}'.format(num, kwargs))
 905
 906
 907 class TaskWarrior(object):
 908     def __init__(self, data_location=None, create=True, taskrc_location='~/.taskrc'):
 909         self.taskrc_location = os.path.expanduser(taskrc_location)
 910
 911         # If taskrc does not exist, pass / to use defaults and avoid creating
 912         # dummy .taskrc file by TaskWarrior
 913         if not os.path.exists(self.taskrc_location):
 914             self.taskrc_location = '/'
 915
 916         self.version = self._get_version()
 917         self.config = {
 918             'confirmation': 'no',
 919             'dependency.confirmation': 'no',  # See TW-1483 or taskrc man page
 920             'recurrence.confirmation': 'no',  # Necessary for modifying R tasks
 921             # 2.4.3 onwards supports 0 as infite bulk, otherwise set just
 922             # arbitrary big number which is likely to be large enough
 923             'bulk': 0 if self.version >= VERSION_2_4_3 else 100000,
 924         }
 925
 926         # Set data.location override if passed via kwarg
 927         if data_location is not None:
 928             data_location = os.path.expanduser(data_location)
 929             if create and not os.path.exists(data_location):
 930                 os.makedirs(data_location)
 931             self.config['data.location'] = data_location
 932
 933         self.tasks = TaskQuerySet(self)
 934
 935     def _get_command_args(self, args, config_override={}):
 936         command_args = ['task', 'rc:{0}'.format(self.taskrc_location)]
 937         config = self.config.copy()
 938         config.update(config_override)
 939         for item in config.items():
 940             command_args.append('rc.{0}={1}'.format(*item))
 941         command_args.extend(map(six.text_type, args))
 942         return command_args
 943
 944     def _get_version(self):
 945         p = subprocess.Popen(
 946                 ['task', '--version'],
 947                 stdout=subprocess.PIPE,
 948                 stderr=subprocess.PIPE)
 949         stdout, stderr = [x.decode('utf-8') for x in p.communicate()]
 950         return stdout.strip('\n')
 951
 952     def execute_command(self, args, config_override={}, allow_failure=True,
 953                         return_all=False):
 954         command_args = self._get_command_args(
 955             args, config_override=config_override)
 956         logger.debug(' '.join(command_args))
 957         p = subprocess.Popen(command_args, stdout=subprocess.PIPE,
 958                              stderr=subprocess.PIPE)
 959         stdout, stderr = [x.decode('utf-8') for x in p.communicate()]
 960         if p.returncode and allow_failure:
 961             if stderr.strip():
 962                 error_msg = stderr.strip()
 963             else:
 964                 error_msg = stdout.strip()
 965             raise TaskWarriorException(error_msg)
 966
 967         # Return all whole triplet only if explicitly asked for
 968         if not return_all:
 969             return stdout.rstrip().split('\n')
 970         else:
 971             return (stdout.rstrip().split('\n'),
 972                     stderr.rstrip().split('\n'),
 973                     p.returncode)
 974
 975     def enforce_recurrence(self):
 976         # Run arbitrary report command which will trigger generation
 977         # of recurrent tasks.
 978
 979         # Only necessary for TW up to 2.4.1, fixed in 2.4.2.
 980         if self.version < VERSION_2_4_2:
 981             self.execute_command(['next'], allow_failure=False)
 982
 983     def filter_tasks(self, filter_obj):
 984         self.enforce_recurrence()
 985         args = ['export', '--'] + filter_obj.get_filter_params()
 986         tasks = []
 987         for line in self.execute_command(args):
 988             if line:
 989                 data = line.strip(',')
 990                 try:
 991                     filtered_task = Task(self)
 992                     filtered_task._load_data(json.loads(data))
 993                     tasks.append(filtered_task)
 994                 except ValueError:
 995                     raise TaskWarriorException('Invalid JSON: %s' % data)
 996         return tasks
 997
 998     def merge_with(self, path, push=False):
 999         path = path.rstrip('/') + '/'
1000         self.execute_command(['merge', path], config_override={
1001             'merge.autopush': 'yes' if push else 'no',
1002         })
1003
1004     def undo(self):
1005         self.execute_command(['undo'])