Do not crash when failing to read an entry (#1090)

[etc/vim.git] / blib2to3 / pgen2 / token.py
diff --git a/blib2to3/pgen2/token.py b/blib2to3/pgen2/token.py

old mode 100755 (executable)

new mode 100644 (file)

index 7599396..583a8a1
--- a/blib2to3/pgen2/token.py
+++ b/blib2to3/pgen2/token.py
@@ -1,11 +1,9 @@
-#! /usr/bin/env python3
-
  """Token constants (from "token.h")."""
  
  #  Taken from Python (r53757) and modified to include some tokens
  #   originally monkeypatched in by pgen2.tokenize
  
-#--start constants--
+# --start constants--
  ENDMARKER = 0
  NAME = 1
  NUMBER = 2
@@ -62,10 +60,13 @@ OP = 52
  COMMENT = 53
  NL = 54
  RARROW = 55
-ERRORTOKEN = 56
-N_TOKENS = 57
+AWAIT = 56
+ASYNC = 57
+ERRORTOKEN = 58
+COLONEQUAL = 59
+N_TOKENS = 60
  NT_OFFSET = 256
-#--end constants--
+# --end constants--
  
  tok_name = {}
  for _name, _value in list(globals().items()):
@@ -76,8 +77,10 @@ for _name, _value in list(globals().items()):
  def ISTERMINAL(x):
      return x < NT_OFFSET
  
+
  def ISNONTERMINAL(x):
      return x >= NT_OFFSET
  
+
  def ISEOF(x):
      return x == ENDMARKER