]> git.madduck.net Git - etc/vim.git/blob - docs/the_black_code_style/current_style.md

madduck's git repository

Every one of the projects in this repository is available at the canonical URL git://git.madduck.net/madduck/pub/<projectpath> — see each project's metadata for the exact URL.

All patches and comments are welcome. Please squash your changes to logical commits before using git-format-patch and git-send-email to patches@git.madduck.net. If you'd read over the Git project's submission guidelines and adhered to them, I'd be especially grateful.

SSH access, as well as push access can be individually arranged.

If you use my repositories frequently, consider adding the following snippet to ~/.gitconfig and using the third clone URL listed for each project:

[url "git://git.madduck.net/madduck/"]
  insteadOf = madduck:

Resolve new flake8-bugbear errors (B020) (GH-2950)
[etc/vim.git] / docs / the_black_code_style / current_style.md
1 # The _Black_ code style
2
3 ## Code style
4
5 _Black_ aims for consistency, generality, readability and reducing git diffs. Similar
6 language constructs are formatted with similar rules. Style configuration options are
7 deliberately limited and rarely added. Previous formatting is taken into account as
8 little as possible, with rare exceptions like the magic trailing comma. The coding style
9 used by _Black_ can be viewed as a strict subset of PEP 8.
10
11 _Black_ reformats entire files in place. It doesn't reformat blocks that start with
12 `# fmt: off` and end with `# fmt: on`, or lines that ends with `# fmt: skip`.
13 `# fmt: on/off` have to be on the same level of indentation. It also recognizes
14 [YAPF](https://github.com/google/yapf)'s block comments to the same effect, as a
15 courtesy for straddling code.
16
17 The rest of this document describes the current formatting style. If you're interested
18 in trying out where the style is heading, see [future style](./future_style.md) and try
19 running `black --preview`.
20
21 ### How _Black_ wraps lines
22
23 _Black_ ignores previous formatting and applies uniform horizontal and vertical
24 whitespace to your code. The rules for horizontal whitespace can be summarized as: do
25 whatever makes `pycodestyle` happy.
26
27 As for vertical whitespace, _Black_ tries to render one full expression or simple
28 statement per line. If this fits the allotted line length, great.
29
30 ```py3
31 # in:
32
33 j = [1,
34      2,
35      3
36 ]
37
38 # out:
39
40 j = [1, 2, 3]
41 ```
42
43 If not, _Black_ will look at the contents of the first outer matching brackets and put
44 that in a separate indented line.
45
46 ```py3
47 # in:
48
49 ImportantClass.important_method(exc, limit, lookup_lines, capture_locals, extra_argument)
50
51 # out:
52
53 ImportantClass.important_method(
54     exc, limit, lookup_lines, capture_locals, extra_argument
55 )
56 ```
57
58 If that still doesn't fit the bill, it will decompose the internal expression further
59 using the same rule, indenting matching brackets every time. If the contents of the
60 matching brackets pair are comma-separated (like an argument list, or a dict literal,
61 and so on) then _Black_ will first try to keep them on the same line with the matching
62 brackets. If that doesn't work, it will put all of them in separate lines.
63
64 ```py3
65 # in:
66
67 def very_important_function(template: str, *variables, file: os.PathLike, engine: str, header: bool = True, debug: bool = False):
68     """Applies `variables` to the `template` and writes to `file`."""
69     with open(file, 'w') as f:
70         ...
71
72 # out:
73
74 def very_important_function(
75     template: str,
76     *variables,
77     file: os.PathLike,
78     engine: str,
79     header: bool = True,
80     debug: bool = False,
81 ):
82     """Applies `variables` to the `template` and writes to `file`."""
83     with open(file, "w") as f:
84         ...
85 ```
86
87 (labels/why-no-backslashes)=
88
89 _Black_ prefers parentheses over backslashes, and will remove backslashes if found.
90
91 ```py3
92 # in:
93
94 if some_short_rule1 \
95   and some_short_rule2:
96       ...
97
98 # out:
99
100 if some_short_rule1 and some_short_rule2:
101   ...
102
103
104 # in:
105
106 if some_long_rule1 \
107   and some_long_rule2:
108     ...
109
110 # out:
111
112 if (
113     some_long_rule1
114     and some_long_rule2
115 ):
116     ...
117
118 ```
119
120 Backslashes and multiline strings are one of the two places in the Python grammar that
121 break significant indentation. You never need backslashes, they are used to force the
122 grammar to accept breaks that would otherwise be parse errors. That makes them confusing
123 to look at and brittle to modify. This is why _Black_ always gets rid of them.
124
125 If you're reaching for backslashes, that's a clear signal that you can do better if you
126 slightly refactor your code. I hope some of the examples above show you that there are
127 many ways in which you can do it.
128
129 You might have noticed that closing brackets are always dedented and that a trailing
130 comma is always added. Such formatting produces smaller diffs; when you add or remove an
131 element, it's always just one line. Also, having the closing bracket dedented provides a
132 clear delimiter between two distinct sections of the code that otherwise share the same
133 indentation level (like the arguments list and the docstring in the example above).
134
135 If a data structure literal (tuple, list, set, dict) or a line of "from" imports cannot
136 fit in the allotted length, it's always split into one element per line. This minimizes
137 diffs as well as enables readers of code to find which commit introduced a particular
138 entry. This also makes _Black_ compatible with
139 [isort](../guides/using_black_with_other_tools.md#isort) with the ready-made `black`
140 profile or manual configuration.
141
142 ### Line length
143
144 You probably noticed the peculiar default line length. _Black_ defaults to 88 characters
145 per line, which happens to be 10% over 80. This number was found to produce
146 significantly shorter files than sticking with 80 (the most popular), or even 79 (used
147 by the standard library). In general,
148 [90-ish seems like the wise choice](https://youtu.be/wf-BqAjZb8M?t=260).
149
150 If you're paid by the line of code you write, you can pass `--line-length` with a lower
151 number. _Black_ will try to respect that. However, sometimes it won't be able to without
152 breaking other rules. In those rare cases, auto-formatted code will exceed your allotted
153 limit.
154
155 You can also increase it, but remember that people with sight disabilities find it
156 harder to work with line lengths exceeding 100 characters. It also adversely affects
157 side-by-side diff review on typical screen resolutions. Long lines also make it harder
158 to present code neatly in documentation or talk slides.
159
160 If you're using Flake8, you can bump `max-line-length` to 88 and mostly forget about it.
161 However, it's better if you use [Bugbear](https://github.com/PyCQA/flake8-bugbear)'s
162 B950 warning instead of E501, and bump the max line length to 88 (or the `--line-length`
163 you used for black), which will align more with black's _"try to respect
164 `--line-length`, but don't become crazy if you can't"_. You'd do it like this:
165
166 ```ini
167 [flake8]
168 max-line-length = 88
169 ...
170 select = C,E,F,W,B,B950
171 extend-ignore = E203, E501
172 ```
173
174 Explanation of why E203 is disabled can be found further in this documentation. And if
175 you're curious about the reasoning behind B950,
176 [Bugbear's documentation](https://github.com/PyCQA/flake8-bugbear#opinionated-warnings)
177 explains it. The tl;dr is "it's like highway speed limits, we won't bother you if you
178 overdo it by a few km/h".
179
180 **If you're looking for a minimal, black-compatible flake8 configuration:**
181
182 ```ini
183 [flake8]
184 max-line-length = 88
185 extend-ignore = E203
186 ```
187
188 ### Empty lines
189
190 _Black_ avoids spurious vertical whitespace. This is in the spirit of PEP 8 which says
191 that in-function vertical whitespace should only be used sparingly.
192
193 _Black_ will allow single empty lines inside functions, and single and double empty
194 lines on module level left by the original editors, except when they're within
195 parenthesized expressions. Since such expressions are always reformatted to fit minimal
196 space, this whitespace is lost.
197
198 It will also insert proper spacing before and after function definitions. It's one line
199 before and after inner functions and two lines before and after module-level functions
200 and classes. _Black_ will not put empty lines between function/class definitions and
201 standalone comments that immediately precede the given function/class.
202
203 _Black_ will enforce single empty lines between a class-level docstring and the first
204 following field or method. This conforms to
205 [PEP 257](https://www.python.org/dev/peps/pep-0257/#multi-line-docstrings).
206
207 _Black_ won't insert empty lines after function docstrings unless that empty line is
208 required due to an inner function starting immediately after.
209
210 ### Comments
211
212 _Black_ does not format comment contents, but it enforces two spaces between code and a
213 comment on the same line, and a space before the comment text begins. Some types of
214 comments that require specific spacing rules are respected: doc comments (`#: comment`),
215 section comments with long runs of hashes, and Spyder cells. Non-breaking spaces after
216 hashes are also preserved. Comments may sometimes be moved because of formatting
217 changes, which can break tools that assign special meaning to them. See
218 [AST before and after formatting](#ast-before-and-after-formatting) for more discussion.
219
220 ### Trailing commas
221
222 _Black_ will add trailing commas to expressions that are split by comma where each
223 element is on its own line. This includes function signatures.
224
225 One exception to adding trailing commas is function signatures containing `*`, `*args`,
226 or `**kwargs`. In this case a trailing comma is only safe to use on Python 3.6. _Black_
227 will detect if your file is already 3.6+ only and use trailing commas in this situation.
228 If you wonder how it knows, it looks for f-strings and existing use of trailing commas
229 in function signatures that have stars in them. In other words, if you'd like a trailing
230 comma in this situation and _Black_ didn't recognize it was safe to do so, put it there
231 manually and _Black_ will keep it.
232
233 A pre-existing trailing comma informs _Black_ to always explode contents of the current
234 bracket pair into one item per line. Read more about this in the
235 [Pragmatism](#pragmatism) section below.
236
237 ### Strings
238
239 _Black_ prefers double quotes (`"` and `"""`) over single quotes (`'` and `'''`). It
240 will replace the latter with the former as long as it does not result in more backslash
241 escapes than before.
242
243 _Black_ also standardizes string prefixes. Prefix characters are made lowercase with the
244 exception of [capital "R" prefixes](#rstrings-and-rstrings), unicode literal markers
245 (`u`) are removed because they are meaningless in Python 3, and in the case of multiple
246 characters "r" is put first as in spoken language: "raw f-string".
247
248 The main reason to standardize on a single form of quotes is aesthetics. Having one kind
249 of quotes everywhere reduces reader distraction. It will also enable a future version of
250 _Black_ to merge consecutive string literals that ended up on the same line (see
251 [#26](https://github.com/psf/black/issues/26) for details).
252
253 Why settle on double quotes? They anticipate apostrophes in English text. They match the
254 docstring standard described in
255 [PEP 257](https://www.python.org/dev/peps/pep-0257/#what-is-a-docstring). An empty
256 string in double quotes (`""`) is impossible to confuse with a one double-quote
257 regardless of fonts and syntax highlighting used. On top of this, double quotes for
258 strings are consistent with C which Python interacts a lot with.
259
260 On certain keyboard layouts like US English, typing single quotes is a bit easier than
261 double quotes. The latter requires use of the Shift key. My recommendation here is to
262 keep using whatever is faster to type and let _Black_ handle the transformation.
263
264 If you are adopting _Black_ in a large project with pre-existing string conventions
265 (like the popular
266 ["single quotes for data, double quotes for human-readable strings"](https://stackoverflow.com/a/56190)),
267 you can pass `--skip-string-normalization` on the command line. This is meant as an
268 adoption helper, avoid using this for new projects.
269
270 _Black_ also processes docstrings. Firstly the indentation of docstrings is corrected
271 for both quotations and the text within, although relative indentation in the text is
272 preserved. Superfluous trailing whitespace on each line and unnecessary new lines at the
273 end of the docstring are removed. All leading tabs are converted to spaces, but tabs
274 inside text are preserved. Whitespace leading and trailing one-line docstrings is
275 removed.
276
277 ### Numeric literals
278
279 _Black_ standardizes most numeric literals to use lowercase letters for the syntactic
280 parts and uppercase letters for the digits themselves: `0xAB` instead of `0XAB` and
281 `1e10` instead of `1E10`.
282
283 ### Line breaks & binary operators
284
285 _Black_ will break a line before a binary operator when splitting a block of code over
286 multiple lines. This is so that _Black_ is compliant with the recent changes in the
287 [PEP 8](https://www.python.org/dev/peps/pep-0008/#should-a-line-break-before-or-after-a-binary-operator)
288 style guide, which emphasizes that this approach improves readability.
289
290 Almost all operators will be surrounded by single spaces, the only exceptions are unary
291 operators (`+`, `-`, and `~`), and power operators when both operands are simple. For
292 powers, an operand is considered simple if it's only a NAME, numeric CONSTANT, or
293 attribute access (chained attribute access is allowed), with or without a preceding
294 unary operator.
295
296 ```python
297 # For example, these won't be surrounded by whitespace
298 a = x**y
299 b = config.base**5.2
300 c = config.base**runtime.config.exponent
301 d = 2**5
302 e = 2**~5
303
304 # ... but these will be surrounded by whitespace
305 f = 2 ** get_exponent()
306 g = get_x() ** get_y()
307 h = config['base'] ** 2
308 ```
309
310 ### Slices
311
312 PEP 8
313 [recommends](https://www.python.org/dev/peps/pep-0008/#whitespace-in-expressions-and-statements)
314 to treat `:` in slices as a binary operator with the lowest priority, and to leave an
315 equal amount of space on either side, except if a parameter is omitted (e.g.
316 `ham[1 + 1 :]`). It recommends no spaces around `:` operators for "simple expressions"
317 (`ham[lower:upper]`), and extra space for "complex expressions"
318 (`ham[lower : upper + offset]`). _Black_ treats anything more than variable names as
319 "complex" (`ham[lower : upper + 1]`). It also states that for extended slices, both `:`
320 operators have to have the same amount of spacing, except if a parameter is omitted
321 (`ham[1 + 1 ::]`). _Black_ enforces these rules consistently.
322
323 This behaviour may raise `E203 whitespace before ':'` warnings in style guide
324 enforcement tools like Flake8. Since `E203` is not PEP 8 compliant, you should tell
325 Flake8 to ignore these warnings.
326
327 ### Parentheses
328
329 Some parentheses are optional in the Python grammar. Any expression can be wrapped in a
330 pair of parentheses to form an atom. There are a few interesting cases:
331
332 - `if (...):`
333 - `while (...):`
334 - `for (...) in (...):`
335 - `assert (...), (...)`
336 - `from X import (...)`
337 - assignments like:
338   - `target = (...)`
339   - `target: type = (...)`
340   - `some, *un, packing = (...)`
341   - `augmented += (...)`
342
343 In those cases, parentheses are removed when the entire statement fits in one line, or
344 if the inner expression doesn't have any delimiters to further split on. If there is
345 only a single delimiter and the expression starts or ends with a bracket, the
346 parentheses can also be successfully omitted since the existing bracket pair will
347 organize the expression neatly anyway. Otherwise, the parentheses are added.
348
349 Please note that _Black_ does not add or remove any additional nested parentheses that
350 you might want to have for clarity or further code organization. For example those
351 parentheses are not going to be removed:
352
353 ```py3
354 return not (this or that)
355 decision = (maybe.this() and values > 0) or (maybe.that() and values < 0)
356 ```
357
358 ### Call chains
359
360 Some popular APIs, like ORMs, use call chaining. This API style is known as a
361 [fluent interface](https://en.wikipedia.org/wiki/Fluent_interface). _Black_ formats
362 those by treating dots that follow a call or an indexing operation like a very low
363 priority delimiter. It's easier to show the behavior than to explain it. Look at the
364 example:
365
366 ```py3
367 def example(session):
368     result = (
369         session.query(models.Customer.id)
370         .filter(
371             models.Customer.account_id == account_id,
372             models.Customer.email == email_address,
373         )
374         .order_by(models.Customer.id.asc())
375         .all()
376     )
377 ```
378
379 ### Typing stub files
380
381 PEP 484 describes the syntax for type hints in Python. One of the use cases for typing
382 is providing type annotations for modules which cannot contain them directly (they might
383 be written in C, or they might be third-party, or their implementation may be overly
384 dynamic, and so on).
385
386 To solve this,
387 [stub files with the `.pyi` file extension](https://www.python.org/dev/peps/pep-0484/#stub-files)
388 can be used to describe typing information for an external module. Those stub files omit
389 the implementation of classes and functions they describe, instead they only contain the
390 structure of the file (listing globals, functions, and classes with their members). The
391 recommended code style for those files is more terse than PEP 8:
392
393 - prefer `...` on the same line as the class/function signature;
394 - avoid vertical whitespace between consecutive module-level functions, names, or
395   methods and fields within a single class;
396 - use a single blank line between top-level class definitions, or none if the classes
397   are very small.
398
399 _Black_ enforces the above rules. There are additional guidelines for formatting `.pyi`
400 file that are not enforced yet but might be in a future version of the formatter:
401
402 - prefer `...` over `pass`;
403 - avoid using string literals in type annotations, stub files support forward references
404   natively (like Python 3.7 code with `from __future__ import annotations`);
405 - use variable annotations instead of type comments, even for stubs that target older
406   versions of Python.
407
408 ## Pragmatism
409
410 Early versions of _Black_ used to be absolutist in some respects. They took after its
411 initial author. This was fine at the time as it made the implementation simpler and
412 there were not many users anyway. Not many edge cases were reported. As a mature tool,
413 _Black_ does make some exceptions to rules it otherwise holds. This section documents
414 what those exceptions are and why this is the case.
415
416 ### The magic trailing comma
417
418 _Black_ in general does not take existing formatting into account.
419
420 However, there are cases where you put a short collection or function call in your code
421 but you anticipate it will grow in the future.
422
423 For example:
424
425 ```py3
426 TRANSLATIONS = {
427     "en_us": "English (US)",
428     "pl_pl": "polski",
429 }
430 ```
431
432 Early versions of _Black_ used to ruthlessly collapse those into one line (it fits!).
433 Now, you can communicate that you don't want that by putting a trailing comma in the
434 collection yourself. When you do, _Black_ will know to always explode your collection
435 into one item per line.
436
437 How do you make it stop? Just delete that trailing comma and _Black_ will collapse your
438 collection into one line if it fits.
439
440 If you must, you can recover the behaviour of early versions of _Black_ with the option
441 `--skip-magic-trailing-comma` / `-C`.
442
443 ### r"strings" and R"strings"
444
445 _Black_ normalizes string quotes as well as string prefixes, making them lowercase. One
446 exception to this rule is r-strings. It turns out that the very popular
447 [MagicPython](https://github.com/MagicStack/MagicPython/) syntax highlighter, used by
448 default by (among others) GitHub and Visual Studio Code, differentiates between
449 r-strings and R-strings. The former are syntax highlighted as regular expressions while
450 the latter are treated as true raw strings with no special semantics.
451
452 ### AST before and after formatting
453
454 When run with `--safe`, _Black_ checks that the code before and after is semantically
455 equivalent. This check is done by comparing the AST of the source with the AST of the
456 target. There are three limited cases in which the AST does differ:
457
458 1. _Black_ cleans up leading and trailing whitespace of docstrings, re-indenting them if
459    needed. It's been one of the most popular user-reported features for the formatter to
460    fix whitespace issues with docstrings. While the result is technically an AST
461    difference, due to the various possibilities of forming docstrings, all realtime use
462    of docstrings that we're aware of sanitizes indentation and leading/trailing
463    whitespace anyway.
464
465 1. _Black_ manages optional parentheses for some statements. In the case of the `del`
466    statement, presence of wrapping parentheses or lack of thereof changes the resulting
467    AST but is semantically equivalent in the interpreter.
468
469 1. _Black_ might move comments around, which includes type comments. Those are part of
470    the AST as of Python 3.8. While the tool implements a number of special cases for
471    those comments, there is no guarantee they will remain where they were in the source.
472    Note that this doesn't change runtime behavior of the source code.
473
474 To put things in perspective, the code equivalence check is a feature of _Black_ which
475 other formatters don't implement at all. It is of crucial importance to us to ensure
476 code behaves the way it did before it got reformatted. We treat this as a feature and
477 there are no plans to relax this in the future. The exceptions enumerated above stem
478 from either user feedback or implementation details of the tool. In each case we made
479 due diligence to ensure that the AST divergence is of no practical consequence.