]> git.madduck.net Git - etc/vim.git/blob - docs/the_black_code_style/current_style.md

madduck's git repository

Every one of the projects in this repository is available at the canonical URL git://git.madduck.net/madduck/pub/<projectpath> — see each project's metadata for the exact URL.

All patches and comments are welcome. Please squash your changes to logical commits before using git-format-patch and git-send-email to patches@git.madduck.net. If you'd read over the Git project's submission guidelines and adhered to them, I'd be especially grateful.

SSH access, as well as push access can be individually arranged.

If you use my repositories frequently, consider adding the following snippet to ~/.gitconfig and using the third clone URL listed for each project:

[url "git://git.madduck.net/madduck/"]
  insteadOf = madduck:

Remove docker CI from look at 'master' branch (#2209)
[etc/vim.git] / docs / the_black_code_style / current_style.md
1 # The _Black_ code style
2
3 ## Code style
4
5 _Black_ reformats entire files in place. Style configuration options are deliberately
6 limited and rarely added. It doesn't take previous formatting into account, except for
7 the magic trailing comma and preserving newlines. It doesn't reformat blocks that start
8 with `# fmt: off` and end with `# fmt: on`, or lines that ends with `# fmt: skip`.
9 `# fmt: on/off` have to be on the same level of indentation. It also recognizes
10 [YAPF](https://github.com/google/yapf)'s block comments to the same effect, as a
11 courtesy for straddling code.
12
13 ### How _Black_ wraps lines
14
15 _Black_ ignores previous formatting and applies uniform horizontal and vertical
16 whitespace to your code. The rules for horizontal whitespace can be summarized as: do
17 whatever makes `pycodestyle` happy. The coding style used by _Black_ can be viewed as a
18 strict subset of PEP 8.
19
20 As for vertical whitespace, _Black_ tries to render one full expression or simple
21 statement per line. If this fits the allotted line length, great.
22
23 ```py3
24 # in:
25
26 j = [1,
27      2,
28      3
29 ]
30
31 # out:
32
33 j = [1, 2, 3]
34 ```
35
36 If not, _Black_ will look at the contents of the first outer matching brackets and put
37 that in a separate indented line.
38
39 ```py3
40 # in:
41
42 ImportantClass.important_method(exc, limit, lookup_lines, capture_locals, extra_argument)
43
44 # out:
45
46 ImportantClass.important_method(
47     exc, limit, lookup_lines, capture_locals, extra_argument
48 )
49 ```
50
51 If that still doesn't fit the bill, it will decompose the internal expression further
52 using the same rule, indenting matching brackets every time. If the contents of the
53 matching brackets pair are comma-separated (like an argument list, or a dict literal,
54 and so on) then _Black_ will first try to keep them on the same line with the matching
55 brackets. If that doesn't work, it will put all of them in separate lines.
56
57 ```py3
58 # in:
59
60 def very_important_function(template: str, *variables, file: os.PathLike, engine: str, header: bool = True, debug: bool = False):
61     """Applies `variables` to the `template` and writes to `file`."""
62     with open(file, 'w') as f:
63         ...
64
65 # out:
66
67 def very_important_function(
68     template: str,
69     *variables,
70     file: os.PathLike,
71     engine: str,
72     header: bool = True,
73     debug: bool = False,
74 ):
75     """Applies `variables` to the `template` and writes to `file`."""
76     with open(file, "w") as f:
77         ...
78 ```
79
80 (labels/why-no-backslashes)=
81
82 _Black_ prefers parentheses over backslashes, and will remove backslashes if found.
83
84 ```py3
85 # in:
86
87 if some_short_rule1 \
88   and some_short_rule2:
89       ...
90
91 # out:
92
93 if some_short_rule1 and some_short_rule2:
94   ...
95
96
97 # in:
98
99 if some_long_rule1 \
100   and some_long_rule2:
101     ...
102
103 # out:
104
105 if (
106     some_long_rule1
107     and some_long_rule2
108 ):
109     ...
110
111 ```
112
113 Backslashes and multiline strings are one of the two places in the Python grammar that
114 break significant indentation. You never need backslashes, they are used to force the
115 grammar to accept breaks that would otherwise be parse errors. That makes them confusing
116 to look at and brittle to modify. This is why _Black_ always gets rid of them.
117
118 If you're reaching for backslashes, that's a clear signal that you can do better if you
119 slightly refactor your code. I hope some of the examples above show you that there are
120 many ways in which you can do it.
121
122 You might have noticed that closing brackets are always dedented and that a trailing
123 comma is always added. Such formatting produces smaller diffs; when you add or remove an
124 element, it's always just one line. Also, having the closing bracket dedented provides a
125 clear delimiter between two distinct sections of the code that otherwise share the same
126 indentation level (like the arguments list and the docstring in the example above).
127
128 If a data structure literal (tuple, list, set, dict) or a line of "from" imports cannot
129 fit in the allotted length, it's always split into one element per line. This minimizes
130 diffs as well as enables readers of code to find which commit introduced a particular
131 entry. This also makes _Black_ compatible with [isort](https://pypi.org/p/isort/) with
132 the following configuration.
133
134 <details>
135 <summary>A compatible `.isort.cfg`</summary>
136
137 ```cfg
138 [settings]
139 multi_line_output = 3
140 include_trailing_comma = True
141 force_grid_wrap = 0
142 use_parentheses = True
143 ensure_newline_before_comments = True
144 line_length = 88
145 ```
146
147 The equivalent command line is:
148
149 ```
150 $ isort --multi-line=3 --trailing-comma --force-grid-wrap=0 --use-parentheses --line-width=88 [ file.py ]
151 ```
152
153 </details>
154
155 ### Line length
156
157 You probably noticed the peculiar default line length. _Black_ defaults to 88 characters
158 per line, which happens to be 10% over 80. This number was found to produce
159 significantly shorter files than sticking with 80 (the most popular), or even 79 (used
160 by the standard library). In general,
161 [90-ish seems like the wise choice](https://youtu.be/wf-BqAjZb8M?t=260).
162
163 If you're paid by the line of code you write, you can pass `--line-length` with a lower
164 number. _Black_ will try to respect that. However, sometimes it won't be able to without
165 breaking other rules. In those rare cases, auto-formatted code will exceed your allotted
166 limit.
167
168 You can also increase it, but remember that people with sight disabilities find it
169 harder to work with line lengths exceeding 100 characters. It also adversely affects
170 side-by-side diff review on typical screen resolutions. Long lines also make it harder
171 to present code neatly in documentation or talk slides.
172
173 If you're using Flake8, you can bump `max-line-length` to 88 and mostly forget about it.
174 However, it's better if you use [Bugbear](https://github.com/PyCQA/flake8-bugbear)'s
175 B950 warning instead of E501, and bump the max line length to 88 (or the `--line-length`
176 you used for black), which will align more with black's _"try to respect
177 `--line-length`, but don't become crazy if you can't"_. You'd do it like this:
178
179 ```ini
180 [flake8]
181 max-line-length = 88
182 ...
183 select = C,E,F,W,B,B950
184 extend-ignore = E203, E501
185 ```
186
187 Explanation of why E203 is disabled can be found further in this documentation. And if
188 you're curious about the reasoning behind B950,
189 [Bugbear's documentation](https://github.com/PyCQA/flake8-bugbear#opinionated-warnings)
190 explains it. The tl;dr is "it's like highway speed limits, we won't bother you if you
191 overdo it by a few km/h".
192
193 **If you're looking for a minimal, black-compatible flake8 configuration:**
194
195 ```ini
196 [flake8]
197 max-line-length = 88
198 extend-ignore = E203
199 ```
200
201 ### Empty lines
202
203 _Black_ avoids spurious vertical whitespace. This is in the spirit of PEP 8 which says
204 that in-function vertical whitespace should only be used sparingly.
205
206 _Black_ will allow single empty lines inside functions, and single and double empty
207 lines on module level left by the original editors, except when they're within
208 parenthesized expressions. Since such expressions are always reformatted to fit minimal
209 space, this whitespace is lost.
210
211 It will also insert proper spacing before and after function definitions. It's one line
212 before and after inner functions and two lines before and after module-level functions
213 and classes. _Black_ will not put empty lines between function/class definitions and
214 standalone comments that immediately precede the given function/class.
215
216 _Black_ will enforce single empty lines between a class-level docstring and the first
217 following field or method. This conforms to
218 [PEP 257](https://www.python.org/dev/peps/pep-0257/#multi-line-docstrings).
219
220 _Black_ won't insert empty lines after function docstrings unless that empty line is
221 required due to an inner function starting immediately after.
222
223 ### Trailing commas
224
225 _Black_ will add trailing commas to expressions that are split by comma where each
226 element is on its own line. This includes function signatures.
227
228 One exception to adding trailing commas is function signatures containing `*`, `*args`,
229 or `**kwargs`. In this case a trailing comma is only safe to use on Python 3.6. _Black_
230 will detect if your file is already 3.6+ only and use trailing commas in this situation.
231 If you wonder how it knows, it looks for f-strings and existing use of trailing commas
232 in function signatures that have stars in them. In other words, if you'd like a trailing
233 comma in this situation and _Black_ didn't recognize it was safe to do so, put it there
234 manually and _Black_ will keep it.
235
236 A pre-existing trailing comma informs _Black_ to always explode contents of the current
237 bracket pair into one item per line. Read more about this in the
238 [Pragmatism](#pragmatism) section below.
239
240 ### Strings
241
242 _Black_ prefers double quotes (`"` and `"""`) over single quotes (`'` and `'''`). It
243 will replace the latter with the former as long as it does not result in more backslash
244 escapes than before.
245
246 _Black_ also standardizes string prefixes, making them always lowercase. On top of that,
247 if your code is already Python 3.6+ only or it's using the `unicode_literals` future
248 import, _Black_ will remove `u` from the string prefix as it is meaningless in those
249 scenarios.
250
251 The main reason to standardize on a single form of quotes is aesthetics. Having one kind
252 of quotes everywhere reduces reader distraction. It will also enable a future version of
253 _Black_ to merge consecutive string literals that ended up on the same line (see
254 [#26](https://github.com/psf/black/issues/26) for details).
255
256 Why settle on double quotes? They anticipate apostrophes in English text. They match the
257 docstring standard described in
258 [PEP 257](https://www.python.org/dev/peps/pep-0257/#what-is-a-docstring). An empty
259 string in double quotes (`""`) is impossible to confuse with a one double-quote
260 regardless of fonts and syntax highlighting used. On top of this, double quotes for
261 strings are consistent with C which Python interacts a lot with.
262
263 On certain keyboard layouts like US English, typing single quotes is a bit easier than
264 double quotes. The latter requires use of the Shift key. My recommendation here is to
265 keep using whatever is faster to type and let _Black_ handle the transformation.
266
267 If you are adopting _Black_ in a large project with pre-existing string conventions
268 (like the popular
269 ["single quotes for data, double quotes for human-readable strings"](https://stackoverflow.com/a/56190)),
270 you can pass `--skip-string-normalization` on the command line. This is meant as an
271 adoption helper, avoid using this for new projects.
272
273 As an experimental option (can be enabled by `--experimental-string-processing`),
274 _Black_ splits long strings (using parentheses where appropriate) and merges short ones.
275 When split, parts of f-strings that don't need formatting are converted to plain
276 strings. User-made splits are respected when they do not exceed the line length limit.
277 Line continuation backslashes are converted into parenthesized strings. Unnecessary
278 parentheses are stripped. Because the functionality is experimental, feedback and issue
279 reports are highly encouraged!
280
281 _Black_ also processes docstrings. Firstly the indentation of docstrings is corrected
282 for both quotations and the text within, although relative indentation in the text is
283 preserved. Superfluous trailing whitespace on each line and unnecessary new lines at the
284 end of the docstring are removed. All leading tabs are converted to spaces, but tabs
285 inside text are preserved. Whitespace leading and trailing one-line docstrings is
286 removed. The quotations of an empty docstring are separated with one space.
287
288 ### Numeric literals
289
290 _Black_ standardizes most numeric literals to use lowercase letters for the syntactic
291 parts and uppercase letters for the digits themselves: `0xAB` instead of `0XAB` and
292 `1e10` instead of `1E10`. Python 2 long literals are styled as `2L` instead of `2l` to
293 avoid confusion between `l` and `1`.
294
295 ### Line breaks & binary operators
296
297 _Black_ will break a line before a binary operator when splitting a block of code over
298 multiple lines. This is so that _Black_ is compliant with the recent changes in the
299 [PEP 8](https://www.python.org/dev/peps/pep-0008/#should-a-line-break-before-or-after-a-binary-operator)
300 style guide, which emphasizes that this approach improves readability.
301
302 ### Slices
303
304 PEP 8
305 [recommends](https://www.python.org/dev/peps/pep-0008/#whitespace-in-expressions-and-statements)
306 to treat `:` in slices as a binary operator with the lowest priority, and to leave an
307 equal amount of space on either side, except if a parameter is omitted (e.g.
308 `ham[1 + 1 :]`). It recommends no spaces around `:` operators for "simple expressions"
309 (`ham[lower:upper]`), and extra space for "complex expressions"
310 (`ham[lower : upper + offset]`). _Black_ treats anything more than variable names as
311 "complex" (`ham[lower : upper + 1]`). It also states that for extended slices, both `:`
312 operators have to have the same amount of spacing, except if a parameter is omitted
313 (`ham[1 + 1 ::]`). _Black_ enforces these rules consistently.
314
315 This behaviour may raise `E203 whitespace before ':'` warnings in style guide
316 enforcement tools like Flake8. Since `E203` is not PEP 8 compliant, you should tell
317 Flake8 to ignore these warnings.
318
319 ### Parentheses
320
321 Some parentheses are optional in the Python grammar. Any expression can be wrapped in a
322 pair of parentheses to form an atom. There are a few interesting cases:
323
324 - `if (...):`
325 - `while (...):`
326 - `for (...) in (...):`
327 - `assert (...), (...)`
328 - `from X import (...)`
329 - assignments like:
330   - `target = (...)`
331   - `target: type = (...)`
332   - `some, *un, packing = (...)`
333   - `augmented += (...)`
334
335 In those cases, parentheses are removed when the entire statement fits in one line, or
336 if the inner expression doesn't have any delimiters to further split on. If there is
337 only a single delimiter and the expression starts or ends with a bracket, the
338 parentheses can also be successfully omitted since the existing bracket pair will
339 organize the expression neatly anyway. Otherwise, the parentheses are added.
340
341 Please note that _Black_ does not add or remove any additional nested parentheses that
342 you might want to have for clarity or further code organization. For example those
343 parentheses are not going to be removed:
344
345 ```py3
346 return not (this or that)
347 decision = (maybe.this() and values > 0) or (maybe.that() and values < 0)
348 ```
349
350 ### Call chains
351
352 Some popular APIs, like ORMs, use call chaining. This API style is known as a
353 [fluent interface](https://en.wikipedia.org/wiki/Fluent_interface). _Black_ formats
354 those by treating dots that follow a call or an indexing operation like a very low
355 priority delimiter. It's easier to show the behavior than to explain it. Look at the
356 example:
357
358 ```py3
359 def example(session):
360     result = (
361         session.query(models.Customer.id)
362         .filter(
363             models.Customer.account_id == account_id,
364             models.Customer.email == email_address,
365         )
366         .order_by(models.Customer.id.asc())
367         .all()
368     )
369 ```
370
371 ### Typing stub files
372
373 PEP 484 describes the syntax for type hints in Python. One of the use cases for typing
374 is providing type annotations for modules which cannot contain them directly (they might
375 be written in C, or they might be third-party, or their implementation may be overly
376 dynamic, and so on).
377
378 To solve this,
379 [stub files with the `.pyi` file extension](https://www.python.org/dev/peps/pep-0484/#stub-files)
380 can be used to describe typing information for an external module. Those stub files omit
381 the implementation of classes and functions they describe, instead they only contain the
382 structure of the file (listing globals, functions, and classes with their members). The
383 recommended code style for those files is more terse than PEP 8:
384
385 - prefer `...` on the same line as the class/function signature;
386 - avoid vertical whitespace between consecutive module-level functions, names, or
387   methods and fields within a single class;
388 - use a single blank line between top-level class definitions, or none if the classes
389   are very small.
390
391 _Black_ enforces the above rules. There are additional guidelines for formatting `.pyi`
392 file that are not enforced yet but might be in a future version of the formatter:
393
394 - all function bodies should be empty (contain `...` instead of the body);
395 - do not use docstrings;
396 - prefer `...` over `pass`;
397 - for arguments with a default, use `...` instead of the actual default;
398 - avoid using string literals in type annotations, stub files support forward references
399   natively (like Python 3.7 code with `from __future__ import annotations`);
400 - use variable annotations instead of type comments, even for stubs that target older
401   versions of Python;
402 - for arguments that default to `None`, use `Optional[]` explicitly;
403 - use `float` instead of `Union[int, float]`.
404
405 ## Pragmatism
406
407 Early versions of _Black_ used to be absolutist in some respects. They took after its
408 initial author. This was fine at the time as it made the implementation simpler and
409 there were not many users anyway. Not many edge cases were reported. As a mature tool,
410 _Black_ does make some exceptions to rules it otherwise holds. This section documents
411 what those exceptions are and why this is the case.
412
413 ### The magic trailing comma
414
415 _Black_ in general does not take existing formatting into account.
416
417 However, there are cases where you put a short collection or function call in your code
418 but you anticipate it will grow in the future.
419
420 For example:
421
422 ```py3
423 TRANSLATIONS = {
424     "en_us": "English (US)",
425     "pl_pl": "polski",
426 }
427 ```
428
429 Early versions of _Black_ used to ruthlessly collapse those into one line (it fits!).
430 Now, you can communicate that you don't want that by putting a trailing comma in the
431 collection yourself. When you do, _Black_ will know to always explode your collection
432 into one item per line.
433
434 How do you make it stop? Just delete that trailing comma and _Black_ will collapse your
435 collection into one line if it fits.
436
437 If you must, you can recover the behaviour of early versions of _Black_ with the option
438 `--skip-magic-trailing-comma` / `-C`.
439
440 ### r"strings" and R"strings"
441
442 _Black_ normalizes string quotes as well as string prefixes, making them lowercase. One
443 exception to this rule is r-strings. It turns out that the very popular
444 [MagicPython](https://github.com/MagicStack/MagicPython/) syntax highlighter, used by
445 default by (among others) GitHub and Visual Studio Code, differentiates between
446 r-strings and R-strings. The former are syntax highlighted as regular expressions while
447 the latter are treated as true raw strings with no special semantics.
448
449 ### AST before and after formatting
450
451 When run with `--safe`, _Black_ checks that the code before and after is semantically
452 equivalent. This check is done by comparing the AST of the source with the AST of the
453 target. There are three limited cases in which the AST does differ:
454
455 1. _Black_ cleans up leading and trailing whitespace of docstrings, re-indenting them if
456    needed. It's been one of the most popular user-reported features for the formatter to
457    fix whitespace issues with docstrings. While the result is technically an AST
458    difference, due to the various possibilities of forming docstrings, all realtime use
459    of docstrings that we're aware of sanitizes indentation and leading/trailing
460    whitespace anyway.
461
462 1. _Black_ manages optional parentheses for some statements. In the case of the `del`
463    statement, presence of wrapping parentheses or lack of thereof changes the resulting
464    AST but is semantically equivalent in the interpreter.
465
466 1. _Black_ might move comments around, which includes type comments. Those are part of
467    the AST as of Python 3.8. While the tool implements a number of special cases for
468    those comments, there is no guarantee they will remain where they were in the source.
469    Note that this doesn't change runtime behavior of the source code.
470
471 To put things in perspective, the code equivalence check is a feature of _Black_ which
472 other formatters don't implement at all. It is of crucial importance to us to ensure
473 code behaves the way it did before it got reformatted. We treat this as a feature and
474 there are no plans to relax this in the future. The exceptions enumerated above stem
475 from either user feedback or implementation details of the tool. In each case we made
476 due diligence to ensure that the AST divergence is of no practical consequence.