]> git.madduck.net Git - etc/vim.git/log

madduck's git repository

Every one of the projects in this repository is available at the canonical URL git://git.madduck.net/madduck/pub/<projectpath> — see each project's metadata for the exact URL.

All patches and comments are welcome. Please squash your changes to logical commits before using git-format-patch and git-send-email to patches@git.madduck.net. If you'd read over the Git project's submission guidelines and adhered to them, I'd be especially grateful.

SSH access, as well as push access can be individually arranged.

If you use my repositories frequently, consider adding the following snippet to ~/.gitconfig and using the third clone URL listed for each project:

[url "git://git.madduck.net/madduck/"]
  insteadOf = madduck:

etc/vim.git
2 years agoMake star-expression spacing consistent in match/case (#2667)
Batuhan Taskaya [Fri, 3 Dec 2021 14:49:33 +0000 (17:49 +0300)]
Make star-expression spacing consistent in match/case (#2667)

2 years agoRemove regex dependency (GH-2663)
Jelle Zijlstra [Thu, 2 Dec 2021 22:35:02 +0000 (14:35 -0800)]
Remove regex dependency (GH-2663)

We were no longer using it since GH-2644 and GH-2654. This should hopefully
make using Black easier to use as there's one less compiled dependency.
The core team also doesn't have to deal with the surprisingly frequent fires
the regex packaging setup goes through.

Co-authored-by: Richard Si <63936253+ichard26@users.noreply.github.com>
2 years agoEnsure match/case are recognized as statements (#2665)
Batuhan Taskaya [Thu, 2 Dec 2021 17:58:22 +0000 (20:58 +0300)]
Ensure match/case are recognized as statements (#2665)

2 years agoTreat functions/classes in blocks as if they're nested (GH-2472)
Richard Si [Wed, 1 Dec 2021 23:05:59 +0000 (18:05 -0500)]
Treat functions/classes in blocks as if they're nested (GH-2472)

* Treat functions/classes in blocks as if they're nested

One curveball is that we still want two preceding newlines before blocks
that are probably logically disconnected. In other words:

    if condition:

        def foo():
            return "hi"
                             # <- aside: this is the goal of this commit
    else:

        def foo():
            return "cya"
                             # <- the two newlines spacing here should stay
                             #    since this probably isn't related
    with open("db.json", encoding="utf-8") as f:
        data = f.read()

Unfortunately that means we have to special case specific clause types
instead of just being able to just for a colon leaf. The hack used here
is to check whether we're adding preceding newlines for a standalone or
dependent clause. "Standalone" being a clause that doesn't need another
clause to be valid (eg. if) and vice versa.

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>
2 years agoslightly better example link (#2617)
Jelle Zijlstra [Wed, 1 Dec 2021 21:47:33 +0000 (13:47 -0800)]
slightly better example link (#2617)

Since we also need to update two places in the docs

2 years agoFix determination of f-string expression spans (#2654)
Shantanu [Wed, 1 Dec 2021 17:52:24 +0000 (09:52 -0800)]
Fix determination of f-string expression spans (#2654)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>
2 years agofix error message for match (#2649)
Jelle Zijlstra [Wed, 1 Dec 2021 02:39:39 +0000 (18:39 -0800)]
fix error message for match (#2649)

Fixes #2648.

Co-authored-by: Batuhan Taskaya <isidentical@gmail.com>
2 years agoReduce usage of regex (#2644)
Jelle Zijlstra [Wed, 1 Dec 2021 02:01:36 +0000 (18:01 -0800)]
Reduce usage of regex (#2644)

This removes all but one usage of the `regex` dependency. Tricky bits included:
- A bug in test_black.py where we were incorrectly using a character range. Fix also submitted separately in #2643.
- `tokenize.py` was the original use case for regex (#1047). The important bit is that we rely on `\w` to match anything valid in an identifier, and `re` fails to match a few characters as part of identifiers. My solution is to instead match all characters *except* those we know to mean something else in Python: whitespace and ASCII punctuation. This will make Black able to parse some invalid Python programs, like those that contain non-ASCII punctuation in the place of an identifier, but that seems fine to me.
- One import of `regex` remains, in `trans.py`. We use a recursive regex to parse f-strings, and only `regex` supports that. I haven't thought of a better fix there (except maybe writing a manual parser), so I'm leaving that for now.

My goal is to remove the `regex` dependency to reduce the risk of breakage due to dependencies and make life easier for users on platforms without wheels.

2 years agoFix line generation for `match match:` / `case case:` (GH-2661)
Batuhan Taskaya [Tue, 30 Nov 2021 20:56:38 +0000 (23:56 +0300)]
Fix line generation for `match match:` / `case case:` (GH-2661)

2 years agoadd FAQ entry about undetected syntax errors (#2645)
Jelle Zijlstra [Tue, 30 Nov 2021 20:34:45 +0000 (12:34 -0800)]
add FAQ entry about undetected syntax errors (#2645)

This came up in #2644.

2 years agoRemove hidden import from PyInstaller build (#2657)
Jameel Al-Aziz [Tue, 30 Nov 2021 16:20:27 +0000 (08:20 -0800)]
Remove hidden import from PyInstaller build (#2657)

The recent 2021.4 release of pyinstaller-hooks-contrib now contains a
built-in hook for platformdirs. Manually specifying the hidden import
arg should no longer be needed.

2 years agoAllow top-level starred expression on match (#2659)
Batuhan Taskaya [Tue, 30 Nov 2021 15:52:25 +0000 (18:52 +0300)]
Allow top-level starred expression on match (#2659)

Fixes #2647

2 years agoReturn `NothingChanged` if non-Python cell magic is detected, to avoid tokenize error...
Daniel Sparing [Mon, 29 Nov 2021 23:07:35 +0000 (18:07 -0500)]
Return `NothingChanged` if non-Python cell magic is detected, to avoid tokenize error (#2630)

Fixes https://github.com/psf/black/issues/2627 , a non-Python cell magic such as `%%writeline` can legitimately contain "incorrect" indentation, however this causes `tokenize-rt` to return an error. To avoid this, `validate_cell` should early detect cell magics (just like it detects `TransformerManager` transformations).

Test added too, in the shape of a "badly indented" `%%writefile` within `test_non_python_magics`.

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>
Co-authored-by: Marco Edward Gorelli <marcogorelli@protonmail.com>
2 years agoadd more flake8 lints (#2653)
danieleades [Mon, 29 Nov 2021 02:20:52 +0000 (02:20 +0000)]
add more flake8 lints (#2653)

2 years agoadd missing f-string (#2650)
Marco Edward Gorelli [Sat, 27 Nov 2021 02:53:16 +0000 (02:53 +0000)]
add missing f-string (#2650)

2 years ago Assignment to env var in Jupyter Notebook doesn't round-trip (#2642)
Marco Edward Gorelli [Fri, 26 Nov 2021 16:14:57 +0000 (16:14 +0000)]
 Assignment to env var in Jupyter Notebook doesn't round-trip (#2642)

closes #2641

2 years agofix regex (#2643)
Jelle Zijlstra [Fri, 26 Nov 2021 02:34:19 +0000 (18:34 -0800)]
fix regex (#2643)

2 years agoREADME: Add KeepTruckin to the list of orgs (GH-2638)
Wael Nasreddine [Fri, 26 Nov 2021 01:09:47 +0000 (17:09 -0800)]
README: Add KeepTruckin to the list of orgs (GH-2638)

At KT, we used Black to format all Python code in our Mono-repo.

Co-authored-by: Richard Si <63936253+ichard26@users.noreply.github.com>
2 years agogrammar: accept open sequences on match subject (GH-2639)
Batuhan Taskaya [Thu, 25 Nov 2021 01:21:36 +0000 (04:21 +0300)]
grammar: accept open sequences on match subject (GH-2639)

* grammar: accept open sequences on match subject
* give an example about the fixed match subject

3 years agoChange `cfg` to `ini` for text highlighting (#2632)
Ash [Sun, 21 Nov 2021 15:02:08 +0000 (15:02 +0000)]
Change `cfg` to `ini` for text highlighting (#2632)

3 years agoFix process pool fallback on Python 3.10 (GH-2631)
Matthew D. Scholefield [Sat, 20 Nov 2021 19:25:30 +0000 (11:25 -0800)]
Fix process pool fallback on Python 3.10 (GH-2631)

In Python 3.10 the exception generated by creating a process pool on
a Python build that doesn't support this is now `NotImplementedError`

Commit history before merge:

* Fix process pool fallback on Python 3.10
* Update CHANGES.md
* Update CHANGES.md

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>
3 years agoFix mypyc compat issue w/ AST safety check (GH-2628)
Richard Si [Fri, 19 Nov 2021 03:20:44 +0000 (22:20 -0500)]
Fix mypyc compat issue w/ AST safety check (GH-2628)

I can't wait for when we drop Python 2 support FWIW :)

3 years agoprepare release 2021.11b1 (#2622)
Jelle Zijlstra [Thu, 18 Nov 2021 03:51:49 +0000 (19:51 -0800)]
prepare release 2021.11b1 (#2622)

3 years agoBump regex dependency to 2021.4.4 to fix import of Pattern class (#2621)
Rowan Seymour [Thu, 18 Nov 2021 03:46:28 +0000 (22:46 -0500)]
Bump regex dependency to 2021.4.4 to fix import of Pattern class (#2621)

Fixes #2620

3 years agoprepare release 21.11b0 (#2616)
Jelle Zijlstra [Wed, 17 Nov 2021 02:30:19 +0000 (18:30 -0800)]
prepare release 21.11b0 (#2616)

3 years agofix vim plugin (#2615)
Jelle Zijlstra [Wed, 17 Nov 2021 02:22:32 +0000 (18:22 -0800)]
fix vim plugin (#2615)

3 years agoFix 3.10's supported features (#2614)
Richard Si [Tue, 16 Nov 2021 05:07:25 +0000 (00:07 -0500)]
Fix 3.10's supported features (#2614)

3 years agoImplementing mypyc support pt. 2 (#2431)
Richard Si [Tue, 16 Nov 2021 04:24:16 +0000 (23:24 -0500)]
Implementing mypyc support pt. 2  (#2431)

3 years agovim: Parse skip_magic_trailing_comma from pyproject.toml (#2613)
Jelle Zijlstra [Tue, 16 Nov 2021 03:03:47 +0000 (19:03 -0800)]
vim: Parse skip_magic_trailing_comma from pyproject.toml (#2613)

Co-authored-by: Kyle Kovacs <kkovacs@diconfiberoptics.com>
3 years agoDocker image usage description (#2412)
pszlazak [Tue, 16 Nov 2021 02:47:21 +0000 (03:47 +0100)]
Docker image usage description (#2412)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>
3 years agoblack/parser: optimize deepcopying nodes (#2611)
Batuhan Taskaya [Tue, 16 Nov 2021 02:38:40 +0000 (05:38 +0300)]
black/parser: optimize deepcopying nodes (#2611)

The implementation of the new backtracking logic depends heavily on deepcopying the current state of the parser before seeing one of the new keywords, which by default is an very expensive operations. On my system, formatting these 3 files takes 1.3 seconds.

```
 $ touch tests/data/pattern_matching_*; time python -m black -tpy310 tests/data/pattern_matching_*             19ms
All done! ✨ 🍰 ✨
3 files left unchanged.
python -m black -tpy310 tests/data/pattern_matching_*  2,09s user 0,04s system 157% cpu 1,357 total
```

which can be optimized 3X if we integrate the existing copying logic (`clone`) to the deepcopy system;
```
 $ touch tests/data/pattern_matching_*; time python -m black -tpy310 tests/data/pattern_matching_*              1ms
All done! ✨ 🍰 ✨
3 files left unchanged.
python -m black -tpy310 tests/data/pattern_matching_*  0,66s user 0,02s system 147% cpu 0,464 total
```

This still might have some potential, but that would be way trickier than this initial patch.

3 years agoRemoved distutils import from autoload/black.vim (#2607) (#2610)
Michal Siska [Mon, 15 Nov 2021 16:51:56 +0000 (17:51 +0100)]
Removed distutils import from autoload/black.vim (#2607) (#2610)

3 years agoDeclare support for Python 3.10 (#2562)
Hugo van Kemenade [Sun, 14 Nov 2021 14:37:06 +0000 (16:37 +0200)]
Declare support for Python 3.10 (#2562)

3 years agoblack/parser: support as-exprs within call args (#2608)
Batuhan Taskaya [Sun, 14 Nov 2021 14:04:31 +0000 (17:04 +0300)]
black/parser: support as-exprs within call args (#2608)

3 years agoAllow install under pypy (#2559)
Oliver Margetts [Sun, 14 Nov 2021 03:46:15 +0000 (03:46 +0000)]
Allow install under pypy (#2559)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>
Co-authored-by: Richard Si <63936253+ichard26@users.noreply.github.com>
3 years agoblack/parser: partial support for pattern matching (#2586)
Batuhan Taskaya [Sun, 14 Nov 2021 03:15:31 +0000 (06:15 +0300)]
black/parser: partial support for pattern matching (#2586)

Partial implementation for #2242. Only works when explicitly stated -t py310.

Co-authored-by: Richard Si <63936253+ichard26@users.noreply.github.com>
3 years agoBump deps in Pipfile.lock (GH-2605)
Richard Si [Sat, 13 Nov 2021 01:41:46 +0000 (20:41 -0500)]
Bump deps in Pipfile.lock (GH-2605)

Mostly because the hashes for typed-ast were valid for 1.4.2 when the
version is pinned to 1.4.3 ... pipenv is pleasant to use /s

3 years agoFix typos (#2603)
Kian Meng Ang [Fri, 12 Nov 2021 03:02:43 +0000 (11:02 +0800)]
Fix typos (#2603)

3 years agoImprove Python 2 only syntax detection (GH-2592)
Richard Si [Fri, 12 Nov 2021 01:28:48 +0000 (20:28 -0500)]
Improve Python 2 only syntax detection (GH-2592)

* Improve Python 2 only syntax detection

First of all this fixes a mistake I made in Python 2 deprecation PR
using token.* to check for print/exec statements. Turns out that
for nodes with a type value higher than 256 its numeric type isn't
guaranteed to be constant. Using syms.* instead fixes this.

Also add support for the following cases:

    print "hello, world!"

    exec "print('hello, world!')"

    def set_position((x, y), value):
        pass

    try:
        pass
    except Exception, err:
        pass

    raise RuntimeError, "I feel like crashing today :p"

    `wow_these_really_did_exist`

    10L

* Add octal support, more test cases, and fixup long ints

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>
Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>
3 years agoprimer: Hypothesis now requires Python>=3.8 (GH-2602)
Richard Si [Thu, 11 Nov 2021 22:52:13 +0000 (17:52 -0500)]
primer: Hypothesis now requires Python>=3.8 (GH-2602)

looks like their project dev tooling uses some newer syntax or something

3 years agoAdd a missing space in Python 2 deprecation (GH-2590)
LordOfPolls [Sat, 6 Nov 2021 16:04:27 +0000 (16:04 +0000)]
Add a missing space in Python 2 deprecation (GH-2590)

`DEPRECATION: Python 2 support will be removed in the first stable releaseexpected in January 2022` - > `DEPRECATION: Python 2 support will be removed in the first stable release expected in January 2022`

3 years agoUpdate CHANGES.md for 21.10b0 release (#2583)
Cooper Lees [Mon, 1 Nov 2021 00:59:39 +0000 (17:59 -0700)]
Update CHANGES.md for 21.10b0 release (#2583)

* Update CHANGES.md for 21.10b0 release

* Update version in docs/usage_and_configuration/the_basics.md

* Also update docs/integrations/source_version_control.md ...

3 years ago install build-essential to compile dependencies and use multi-stage build (#2582)
Vincent Barbaresi [Mon, 1 Nov 2021 00:43:34 +0000 (01:43 +0100)]
 install build-essential to compile dependencies and use multi-stage build  (#2582)

- Install build-essential to avoid build issues like #2568 when dependencies don't have prebuilt wheels available
- Use multi-stage build instead of trying to purge packages and cache from the image
  Copying `/root/.local/` installs only black's built Python dependencies (< 20 MB).
  So the image is barely larger than python:3-slim base image

3 years agoDeprecate Python 2 formatting support (#2523)
Richard Si [Sun, 31 Oct 2021 23:46:12 +0000 (19:46 -0400)]
Deprecate Python 2 formatting support (#2523)

* Prepare for Python 2 depreciation

- Use BlackRunner and .stdout in command line test

So the next commit won't break this test. This is in its own commit so
we can just revert the depreciation commit when dropping Python 2
support completely.

* Deprecate Python 2 formatting support

3 years agoPin regex in docker to 2021.10.8 (GH-2579)
Cooper Lees [Sun, 31 Oct 2021 17:41:12 +0000 (10:41 -0700)]
Pin regex in docker to 2021.10.8 (GH-2579)

* Pin regex in docker to 2021.10.8
- This is due to 2021.10.8 having arm wheels and newer versions not

I will go see if I can help restore arm build @ https://bitbucket.org/mrabarnett/mrab-regex/issues/399/missing-wheel-for-macosx-and-the-new-m1 soon.

Test: Build on my M1 mac: `docker build -t cooperlees/black .`

* Add in that the pin is only for docker

3 years agoAddress mypy errors on 3.10 w/ asyncio loop parameter (#2580)
Richard Si [Sat, 30 Oct 2021 22:35:55 +0000 (18:35 -0400)]
Address mypy errors on 3.10 w/ asyncio loop parameter (#2580)

3 years agoUpdate bug template (#2538)
Felix Hildén [Sat, 30 Oct 2021 22:01:40 +0000 (01:01 +0300)]
Update bug template (#2538)

3 years agoUse STDIN project in test_projects to ensure it runs quickly (#2575)
Nipunn Koorapati [Sat, 30 Oct 2021 18:54:43 +0000 (11:54 -0700)]
Use STDIN project in test_projects to ensure it runs quickly (#2575)

Existing test was actually running a full black-primer
run which could be slow. This goes from 8 seconds to
0.4 seconds on my machine.

Needed to move to top level scope to leverage the caplog
feature of pytest in order to test that the command line
was parsing the bogus arguments and dumping to stderr.

3 years agoAdd Tesla to organizations list (#2577)
Roma [Sat, 30 Oct 2021 18:45:09 +0000 (11:45 -0700)]
Add Tesla to organizations list (#2577)

3 years agofix: allow tests to be run from (hopefully) any directory (GH-2574)
dawn [Sat, 30 Oct 2021 15:50:45 +0000 (11:50 -0400)]
fix: allow tests to be run from (hopefully) any directory (GH-2574)

* fix: allow tests to be run from the tests/ directory
* fix: try fixing windows build with MarcoGorelli's suggestion
* Windows hotfix + better respect test's spirit

Co-authored-by: Richard Si <63936253+ichard26@users.noreply.github.com>
3 years agoblack-primer: Print summary after individual failures (#2570)
Nipunn Koorapati [Thu, 28 Oct 2021 17:35:37 +0000 (10:35 -0700)]
black-primer: Print summary after individual failures (#2570)

If the individual failures are verbose, it's useful to have
the summary at the end. Otherwise, it can be really difficult
to figure out which projects have an issue.

3 years agoAdd --projects cli flag to black-primer (#2555)
Nipunn Koorapati [Wed, 27 Oct 2021 18:31:34 +0000 (11:31 -0700)]
Add --projects cli flag to black-primer (#2555)

* Add --projects cli flag to black-primer

Makes it possible to run a subset of projects on black primer

* Refactor into click callback

3 years agoPrint out line diff on test failure (#2552)
Nipunn Koorapati [Wed, 27 Oct 2021 14:37:20 +0000 (07:37 -0700)]
Print out line diff on test failure (#2552)

It currently prints both ASTs - this also
adds the line diff, making it much easier to visualize
the changes as well. Not too verbose since it's only a diff.

3 years agoRefactor Jupyter magic handling (#2545)
Marco Edward Gorelli [Wed, 27 Oct 2021 14:36:10 +0000 (15:36 +0100)]
Refactor Jupyter magic handling (#2545)

3 years agoRemove some unneeded exceptions from mypy.ini (#2557)
Nipunn Koorapati [Fri, 22 Oct 2021 03:59:48 +0000 (20:59 -0700)]
Remove some unneeded exceptions from mypy.ini (#2557)

3 years agoDisallow any Generics on mypy except in black_primer (#2556)
Nipunn Koorapati [Fri, 22 Oct 2021 02:38:39 +0000 (19:38 -0700)]
Disallow any Generics on mypy except in black_primer (#2556)

Only black_primer needs the disallowal - means we'll
get better typing everywhere else.

3 years agoDefine a stability policy (#2529)
Jelle Zijlstra [Thu, 21 Oct 2021 15:02:38 +0000 (08:02 -0700)]
Define a stability policy (#2529)

Fixes #2394. Eventually fixes #517.

This is essentially @pradyunsg's suggestion from #2394. I suggest that at the
same time we start the formal stability policy, we take a few other disruptive steps
and drop Python 2 and the "b" marker.

Co-authored-by: Pradyun Gedam <pradyunsg@gmail.com>
Co-authored-by: Łukasz Langa <lukasz@langa.pl>
3 years agobump sphinx so it works on Python3.10 (#2546)
Marco Edward Gorelli [Tue, 19 Oct 2021 17:52:10 +0000 (18:52 +0100)]
bump sphinx so it works on Python3.10 (#2546)

3 years agoFix feature detection for positional-only arguments in lambdas (#2532)
Zac Hatfield-Dodds [Tue, 12 Oct 2021 04:45:58 +0000 (15:45 +1100)]
Fix feature detection for positional-only arguments in lambdas (#2532)

3 years agochore(ci): use official Python 3.10 (#2521)
Mathieu Kniewallner [Tue, 5 Oct 2021 21:22:56 +0000 (23:22 +0200)]
chore(ci): use official Python 3.10 (#2521)

Python 3.10 (final) was released yesterday and is now available on GHA!

3 years agoBump typed-ast minimum to 1.4.3 for 3.10 compat (#2519)
Richard Si [Tue, 5 Oct 2021 00:36:57 +0000 (20:36 -0400)]
Bump typed-ast minimum to 1.4.3 for 3.10 compat (#2519)

3 years agoMNT: remove unnecessary test deps + some refactoring (GH-2510)
Richard Si [Sat, 2 Oct 2021 23:37:32 +0000 (19:37 -0400)]
MNT: remove unnecessary test deps + some refactoring (GH-2510)

The main goals of this commit include:

* improving consistency on how strict the test suite is -- Jelle has
  seen cases where a test did not fail to an incomplete test setup
  even though it should've
* simplifying tests for both ease of creation and reading via
  parametrization and helpers
* reorganizing the test suite by grouping more tests
* dropping test suite dependencies that aren't strictly necessary

The test suite could definitely do with more refactoring, but this is a
good first pass. Anyway it would've gotten too big to review effectively
if I did continue on this PR.

Commit history before squash merge:

* Drop parameterized dep and refactor format tests

Since the test suite is already using pytest-only features we can drop
the parameterized test dependency in favour of pytest's own offering.

I also added an utility function called assert_format that makes it
even easier to verify Black formats some code correctly. We already
have great tooling if the case is very simple in test_format.py but
any sort of complication makes it hard to use. Also if you're writing
a non-standard test case, you have to be careful to include all of
the steps so issues don't go undetected. assert_format aims to
1) improve consistency, 2) avoid wasted CPU cycles, and 3) avoid
logical errors that hide issues.

Finally, quite a few tests were either moved and/or simplified with
the new setup.

* Move file collection tests
* Add assert_collected_sources helper function

Testing source collection involves a lot of repetitive boilerplate,
something that black.files.get_sources's signature does not help with.
So to cut down on boilerplate like `report=black.Report()` I added
a convenience function to tests/test_black.py which wraps
black.get_sources. Its signature is designed to be much more lax to
make it much easier to use. Somehow this leads to cutting 100 lines!

Also IMO the test cases are much easier to read since it's more
declarative than really procedural now.

* Run isort on some test files
* Move cache tests
* Use pytest-style asserts & add parametrization
* Drop now unnecessary test dependencies

*pytest-cases might be interesting for further refactoring but I
haven't been able to wrap my head around it for the time being. We
can always revisit anyway.

3 years agoAdd --workers CLI parameter (fixes #2513) (#2514)
Fergus Mitchell [Wed, 29 Sep 2021 16:50:44 +0000 (17:50 +0100)]
Add --workers CLI parameter (fixes #2513) (#2514)

Fixes #2513

3 years agoAllow to pass the FileMode options in the vim plugin (#1319)
shaoran [Wed, 29 Sep 2021 00:31:29 +0000 (02:31 +0200)]
Allow to pass the FileMode options in the vim plugin (#1319)

3 years agoFix python_version markers in Pipfile.lock (#2511)
Richard Si [Tue, 28 Sep 2021 22:41:35 +0000 (18:41 -0400)]
Fix python_version markers in Pipfile.lock (#2511)

This took way too much effort but in the end I was able to achieve a
(mostly) functional Pipfile.lock ranging from 3.6 to 3.9 🎉

3 years agoAdd test to cover when unable to replace magics (#2471)
Marco Edward Gorelli [Sat, 25 Sep 2021 19:46:36 +0000 (20:46 +0100)]
Add test to cover when unable to replace magics (#2471)

Another follow-up from #2357, adding a test for uncovered code.

3 years agoBump required aiohttp version to 3.7.4 (#2509)
Zsolt Dollenstein [Sat, 25 Sep 2021 19:45:13 +0000 (20:45 +0100)]
Bump required aiohttp version to 3.7.4 (#2509)

Commit history before merge:

* Bump required aiohttp version to 3.7.4

This release includes an important security fix
(https://github.com/aio-libs/aiohttp/security/advisories/GHSA-v6wp-4m6f-gcjg) and many
other improvements.

* add changelog entry
* Let's not forget about Pipfile

Co-authored-by: Richard Si <63936253+ichard26@users.noreply.github.com>
3 years agore-implement simple CORS middleware for blackd (#2500)
Zsolt Dollenstein [Sat, 25 Sep 2021 11:58:44 +0000 (12:58 +0100)]
re-implement simple CORS middleware for blackd (#2500)

* re-implement simple CORS middleware for blackd
* remove aiohttp-cors from setup.py
* Remove aiohttp-cors from Pipfile.lock

Co-authored-by: Richard Si <63936253+ichard26@users.noreply.github.com>
3 years agoAdd Kedro to project list and QuantumBlack to orgs (#2502)
Deepyaman Datta [Fri, 24 Sep 2021 02:20:48 +0000 (22:20 -0400)]
Add Kedro to project list and QuantumBlack to orgs (#2502)

3 years agoDOC: cleanup pre-commit instructions following #2430 (#2481)
Clément Robert [Sun, 19 Sep 2021 09:15:39 +0000 (11:15 +0200)]
DOC: cleanup pre-commit instructions following #2430 (#2481)

3 years agoadd check for version in the-basics example (#2459)
Marco Edward Gorelli [Sun, 19 Sep 2021 03:24:09 +0000 (04:24 +0100)]
add check for version in the-basics example (#2459)

3 years agofix all b904s (#2501)
Zsolt Dollenstein [Sat, 18 Sep 2021 21:18:06 +0000 (22:18 +0100)]
fix all b904s (#2501)

3 years agoUpdate CHANGES.md for 21.9b0 release (#2494)
Jelle Zijlstra [Tue, 14 Sep 2021 02:23:11 +0000 (19:23 -0700)]
Update CHANGES.md for 21.9b0 release (#2494)

3 years agoFix missing toml extra w/ setuptools-scm (GH-2475)
Sorin Sbarnea [Mon, 6 Sep 2021 21:10:39 +0000 (22:10 +0100)]
Fix missing toml extra w/ setuptools-scm (GH-2475)

Project packaging is using TOML due to pyproject.toml but fails to
mention it, causing installation failures with newer setuptools-scm 6.3.0.

Commit history before merge:

* Fix missing toml extra

Fixed breakage uncovered by setuptools-scm 6.3.0 where installation
would fail for project that missed to mention the toml extra.

* Bump setuptools[-scm] to avoid toml extra

https://github.com/psf/black/pull/2475#issuecomment-912730714

> If you constraint greater than 6.3.0 and setuptools greater than 45
> you can skip the extra,

* Actually for safety reasons, just use the extra

Co-authored-by: Richard Si <63936253+ichard26@users.noreply.github.com>
3 years agoRemove `blackcellmagic` reference (#2477)
Marco Edward Gorelli [Sun, 5 Sep 2021 14:52:16 +0000 (15:52 +0100)]
Remove `blackcellmagic` reference (#2477)

This package seems to be unmaintained (last commit is from > 2 years ago), and `black` now runs on Jupyter Notebooks directly

3 years agoAdd hidden import to PyInstaller build (GH-2466)
Jameel Al-Aziz [Wed, 1 Sep 2021 22:05:11 +0000 (15:05 -0700)]
Add hidden import to PyInstaller build (GH-2466)

Add new platformdirs dependencies as hidden imports when creating
PyInstaller-based binaries.

platformdirs imports the module for each platform dynamically, which
PyInstaller is unable to correctly detect for packing. By adding the
modules as hidden imports, we are telling PyInstaller to include the
modules in the packaged binary.

This issue seems to have been introduce when switching to platformdirs
in #2375. fixes #2464

Commit history before merge:

* Add hidden import to PyInstaller build

Add new platformdirs dependency as a hidden import when creating
PyInstaller based binaries.

* Only include the platformdirs for the relevant os

3 years agoChange docker workflow for latest_release tag (#2468)
pszlazak [Tue, 31 Aug 2021 18:26:31 +0000 (20:26 +0200)]
Change docker workflow for latest_release tag (#2468)

3 years agofix: run pypi / docker upload from published draft releases (#2461)
aru [Mon, 30 Aug 2021 17:26:21 +0000 (13:26 -0400)]
fix: run pypi / docker upload from published draft releases (#2461)

Draft releases don't trigger the workflows (that's good!) but since they only

Commit history before merge:

* fix: run pypi upload from published draft releases
* Fix broken task list markup in PR template
* change docker workflow to build on release publish

Co-authored-by: Richard Si <63936253+ichard26@users.noreply.github.com>
3 years agoExclude broken typing-extensions version + fix import (#2460)
Richard Si [Sun, 29 Aug 2021 21:04:49 +0000 (17:04 -0400)]
Exclude broken typing-extensions version + fix import (#2460)

re. import, the ipynb code was assuming that typing-extensions would
always be available, but that's not the case! There's an environment
marker on the requirement meaning it won't get installed on 3.10 or
higher. The test suite didn't catch this issue since aiohttp pulls in
typing-extensions unconditionally.

3 years agoPrepare CHANGES.md for release 21.8b0 (#2458)
Richard Si [Sun, 29 Aug 2021 18:56:22 +0000 (14:56 -0400)]
Prepare CHANGES.md for release 21.8b0 (#2458)

Hopefully my first release doesn't end up in flames 🔥

Commit history before merge:

* Prepare CHANGES.md for release 21.8b0
* I need to add a check for this too.

3 years agoPin setuptools-scm build time dependency (#2457)
Richard Si [Sat, 28 Aug 2021 19:37:53 +0000 (15:37 -0400)]
Pin setuptools-scm build time dependency (#2457)

The setuptools-scm dependency in setup.cfg did not have a version
specified, leading to the issues described in #2449 after a faulty release
of setuptools-scm was published. To avoid this issue in the future, the
last version before that faulty update is now pinned.

Commit history before merge:

* Pin setuptools-scm dependency version (#2449)
* Update CHANGES.md
* Let's pin in pyproject.toml too

Mostly since it's non-build-backend specific configuration and more
widely standardized file. Not sure what benefits pinning in setup.cfg
gives us on top of pyproject.toml but I'd rather not find out during
the release that is supposed to happen today :wink:

Co-authored-by: FiNs <24248249+FabianNiehaus@users.noreply.github.com>
3 years agoadd test which covers stdin filename ipynb (#2454)
Marco Edward Gorelli [Sat, 28 Aug 2021 15:27:55 +0000 (16:27 +0100)]
add test which covers stdin filename ipynb (#2454)

3 years agoset mypy_path in mypy.ini (#2455)
Marco Edward Gorelli [Sat, 28 Aug 2021 13:55:34 +0000 (14:55 +0100)]
set mypy_path in mypy.ini (#2455)

3 years agoDocument jupyter hook (#2416)
Marco Edward Gorelli [Fri, 27 Aug 2021 20:21:08 +0000 (21:21 +0100)]
Document jupyter hook (#2416)

This also introduces a script so we can reference the latest version in
the example pre-commit configuration in the docs without forgetting to
update it when doing a release!

Commit history before merge:

* document jupyter hook
* note minimum version
* add check for pre-commit version
* use git tag
* curl api during ci
* parse version from changes file
* fixup script
* rename variables
* Tweak the docs & magical script
* fix couple of typos
* pin additional dependencies in hook
* Add types-PyYAML to lockfile

Co-authored-by: Richard Si <63936253+ichard26@users.noreply.github.com>
3 years agoblib2to3: support unparenthesized wulruses in more places (#2447)
Richard Si [Thu, 26 Aug 2021 20:59:01 +0000 (16:59 -0400)]
blib2to3: support unparenthesized wulruses in more places (#2447)

Implementation stolen from PR davidhalter/parso#162. Thanks parso!

I could add support for these newer syntactical constructs in the
target version detection logic, but until I get diff-shades up
and running I don't feel very comfortable adding the code.

3 years agoStop changing return type annotations to tuples (#2384)
Richard Si [Thu, 26 Aug 2021 01:32:27 +0000 (21:32 -0400)]
Stop changing return type annotations to tuples (#2384)

This fixes a bug where a trailing comma would be added to a
parenthesized return annotation changing its type to a tuple.
Here's one case where this bug shows up:

```
def spam() -> (
    this_is_a_long_type_annotation_which_should_NOT_get_a_trailing_comma
):
    pass
```

The root problem was that the type annotation was treated as if it was
a parameter & import list (is_body=True to linegen::bracket_split_build_line)
where a trailing comma is usually fine. Now there's another check in the
aforementioned function to make sure the body it's operating on isn't
a return annotation before truly adding a trailing comma.

3 years agoMNT: add pull request template (#2443)
Richard Si [Thu, 26 Aug 2021 01:25:44 +0000 (21:25 -0400)]
MNT: add pull request template (#2443)

So we don't have to request changes on these basic requirements as
often - hopefully :)

3 years agoAdd cpython Lib/ repository config into primer config - Disabled (#2429)
Cooper Lees [Tue, 24 Aug 2021 21:29:49 +0000 (14:29 -0700)]
Add cpython Lib/ repository config into primer config - Disabled (#2429)

* Add CPython repository into primer runs

- CPython tests is probably the best repo for black to test on as the stdlib's unittests should use all syntax
  - Limit to running in recent versions of the python runtime - e.g. today >= 3.9
    - This allows us to parse more syntax
- Exclude all failing files for now
  - Definitely have bugs to explore there - Refer to #2407 for more details there
  - Some test files on purpose have syntax errors, so we will never be able to parse them
- Add new black command arguments logging in debug mode; very handy for seeing how CLI arguments are formatted

CPython now succeeds ignoring 16 files:
```
Oh no! 💥 💔 💥
1859 files would be reformatted, 148 files would be left unchanged.
```

Testing
- Ran locally with and without string processing - Very little runtime difference BUT 3 more failed files
```
time /tmp/tb/bin/black --experimental-string-processing --check . 2>&1 | tee /tmp/black_cpython_esp
...
Oh no! 💥 💔 💥
1859 files would be reformatted, 148 files would be left unchanged, 16 files would fail to reformat.

real 4m8.563s
user 16m21.735s
sys 0m6.000s
```
- Add unittest for new covienence config file flattening that allows long arguments to be broke up into an array/list of strings

Addresses #2407

---

Commit history before merge:

* Add new `timeout_seconds` support into primer.json
- If present, will set forked process limit to that value in seconds
- Otherwise, stay with default 10 minutes (600 seconds)

* Add new "base_path" concept to black-primer
- Rather than start at the repo root start at a configured path within the repository
  - e.g. for cpython only run black on `Lib`

* Disable by default - It's too much for GitHub Actions. But let's leave config for others to use
* Minor tweak to _flatten_cli_args

Co-authored-by: Richard Si <63936253+ichard26@users.noreply.github.com>
3 years agoChange sys.exit to raise ImportError (#2440)
erykoff [Tue, 24 Aug 2021 20:59:24 +0000 (13:59 -0700)]
Change sys.exit to raise ImportError (#2440)

The fix for #1688 in #1761 breaks help("modules") introspection and also leads
to unhappy results when inadvertently importing blackd from Python. Basically
the sys.exit(-1) causes the whole Python REPL to exit -- not great to suffice.

Commit history before merge:

* Change sys.exit to Raise.
* Add #2440 to changelog.
* Fix lint error from prettier
* Remove exception chain for more helpful user message.

Co-authored-by: Richard Si <63936253+ichard26@users.noreply.github.com>
3 years agoAdd test requirements to Pipfile[.lock] & bump deps (#2436)
Richard Si [Mon, 23 Aug 2021 03:20:06 +0000 (23:20 -0400)]
Add test requirements to Pipfile[.lock] & bump deps (#2436)

While this development environment / requirements situation is a mess,
let's at least make it consistent. We're effectively supporting two
modes of development in this project, 1) tox based dev commands
(e.g. `tox -e fuzz`) that are dead simple to use, and 2) manual dev
commands (e.g. `pytest -n auto`) that give more control and are usually
faster.

Right now the Pipfile.lock based development environment is incomplete
missing the test requirements specified in ./test_requirements.txt.
This is annoying since manual test commands (e.g. `pytest -k fmtonoff`)
fail. Let's fix this by making Pipfile.lock basically a
"everything you need" requirements file (fuzzing not included since
running it locally is not something common).

Oh and let's bump some documentation deps (and bring some requirements
across .pre-commit-config.yaml, Pipfile, and docs/requirement.txt in
alignment again). Don't worry, I tested these changes so they should
be fine (hopefully!).

3 years agoImprove f-string expression detection regex so ... (#2437)
Richard Si [Mon, 23 Aug 2021 02:52:19 +0000 (22:52 -0400)]
Improve f-string expression detection regex so ... (#2437)

we don't accidentally add backslashes to them when normalizing quotes
because that's invalid syntax!

The problem this commit fixes is that matches would eat too much
blocking important matches to occur. For example, here's one f-string
body:

    {a}{b}{c}

I know there's no risk of introducing backslashes here, but the regex
already goes sideways with this. Throwing this example at regex101
I get:

    {a}{b}{c}   # The As and Bs are the two matches, and the upper
    ---- ----   # case letters are the groups with those matches.
    aAaa bbBb

... we've missed the middle expression (so if any backslashes in a
more complex example were introduced there we wouldn't bail out
even though we should -- hence the bug). As it stands the regex
needs somesort of extra character (or the start/end of the body)
around the expressions but that isn't always the case as shown
above.

The fix implemented here is to turn the "eat a surrounding non-curly
bracket character" groups ie. `(?:[^{]|^)` and `(?:[^}]|$)` into
negative lookaheads and lookbehinds. This still guarantees the
already specified rules but without problematically eating extra
characters ^^

3 years agoPresent a more user-friendly error if .gitignore is invalid (#2414)
Nipunn Koorapati [Fri, 20 Aug 2021 23:54:53 +0000 (16:54 -0700)]
Present a more user-friendly error if .gitignore is invalid (#2414)

Fixes #2359.

This commit now makes Black exit with an user-friendly error message if a
.gitignore file couldn't be parsed -- a massive improvement over an opaque
traceback!

3 years agoRemove `language_version` for pre-commit (#2430)
Aneesh Agrawal [Wed, 18 Aug 2021 16:24:14 +0000 (09:24 -0700)]
Remove `language_version` for pre-commit (#2430)

* Remove `language_version` for pre-commit

At my company, we set the Python version in `default_language_version`
in each repo's `.pre-commit-config.yaml`,
so that all hooks are running with the same Python version.

However, this currently doesn't work for black,
as the `language_version` specified here
in the upstream `.pre-commit-hooks.yaml` takes precedence.
Currently, this requires us to manually set `language_version`
specifically for black,
duplicating the value from `default_language_version`.
The failure mode otherwise is subtle -
black works most of the time,
but try to add a walrus operator and it suddenly breaks!

Given that black's `setup.py` already has `python_requires>=3.6.2`,
specifying that `python3` must be used here isn't needed
as folks inadvertently using Python 2 will get hook-install-time failures anyways.
Remove the `language_version` from these upstream hook configs
so that users of black are able to use `default_language_version`
and have it apply to all their hooks, black included.

Example `.pre-commit-config.yaml` before:
```
default_language_version:
  python: python3.8
repos:
-   repo: https://github.com/psf/black
    rev: 21.7b0
    hooks:
    -   id: black
        language_version: python3.8
```

After:
```
default_language_version:
  python: python3.8
repos:
-   repo: https://github.com/psf/black
    rev: 21.7b0
    hooks:
    -   id: black
```

* Add changelog entry

3 years agoAdd jupyter deps to Pipfile.lock (#2419)
Marco Edward Gorelli [Mon, 16 Aug 2021 02:54:42 +0000 (03:54 +0100)]
Add jupyter deps to Pipfile.lock (#2419)

3 years agoUpdate language server links (#2425)
Tom Fryers [Thu, 12 Aug 2021 22:45:33 +0000 (23:45 +0100)]
Update language server links (#2425)

python-language-server is no longer maintained.

3 years agofix: remove unneccessary escape character (#2423)
aru [Thu, 12 Aug 2021 01:50:46 +0000 (21:50 -0400)]
fix: remove unneccessary escape character (#2423)

3 years agoJupyter notebook support (#2357)
Marco Edward Gorelli [Fri, 6 Aug 2021 20:57:46 +0000 (21:57 +0100)]
Jupyter notebook support (#2357)

To summarise, based on what was discussed in that issue:

due to not being able to parse automagics (e.g. pip install black)
without a running IPython kernel, cells with syntax which is parseable
by neither ast.parse nor IPython will be skipped cells with multiline
magics will be skipped trailing semicolons will be preserved, as they
are often put there intentionally in Jupyter Notebooks to suppress
unnecessary output

Commit history before merge (excluding merge commits):

* wip
* fixup tests
* skip tests if no IPython
* install test requirements in ipynb tests
* if --ipynb format all as ipynb
* wip
* add some whole-notebook tests
* docstrings
* skip multiline magics
* add test for nested cell magic
* remove ipynb_test.yml, put ipynb tests in tox.ini
* add changelog entry
* typo
* make token same length as magic it replaces
* only include .ipynb by default if jupyter dependencies are found
* remove logic from const
* fixup
* fixup
* re.compile
* noop
* clear up
* new_src -> dst
* early exit for non-python notebooks
* add non-python test notebook
* add repo with many notebooks to black-primer
* install extra dependencies for black-primer
* fix planetary computer examples url
* dont run on ipynb files by default
* add scikit-lego (Expected to change) to black-primer
* add ipynb-specific diff
* fixup
* run on all (including ipynb) by default
* remove --include .ipynb from scikit-lego black-primer
* use tokenize so as to mirror the exact logic in IPython.core.displayhooks quiet
* fixup
* :art:
* clarify docstring
* add test for when comment is after trailing semicolon
* enumerate(reversed) instead of [::-1]
* clarify docstrings
* wip
* use jupyter and no_jupyter marks
* use THIS_DIR
* windows fixup
* perform safe check cell-by-cell for ipynb
* only perform safe check in ipynb if not fast
* remove redundant Optional
* :art:
* use typeguard
* dont process cell containing transformed magic
* require typing extensions before 3.10 so as to have TypeGuard
* use dataclasses
* mention black[jupyter] in docs as well as in README
* add faq
* add message to assertion error
* add test for indented quieted cell
* use tokenize_rt else we cant roundtrip
* fmake fronzet set for tokens to ignore when looking for trailing semicolon
* remove planetary code examples as recent commits result in changes
* use dataclasses which inherit from ast.NodeVisitor
* bump typing-extensions so that TypeGuard is available
* bump typing-extensions in Pipfile
* add test with notebook with empty metadata
* pipenv lock
* deprivative validate_cell
* Update README.md
* Update docs/getting_started.md
* dont cache notebooks if jupyter dependencies arent found
* dont write to cache if jupyter deps are not installed
* add notebook which cant be parsed
* use clirunner
* remove other subprocess calls
* add docstring
* make verbose and quiet keyword only
* :art:
* run second many test on directory, not on file
* test for warning message when running on directory
* early return from non-python cell magics
* move NothingChanged to report to avoid circular import
* remove circular import
* reinstate --ipynb flag

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>
3 years agoFix type dependencies of mypy invocation (#2411)
Taneli Hukkinen [Fri, 6 Aug 2021 18:53:24 +0000 (21:53 +0300)]
Fix type dependencies of mypy invocation (#2411)

Commit history before merge:

* Fix type dependencies of mypy invocation
* Consistent version upper bound

3 years agoTest on Python 3.10-dev (#2406)
Hugo van Kemenade [Wed, 28 Jul 2021 14:29:11 +0000 (17:29 +0300)]
Test on Python 3.10-dev (#2406)

3 years agoFix issue templates + add docs template (#2399)
Richard Si [Wed, 28 Jul 2021 00:38:04 +0000 (20:38 -0400)]
Fix issue templates + add docs template (#2399)

The template weren't applying the default labels ever since I renamed
the labels.

There has been enough issues about documentation opened recently so it's
probably worth a template for it.