.mutt/markdown2html

   1 #!/usr/bin/python3
   2 #
   3 # markdown2html.py — simple Markdown-to-HTML converter for use with Mutt
   4 #
   5 # Mutt recently learnt [how to compose `multipart/alternative`
   6 # emails][1]. This script assumes a message has been composed using Markdown
   7 # (with a lot of pandoc extensions enabled), and translates it to `text/html`
   8 # for Mutt to tie into such a `multipart/alternative` message.
   9 #
  10 # [1]: https://gitlab.com/muttmua/mutt/commit/0e566a03725b4ad789aa6ac1d17cdf7bf4e7e354)
  11 #
  12 # Configuration:
  13 #   muttrc:
  14 #     set send_multipart_alternative=yes
  15 #     set send_multipart_alternative_filter=/path/to/markdown2html.py
  16 #
  17 # Optionally, Custom CSS styles will be read from `~/.mutt/markdown2html.css`,
  18 # if present.
  19 #
  20 # Requirements:
  21 #   - python3
  22 #   - PyPandoc (and pandoc installed, or downloaded)
  23 #   - Pynliner
  24 #
  25 # Optional:
  26 #   - Pygments, if installed, then syntax highlighting is enabled
  27 #
  28 # Latest version:
  29 #   https://git.madduck.net/etc/mutt.git/blob_plain/HEAD:/.mutt/markdown2html
  30 #
  31 # Copyright © 2019 martin f. krafft <madduck@madduck.net>
  32 # Released under the GPL-2+ licence, just like Mutt itself.
  33 #
  34
  35 import pypandoc
  36 import pynliner
  37 import re
  38 import os
  39 import sys
  40
  41 try:
  42     from pygments.formatters import get_formatter_by_name
  43     formatter = get_formatter_by_name('html', style='default')
  44     DEFAULT_CSS = formatter.get_style_defs('.sourceCode')
  45
  46 except ImportError:
  47     DEFAULT_CSS = ""
  48
  49
  50 DEFAULT_CSS += '''
  51 .block {
  52     padding: 0 0.5em;
  53     margin: 0;
  54     border-left: 2px solid #eee;
  55 }
  56 .quote, blockquote {
  57     padding: 0 0.5em;
  58     margin: 0;
  59     font-style: italic;
  60     border-left: 2px solid #666;
  61     color: #666;
  62     font-size: 80%;
  63 }
  64 .quotelead {
  65     margin-bottom: -1em;
  66     font-size: 80%;
  67 }
  68 .quotechar { display: none; }
  69 .footnote-ref, .footnote-back { text-decoration: none;}
  70 .signature {
  71     color: #999;
  72     font-family: monospace;
  73     white-space: pre;
  74     margin: 1em 0 0 0;
  75     font-size: 80%;
  76 }
  77 table, th, td {
  78     border-collapse: collapse;
  79     border: 1px solid #999;
  80 }
  81 th, td { padding: 0.5em; }
  82 .header {
  83     background: #eee;
  84 }
  85 .even { background: #eee; }
  86 h1, h2, h3, h4, h5, h6 {
  87     color: #666;
  88     background-color: #eee;
  89     padding-left: 0.5em
  90 }
  91 h1 { font-size: 130%; }
  92 h2 { font-size: 120%; }
  93 h3 { font-size: 110%; }
  94 h4 { font-size: 107%; }
  95 h5 { font-size: 103%; }
  96 h6 { font-size: 100%; }
  97 p { padding: 0 0.5em; }
  98 '''
  99
 100 STYLESHEET = os.path.join(os.path.expanduser('~/.mutt'),
 101                           'markdown2html.css')
 102 if os.path.exists(STYLESHEET):
 103     DEFAULT_CSS += open(STYLESHEET).read()
 104
 105 HTML_DOCUMENT = '''<!DOCTYPE html>
 106 <html><head>
 107 <meta http-equiv="Content-Type" content="text/html; charset=utf-8"/>
 108 <meta charset="utf-8"/>
 109 <meta name="viewport" content="width=device-width, initial-scale=1.0, user-scalable=yes"/>
 110 </head><body class="email">
 111 {htmlbody}
 112 </body></html>'''
 113
 114
 115 SIGNATURE_HTML = \
 116         '<div class="signature"><span class="leader">-- </span>{sig}</div>'
 117
 118
 119 def _preprocess_markdown(mdwn):
 120     '''
 121     Preprocess Markdown for handling by the converter.
 122     '''
 123     # convert hard line breaks within paragraphs to 2 trailing spaces, which
 124     # is the markdown way of representing hard line breaks. Note how the
 125     # regexp will not match between paragraphs.
 126     ret = re.sub(r'(\S)\n(\s*\S)', r'\g<1>  \n\g<2>', mdwn, flags=re.MULTILINE)
 127
 128     # Clients like Thunderbird need the leading '>' to be able to properly
 129     # create nested quotes, so we duplicate the symbol, the first instance
 130     # will tell pandoc to create a blockquote, while the second instance will
 131     # be a <span> containing the character, along with a class that causes CSS
 132     # to actually hide it from display. However, this does not work with the
 133     # text-mode HTML2text converters, and so it's left commented for now.
 134     #ret = re.sub(r'\n>', r'  \n>[>]{.quotechar}', ret, flags=re.MULTILINE)
 135
 136     # With the autolink_bare_uris extension, we do not need to put links into
 137     # angle brackets to have them converted, so let's conserve the brackets
 138     # when used around email addresses. Note that this needs a postprocessing
 139     # hack because the pandoc autolink converted includes the ambersand
 140     # (https://github.com/jgm/pandoc/issues/7398).
 141     ret = re.sub(r'<([^@]+@.+\.[^>]+)>', r'&lt;\g<1> -PANDOC_BUG_7398-&gt;', ret)
 142
 143     return ret
 144
 145
 146 def _identify_quotes_for_later(mdwn):
 147     '''
 148     Email quoting such as:
 149
 150     ```
 151     On 1970-01-01, you said:
 152     > The Flat Earth Society has members all around the globe.
 153     ```
 154
 155     isn't really properly handled by Markdown, so let's do our best to
 156     identify the individual elements, and mark them, using a syntax similar to
 157     what pandoc uses already in some cases. As pandoc won't actually use these
 158     data (yet?), we call `self._reformat_quotes` later to use these markers
 159     to slap the appropriate classes on the HTML tags.
 160     '''
 161
 162     def generate_lines_with_context(mdwn):
 163         '''
 164         Iterates the input string line-wise, returning a triplet of
 165         previous, current, and next line, the first and last of which
 166         will be None on the first and last line of the input data
 167         respectively.
 168         '''
 169         prev = cur = nxt = None
 170         lines = iter(mdwn.splitlines())
 171         cur = next(lines)
 172         for nxt in lines:
 173             yield prev, cur, nxt
 174             prev = cur
 175             cur = nxt
 176         yield prev, cur, None
 177
 178     ret = []
 179     for prev, cur, nxt in generate_lines_with_context(mdwn):
 180
 181         # The lead-in to a quote is a single line immediately preceding the
 182         # quote, and ending with ':'. Note that there could be multiple of
 183         # these:
 184         if re.match(r'^.+:\s*$', cur) and nxt.startswith('>'):
 185             ret.append(f'{{.quotelead}}{cur.strip()}')
 186             # pandoc needs an empty line before the blockquote, so
 187             # we enter one for the purpose of HTML rendition:
 188             ret.append('')
 189             continue
 190
 191         # The first blockquote after such a lead-in gets marked as the
 192         # "initial" quote:
 193         elif prev and re.match(r'^.+:\s*$', prev) and cur.startswith('>'):
 194             ret.append(re.sub(r'^(\s*>\s*)+(.+)',
 195                               r'\g<1>{.quoteinitial}\g<2>',
 196                               cur, flags=re.MULTILINE))
 197
 198         # All other occurrences of blockquotes get the "subsequent" marker:
 199         elif cur.startswith('>') and prev and not prev.startswith('>'):
 200             ret.append(re.sub(r'^((?:\s*>\s*)+)(.+)',
 201                               r'\g<1>{.quotesubsequent}\g<2>',
 202                               cur, flags=re.MULTILINE))
 203
 204         else: # pass through everything else.
 205             ret.append(cur)
 206
 207     return '\n'.join(ret)
 208
 209
 210 def _reformat_quotes(html):
 211     '''
 212     Earlier in the pipeline, we marked email quoting, using markers, which we
 213     now need to turn into HTML classes, so that we can use CSS to style them.
 214     '''
 215     ret = html.replace('<p>{.quotelead}', '<p class="quotelead">')
 216     ret = re.sub(r'<blockquote>\n((?:<blockquote>\n)*)<p>(?:\{\.quote(\w+)\})',
 217                  r'<blockquote class="quote \g<2>">\n\g<1><p>', ret, flags=re.MULTILINE)
 218     return ret
 219
 220
 221
 222 def _convert_with_pandoc(mdwn, inputfmt='markdown', outputfmt='html5',
 223                          ext_enabled=None, ext_disabled=None,
 224                          standalone=True, selfcontained=True, title=None):
 225     '''
 226     Invoke pandoc to do the actual conversion of Markdown to HTML5.
 227     '''
 228     if not ext_enabled:
 229         ext_enabled = [ 'backtick_code_blocks',
 230                        'line_blocks',
 231                        'fancy_lists',
 232                        'startnum',
 233                        'definition_lists',
 234                        'example_lists',
 235                        'table_captions',
 236                        'simple_tables',
 237                        'multiline_tables',
 238                        'grid_tables',
 239                        'pipe_tables',
 240                        'all_symbols_escapable',
 241                        'intraword_underscores',
 242                        'strikeout',
 243                        'superscript',
 244                        'subscript',
 245                        'fenced_divs',
 246                        'bracketed_spans',
 247                        'footnotes',
 248                        'inline_notes',
 249                        'emoji',
 250                        'tex_math_double_backslash',
 251                        'autolink_bare_uris'
 252                       ]
 253     if not ext_disabled:
 254         ext_disabled = [ 'tex_math_single_backslash',
 255                          'tex_math_dollars',
 256                          'smart',
 257                          'raw_html'
 258                        ]
 259
 260     enabled = '+'.join(ext_enabled)
 261     disabled = '-'.join(ext_disabled)
 262     inputfmt = f'{inputfmt}+{enabled}-{disabled}'
 263
 264     args = []
 265     if standalone:
 266         args.append('--standalone')
 267     if selfcontained:
 268         args.append('--self-contained')
 269     if title:
 270         args.append(f'--metadata=pagetitle:"{title}"')
 271
 272     return pypandoc.convert_text(mdwn, format=inputfmt, to=outputfmt,
 273                                  extra_args=args)
 274
 275
 276 def _apply_styling(html):
 277     '''
 278     Inline all styles defined and used into the individual HTML tags.
 279     '''
 280     return pynliner.Pynliner().from_string(html).with_cssString(DEFAULT_CSS).run()
 281
 282
 283 def _postprocess_html(html):
 284     '''
 285     Postprocess the generated and styled HTML.
 286     '''
 287
 288     # Preprocessing leaves a sentinel to work around
 289     # https://github.com/jgm/pandoc/issues/7398, and so we need to remove it:
 290     html = html.replace('</a> -PANDOC_BUG_7398-&gt;', '</a>&gt;')
 291     return html
 292
 293
 294 def convert_markdown_to_html(mdwn):
 295     '''
 296     Converts the input Markdown to HTML, handling separately the body, as well
 297     as an optional signature.
 298     '''
 299     parts = re.split(r'^-- $', mdwn, 1, flags=re.MULTILINE)
 300     body = parts[0]
 301     if len(parts) == 2:
 302         sig = parts[1]
 303     else:
 304         sig = None
 305
 306     html=''
 307     if body:
 308         body = _preprocess_markdown(body)
 309         body = _identify_quotes_for_later(body)
 310         html = _convert_with_pandoc(body, standalone=True, selfcontained=True)
 311         html = _reformat_quotes(html)
 312
 313     if sig:
 314         sig = _preprocess_markdown(sig)
 315         html += SIGNATURE_HTML.format(sig='<br/>'.join(sig.splitlines()))
 316
 317     html = HTML_DOCUMENT.format(htmlbody=html)
 318     html = _apply_styling(html)
 319     html = _postprocess_html(html)
 320
 321     return html
 322
 323
 324 def main():
 325     '''
 326     Convert text on stdin to HTML, and print it to stdout, like mutt would
 327     expect.
 328     '''
 329     html = convert_markdown_to_html(sys.stdin.read())
 330     if html:
 331         # mutt expects the content type in the first line, so:
 332         print(f'text/html\n\n{html}')
 333
 334
 335 if __name__ == '__main__':
 336     main()