.mutt/markdown2html

   1 #!/usr/bin/python3
   2 #
   3 # markdown2html.py — simple Markdown-to-HTML converter for use with Mutt
   4 #
   5 # Mutt recently learnt [how to compose `multipart/alternative`
   6 # emails][1]. This script assumes a message has been composed using Markdown
   7 # (with a lot of pandoc extensions enabled), and translates it to `text/html`
   8 # for Mutt to tie into such a `multipart/alternative` message.
   9 #
  10 # [1]: https://gitlab.com/muttmua/mutt/commit/0e566a03725b4ad789aa6ac1d17cdf7bf4e7e354)
  11 #
  12 # Configuration:
  13 #   muttrc:
  14 #     set send_multipart_alternative=yes
  15 #     set send_multipart_alternative_filter=/path/to/markdown2html.py
  16 #
  17 # Optionally, Custom CSS styles will be read from `~/.mutt/markdown2html.css`,
  18 # if present.
  19 #
  20 # Requirements:
  21 #   - python3
  22 #   - PyPandoc (and pandoc installed, or downloaded)
  23 #   - Pynliner
  24 #
  25 # Optional:
  26 #   - Pygments, if installed, then syntax highlighting is enabled
  27 #
  28 # Latest version:
  29 #   https://git.madduck.net/etc/mutt.git/blob_plain/HEAD:/.mutt/markdown2html
  30 #
  31 # Copyright © 2019 martin f. krafft <madduck@madduck.net>
  32 # Released under the GPL-2+ licence, just like Mutt itself.
  33 #
  34
  35 import pypandoc
  36 import pynliner
  37 import re
  38 import os
  39 import sys
  40
  41 try:
  42     from pygments.formatters import get_formatter_by_name
  43     formatter = get_formatter_by_name('html', style='default')
  44     DEFAULT_CSS = formatter.get_style_defs('.sourceCode')
  45
  46 except ImportError:
  47     DEFAULT_CSS = ""
  48
  49
  50 DEFAULT_CSS += '''
  51 .block {
  52     padding: 0 0.5em;
  53     margin: 0;
  54     border-left: 2px solid #eee;
  55 }
  56 .quote, blockquote {
  57     padding: 0 0.5em;
  58     margin: 0;
  59     font-style: italic;
  60     border-left: 2px solid #666;
  61     color: #666;
  62     font-size: 80%;
  63 }
  64 .quotelead {
  65     margin-bottom: -1em;
  66     font-size: 80%;
  67 }
  68 .quotechar { display: none; }
  69 .footnote-ref, .footnote-back { text-decoration: none;}
  70 .signature {
  71     color: #999;
  72     font-family: monospace;
  73     white-space: pre;
  74     margin: 1em 0 0 0;
  75     font-size: 80%;
  76 }
  77 table, th, td {
  78     border-collapse: collapse;
  79     border: 1px solid #999;
  80 }
  81 th, td { padding: 0.5em; }
  82 .header {
  83     background: #eee;
  84 }
  85 .even { background: #eee; }
  86 h1, h2, h3, h4, h5, h6 {
  87     color: #666;
  88     background-color: #eee;
  89     padding-left: 0.5em
  90 }
  91 h1 { font-size: 130%; }
  92 h2 { font-size: 120%; }
  93 h3 { font-size: 110%; }
  94 h4 { font-size: 107%; }
  95 h5 { font-size: 103%; }
  96 h6 { font-size: 100%; }
  97 p { padding: 0 0.5em; }
  98 '''
  99
 100 STYLESHEET = os.path.join(os.path.expanduser('~/.mutt'),
 101                           'markdown2html.css')
 102 if os.path.exists(STYLESHEET):
 103     DEFAULT_CSS += open(STYLESHEET).read()
 104
 105 HTML_DOCUMENT = '''<!DOCTYPE html>
 106 <html><head>
 107 <meta http-equiv="Content-Type" content="text/html; charset=utf-8"/>
 108 <meta charset="utf-8"/>
 109 <meta name="viewport" content="width=device-width, initial-scale=1.0, user-scalable=yes"/>
 110 <title>HTML E-Mail</title>
 111 </head><body class="email">
 112 {htmlbody}
 113 </body></html>'''
 114
 115
 116 SIGNATURE_HTML = \
 117         '<div class="signature"><span class="leader">-- </span>{sig}</div>'
 118
 119
 120 def _preprocess_markdown(mdwn):
 121     '''
 122     Preprocess Markdown for handling by the converter.
 123     '''
 124     # convert hard line breaks within paragraphs to 2 trailing spaces, which
 125     # is the markdown way of representing hard line breaks. Note how the
 126     # regexp will not match between paragraphs.
 127     ret = re.sub(r'(\S)\n(\s*\S)', r'\g<1>  \n\g<2>', mdwn, flags=re.MULTILINE)
 128
 129     # Clients like Thunderbird need the leading '>' to be able to properly
 130     # create nested quotes, so we duplicate the symbol, the first instance
 131     # will tell pandoc to create a blockquote, while the second instance will
 132     # be a <span> containing the character, along with a class that causes CSS
 133     # to actually hide it from display. However, this does not work with the
 134     # text-mode HTML2text converters, and so it's left commented for now.
 135     #ret = re.sub(r'\n>', r'  \n>[>]{.quotechar}', ret, flags=re.MULTILINE)
 136
 137     return ret
 138
 139
 140 def _identify_quotes_for_later(mdwn):
 141     '''
 142     Email quoting such as:
 143
 144     ```
 145     On 1970-01-01, you said:
 146     > The Flat Earth Society has members all around the globe.
 147     ```
 148
 149     isn't really properly handled by Markdown, so let's do our best to
 150     identify the individual elements, and mark them, using a syntax similar to
 151     what pandoc uses already in some cases. As pandoc won't actually use these
 152     data (yet?), we call `self._reformat_quotes` later to use these markers
 153     to slap the appropriate classes on the HTML tags.
 154     '''
 155
 156     def generate_lines_with_context(mdwn):
 157         '''
 158         Iterates the input string line-wise, returning a triplet of
 159         previous, current, and next line, the first and last of which
 160         will be None on the first and last line of the input data
 161         respectively.
 162         '''
 163         prev = cur = nxt = None
 164         lines = iter(mdwn.splitlines())
 165         cur = next(lines)
 166         for nxt in lines:
 167             yield prev, cur, nxt
 168             prev = cur
 169             cur = nxt
 170         yield prev, cur, None
 171
 172     ret = []
 173     for prev, cur, nxt in generate_lines_with_context(mdwn):
 174
 175         # The lead-in to a quote is a single line immediately preceding the
 176         # quote, and ending with ':'. Note that there could be multiple of
 177         # these:
 178         if re.match(r'^.+:\s*$', cur) and nxt.startswith('>'):
 179             ret.append(f'{{.quotelead}}{cur.strip()}')
 180             # pandoc needs an empty line before the blockquote, so
 181             # we enter one for the purpose of HTML rendition:
 182             ret.append('')
 183             continue
 184
 185         # The first blockquote after such a lead-in gets marked as the
 186         # "initial" quote:
 187         elif prev and re.match(r'^.+:\s*$', prev) and cur.startswith('>'):
 188             ret.append(re.sub(r'^(\s*>\s*)+(.+)',
 189                               r'\g<1>{.quoteinitial}\g<2>',
 190                               cur, flags=re.MULTILINE))
 191
 192         # All other occurrences of blockquotes get the "subsequent" marker:
 193         elif cur.startswith('>') and prev and not prev.startswith('>'):
 194             ret.append(re.sub(r'^((?:\s*>\s*)+)(.+)',
 195                               r'\g<1>{.quotesubsequent}\g<2>',
 196                               cur, flags=re.MULTILINE))
 197
 198         else: # pass through everything else.
 199             ret.append(cur)
 200
 201     return '\n'.join(ret)
 202
 203
 204 def _reformat_quotes(html):
 205     '''
 206     Earlier in the pipeline, we marked email quoting, using markers, which we
 207     now need to turn into HTML classes, so that we can use CSS to style them.
 208     '''
 209     ret = html.replace('<p>{.quotelead}', '<p class="quotelead">')
 210     ret = re.sub(r'<blockquote>\n((?:<blockquote>\n)*)<p>(?:\{\.quote(\w+)\})',
 211                  r'<blockquote class="quote \g<2>">\n\g<1><p>', ret, flags=re.MULTILINE)
 212     return ret
 213
 214
 215
 216 def _convert_with_pandoc(mdwn, inputfmt='markdown', outputfmt='html5',
 217                          ext_enabled=None, ext_disabled=None,
 218                          standalone=True, title="HTML E-Mail"):
 219     '''
 220     Invoke pandoc to do the actual conversion of Markdown to HTML5.
 221     '''
 222     if not ext_enabled:
 223         ext_enabled = [ 'backtick_code_blocks',
 224                        'line_blocks',
 225                        'fancy_lists',
 226                        'startnum',
 227                        'definition_lists',
 228                        'example_lists',
 229                        'table_captions',
 230                        'simple_tables',
 231                        'multiline_tables',
 232                        'grid_tables',
 233                        'pipe_tables',
 234                        'all_symbols_escapable',
 235                        'intraword_underscores',
 236                        'strikeout',
 237                        'superscript',
 238                        'subscript',
 239                        'fenced_divs',
 240                        'bracketed_spans',
 241                        'footnotes',
 242                        'inline_notes',
 243                        'emoji',
 244                        'tex_math_double_backslash',
 245                        'autolink_bare_uris'
 246                       ]
 247     if not ext_disabled:
 248         ext_disabled = [ 'tex_math_single_backslash',
 249                          'tex_math_dollars',
 250                          'smart',
 251                          'raw_html'
 252                        ]
 253
 254     enabled = '+'.join(ext_enabled)
 255     disabled = '-'.join(ext_disabled)
 256     inputfmt = f'{inputfmt}+{enabled}-{disabled}'
 257
 258     args = []
 259     if standalone:
 260         args.append('--standalone')
 261     if title:
 262         args.append(f'--metadata=pagetitle:"{title}"')
 263
 264     return pypandoc.convert_text(mdwn, format=inputfmt, to=outputfmt,
 265                                  extra_args=args)
 266
 267
 268 def _apply_styling(html):
 269     '''
 270     Inline all styles defined and used into the individual HTML tags.
 271     '''
 272     return pynliner.Pynliner().from_string(html).with_cssString(DEFAULT_CSS).run()
 273
 274
 275 def _postprocess_html(html):
 276     '''
 277     Postprocess the generated and styled HTML.
 278     '''
 279     return html
 280
 281
 282 def convert_markdown_to_html(mdwn):
 283     '''
 284     Converts the input Markdown to HTML, handling separately the body, as well
 285     as an optional signature.
 286     '''
 287     parts = re.split(r'^-- $', mdwn, 1, flags=re.MULTILINE)
 288     body = parts[0]
 289     if len(parts) == 2:
 290         sig = parts[1]
 291     else:
 292         sig = None
 293
 294     html=''
 295     if body:
 296         body = _preprocess_markdown(body)
 297         body = _identify_quotes_for_later(body)
 298         html = _convert_with_pandoc(body, standalone=False)
 299         html = _reformat_quotes(html)
 300
 301     if sig:
 302         sig = _preprocess_markdown(sig)
 303         html += SIGNATURE_HTML.format(sig='<br/>'.join(sig.splitlines()))
 304
 305     html = HTML_DOCUMENT.format(htmlbody=html)
 306     html = _apply_styling(html)
 307     html = _postprocess_html(html)
 308
 309     return html
 310
 311
 312 def main():
 313     '''
 314     Convert text on stdin to HTML, and print it to stdout, like mutt would
 315     expect.
 316     '''
 317     html = convert_markdown_to_html(sys.stdin.read())
 318     if html:
 319         # mutt expects the content type in the first line, so:
 320         print(f'text/html\n\n{html}')
 321
 322
 323 if __name__ == '__main__':
 324     main()