2017年 08月の投稿を表示しています

envconfig の

kelseyhightower/envconfig: Golang library for managing configuration data from environment variables

ざっくり説明

環境変数を読み込んで構造体におとせるやつ。
構造体のタグに環境変数名をいれると、任意の環境変数をパースしたときに展開してくれる。
書かなくてもよしなに動く(すごい)

構造体は入れ子にできる

タグに必須有無やデフォルト値をかける。

使い方

リードミーに書いてあるので読むべし。
envconfig/README.md at master · kelseyhightower/envconfig

よしなにしてくれるが、毎回タグを書くようにしたほうが事故防止や分かりやすさからもいいと思う。

type (
    // Config of the app.
    Config struct {
        // Service config
        Environment string `envconfig:"ENVIRONMENT" required:"true"`
        LogLevel    string `envconfig:"LOG_LEVEL" default:"ERROR"`
        Version     string `envconfig:"VERSION"`
    }
)

なぜ使うか

ツール類なら flag パッケージで十分だと思う。
アプリケーションとしてだと環境変数に値をいれておいて設定を変えたい場合があるのでは。
DB の接続先とか。

Laravel のときにお世話になってた dotenv もそういう感じよね。
Configuration - Laravel - The PHP Framework For Web Artisans

Go でも dotenv が出来るやつある。
joho/godotenv: A Go port of Ruby's dotenv library (Loads environment variables from .env.)

これは構造体にシュッとならないので map 経由してよしなにやる必要ありそう。
envconfig は構造体にシュッとなって便利そうではある。

どうやって実装されているのか

これは完全に興味で羽を伸ばしてみる。

このソースだけで完結できる。意外と短い?
envconfig/envconfig.go at master · kelseyhightower/envconfig

Process がエントリポイントで、すぐに gatherInfo を呼ぶ。
この中では、引数のバリデーションと、渡された構造体を reflect パッケージを使って、タグや形、キーたる名前をパースしてる。要は構造体の情報から必要なものだけ集約したもの。それが varInfo のスライスになる。
このとき、構造体のタグに split_words がついていると、ベストエフォートでキャメルケースを、スネークケースに変換してキーを設定する。

構造体を持っている場合、それがデコード出来ない形式なら再帰的にパースを試みる。
がてことは割と雑多に構造体を放り込んでもよしなに動いてくれそうではある。

このようにして、読み込んだデータを格納する構造体についての分析が終わったら、いよいよ環境変数から値を読み込む。

すでに確認されているキー名で lookupEnv(os.getenv にあたる)をして、環境変数から読み込み、なければデフォルト値を試みて required の判定をする。
読み込んだ値は文字列でしかないので、構造体の形情報に合わせて変換していく。それを processField でやっている。

このとき、対象が Decoder か Setter を実装していると、それを使って構造体のフィールドを戻そうとする。あるいは TextUnmarshar,BinaryUnmarshaler でも。

サンプルだと IP アドレスな文字列から net.Ip 構造体に落としている。
たとえばだけど暗号化した値を渡して復号化することもできし json を入れて構造体に戻すこともできるし DB 接続の情報をいれて sql.DB のクライアントを作ったり API の接続情報から http.Client を作ることもできる。
もはや設定値から作るようなものなら何でも作れる。
やりすぎるとコード読む側が苦になりそうだけど…。

話をコードに戻すと、あとはエラーの場合がある程度で、以上。

Process がエントリポイントと最初に書いたけど MustProcess というのもある。
こっちはエラーになったら panic する。

regexp.MustCompile なんかと同じ。

おわり。

cron って +x ついてないと動かないのね

Let's Encrypt の証明書が切れるよーってメールが度々来ていて certbot の cron 設定しているはずなのになんだかなあと思ってその都度手動でやっていた。

cron はちゃんと動いている cron.daily は anacron に設定されている。

$ cat /var/log/cron* | grep daily | head
Dec 16 04:30:07 ... run-parts(/etc/cron.daily)[15097]: finished logrotate
...

$ cat /etc/anacrontab
...

#period in days   delay in minutes   job-identifier   command
1    5    cron.daily        nice run-parts /etc/cron.daily

...

どうやら+x がついていないのが原因っぽいなってことがわかった。

$ ls -al /etc/cron.daily/
...
-rw-------   1 root root   46 Nov 18 22:05 certbot
...
-rwx------   1 root root  219 Jul 15 21:16 logrotate
...

ので+x をつけ、あとで様子を見ることにする。

$ sudo chmod u+x /etc/cron.daily/certbot

anacron は run-parts でプログラムを起動する、というかそう設定に書いてある。

第 21 章 システムタスクの自動化 - Red Hat Customer Portal

Linux 2.6 - man page for run-parts (linux section 8)

run-parts runs all the executable files named within constraints described below found in directory directory. Other files and directories are silently ignored.

だそうで cron.daily のディレクトリに何かしらのスクリプトなり実行ファイルを置いていても、実行することの出来ないものであれば無視されるのは正しい動き。
verbose オプションつけられたら cron 側のログ的なところにもうちょっと何かでてくれそうな気がする。
ちなみにこのサーバにいる run-parts にはオプションが list と test くらいしかなかった。多分 cron か anacron が古い…?

$ man run-parts
...
SYNOPSIS
       run-parts [--list|--test]<directory>
...

適当に yum update しても出てこない。
調べてみると久しく更新されていないっぽい。

crontabs-1.11-6.20121102git.el7.noarch.rpm CentOS 7 Download

パッケージに含まれる run-parts を更新していないってことなのかな、わからん。

まあいっか、ということで追いかけるのはおわり。

dd-trace-go を使って Datadog の Span をモリモリ作る

import "gopkg.in/DataDog/dd-trace-go.v1/ddtrace/tracer"

func hoge(ctx context.Context) (err error) {
    span, ctx := tracer.StartSpanFromContext(
        ctx,
        "do hoge",
    )
    defer func() { span.Finish(tracer.WithError(err)) }()

    err = somethings1(ctx)
    if err != nil {
        return
    }

    err = somethings2(ctx)
    if err != nil {
        return
    }

    return
}

こういう具合に tracer.StartSpanFromContext してあげるとよい。
StartSpanFormContext を使うと context に実行時の span を保持してくれて、親子関係を構築してくれる。

で、これをサードパーティなパッケージが絡んだところや、その他いろいろにモリモリ適用しようとすると大変そうだなあと思ったので、クロージャでシュッと StartSpanFormContext を書いてみた。

sters/wrapspan: for https://github.com/DataDog/dd-trace-go/

別に何も難しいことはやってない。


dd-trace-go に contrib パッケージがあるように、対象のソレをラップした構造体なり関数なりを作るほうが、そういうパッケージとして切り出せるしオプションの勝手もよいだろうしコードの見通しもよくなりそうだ、と、この記事を書いているときに思った。

Readme に書いた例だとこういう感じ。

func Xsomething1(ctx context.Context) (err error) {
    span, ctx := tracer.StartSpanFromContext(
        ctx,
        "span-1",
    )
    defer func() { span.Finish(tracer.WithError(err)) }()

    return X.something1(ctx)
}

func Xsomething2(ctx context.Context) (err error) {
    span, ctx := tracer.StartSpanFromContext(
        ctx,
        "span-2",
    )
    defer func() { span.Finish(tracer.WithError(err)) }()

    return X.something2(ctx)
}

func Xsomethings(ctx) (err error) {
    span, ctx := tracer.StartSpanFromContext(
        ctx,
        "span-somethings",
    )
    defer func() { span.Finish(tracer.WithError(err)) }()

    err = X.something1(ctx)
    if err != nil {
        return
    }

    err = X.something2(ctx)
    if err != nil {
        return
    }
}

よさそう。

Windows で dep ensure したときに File name too long が出るのを解決した

どうやら Windows はパスの文字数が 260 文字という制限があるらしい。

が、それをレジストリで設定変更できる。ここを 1 にしたらよいとのこと。

\HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\FileSystem

LongPathsEnabled = 1

Pro やら Enterprise やらだとグループポリシーの設定が必要そう。

Local Computer Policy > Computer Configuration > Administrative Templates > System > Filesystem

Enable Win32 Long Paths

see: Long File Names?


そしてさらに git の設定が必要そう。

git config --system core.longpaths true

see: Sorce Tree で"Filename too long"のエラーが出た時の対処 - Qiita

WordPressでプラグイン無しmarkdownを使って記事を書けるようにする

以前やろうとしたときはうまく動かなかった記憶がある。ので諦めて自分で用意した話。

記事を書くときに Markdown で書き、何かしらの手段を講じて、実際に見えるときに HTML である状態を作ります。
それにはいくつかのアプローチが考えられます。

入力画面で Markdown を使い WordPress へ保存するデータも Markdown にする

この場合 Post のメタデータとして Markdown であることを伝えて、テンプレートを表示する際に Markdown であった場合に PHP あるいは Javascript で Markdown から HTML に変換します。

PHP でやる場合 Composer でテーマ開発をする路線に乗り parsedown などを使うのがお手軽でしょう。
erusev/parsedown: Markdown Parser in PHP

そのほかにも Packagist を探すといくつかのライブラリが見つかります。
Packagist

Javascript でやる場合、テンプレートの出力を一度見えないようにしておいて HTML で整形できたら見せるようにすると綺麗です。
もちろんあえて Markdown を表示しておく、というのもアリかと。

ライブラリとしては marked があります。
markedjs/marked: A Markdown parser and compiler. Built for speed.

cdnjs を探すとほかにも見つかります。
cdnjs.com - The best FOSS CDN for web related libraries to speed up your websites!

PHP か Javascript かどちらを取るかというと、どっちでもよいと思います。
PHP の場合はサーバサイドの処理になるので、例えば nginx なり CDN なりで HTML にレンダリングしたものに対してキャッシュが利きます。
Javascript 上でやる場合、クライアントのリソースを使うので、大きなコンテンツであればあるほど HTML が表示されるまでに時間がかかってきます。
(ServiceWorker を使ってキャッシュを持つなどしてもよいかもしれません)

そしてこのパターンで PHP, Javascript 問わずに気を付けるべきは、もしも仮に第三者が記入できるエリアにも適用された場合に XSS などのバグおよび脆弱性につながりやすくことも挙げられます。
いやそもそもそういうことやりたいという事情はそんなにないか。

入力画面で Markdown を使い WordPress へ保存するデータを HTML にする

このアプローチは現在のごみばこいんでも扱っています。
WordPress 管理画面上の入力画面において Markdown で書いたものを HTML に変換するボタンを作っています。

具体的には以下のようなコードを functions.php に書いています。

// add media area buttons for admin
function hook_media_buttons() {
?>
    <script src="https://cdnjs.cloudflare.com/ajax/libs/marked/0.5.2/marked.min.js" integrity="sha256-zFUosuESzULu5P+SZdjRRtBZR8+1u5RZDlbt3Q5KL8U=" crossorigin="anonymous"></script>
    <button type="button" class="button Markdown-to-html">
        <span class="dashicons dashicons-thumbs-up"></span>
        Markdown to HTML
    </button>
    <script type="text/javascript">
        document.querySelector('.Markdown-to-html').addEventListener('click', () => {
            if (marked === null || marked === undefined) {
                alert("marked not loaded...");
                return;
            }

            let text = $('#content').val();

            // Markdown to html
            text = marked(text, {
                headerIds: false,
            });

            // More newline
            text = text
                .replace(
                    /(<\/(p|table|h\d|pre|ul|ol)>)\n?/g,
                    (_, a) => {
                        return `${a}\n\n`;
                    }
                )
                .replace(
                    /\n\n+/g,
                    '\n\n'
                );

            // Replace value
            $('#content').val(text);

            return false;
        });
    </script>
<?php
}
add_action('media_buttons', 'hook_media_buttons');

若干おまけもついていますが、これで Markdown を HTML にするボタンを記事編集ページに追加できます。
下書きを WordPress 上なり、別の場所なりで書いてから、実際に記事公開する前にポチっとやって様子を見てから公開するようにしています。公開アクションにフックして自動で変換されるようにすることもできると思います、今そうしていない理由は特にないです。

入力画面で Markdown を使わない

要は別の Markdown なエディタを使って、整形された HTML を WordPress にぶっこめば良いという話です。パッと思いつくのはこのあたり。

そのほか考えるとよさそうなところ

超速 web 体験を目指すなら、可能な限り前処理を済ませたほうがよいと思うので、クライアントの手元で動かすことをなるべく減らす = JavaScript 側でやるという選択肢ははずれてくるのではないでしょうか。
ServerSideRendering 的な話と捉えてもよいっぽい。保存するデータはどっち?という話は編集ページの利便性によってなんでもいいかなーと。

常に Markdown で書きたいなら Markdown で保存できるようにしたほうが良いだろうし。まあ何も気にせずプラグインぶっこむのがお手軽簡単でいいんじゃないですかね~~(結論)

PHP を Go にするという話を mercari.go というイベントで喋りました

PHP を Go にするという話を mercari.go というイベントで喋りました(今更)

mercari.go #4 を開催しました - Mercari Engineering Blog

スライドに書いてある話がおおむねすべてです。

リポジトリはここ: sters/phptogo: Transpile PHP code to Go like something code.

今のメルカリの状況については、各所の web メディアにかかれている Mercari Tech Conf の話がいちばんまとまっていると思います。

この記事では後付けというか、いくつか補足できればと思いますー。

コードすべて変換して手直しはそう大変でもない

初期のもの(スライド中の v1)では、丸っと全コード変換はしていません。

Go でざっくりと書いたテンプレートファイルを作っておいて、そこに struct を書いていて、元の PHP コードから function 単位で、該当するテンプレートファイル上の関数へと埋めていく、といったことをやっていました。

Github で公開したものはその手続きを含んでいないので、大変そうに見えると思います。
(実際これでやれって話になったらチョットつらい)

加えて、各種 Go ヘルプするツール群を利用すれば
自動である程度整ってくれるので、マジつれーわーうわーみたいなことにはならないとおもっています。

型情報もう少しなんとかしたい

PHPDoc あるいは PHP の型宣言の情報を利用すれば、もっと埋めることができます。
そのとき、わからないやつは一旦全部 interface{}でゆるっと扱う、みたいなことになると思います。

関数においての PHPDoc からの補完はすでに書いています。
add function parameter type completion form phpdoc · sters/phptogo@b8e3d96

テストどうやる問題

確かにテストは本当に正しいのかどうかわからないというのもわかります、実際わからない。

一つのやり方として、生成物が Go のような何かのコードではなく、完全に Go の AST を作ってしまう、という手が考えられます。
テストとしては AST→AST ができることを確認すればよいので、今よりは信頼できる(?)テストになるんじゃないでしょうか。
当然そのまま持っていくことがムリな情報は落とさざるを得ないので、落とすか、それっぽい値で補完するかのどちらかになるのは今と変わらないです。

Githubで公開したものに色々追加したいねー

Github で公開したものは、セミコロンないよとか変数に$はつかないよとか、ごくごく基本的な構文の変換くらいしかやっていません。

もっと足を伸ばして PHP クラスを Go の構造体に落とすぞ!!!みたいなものはちょっとやりすぎで、そのとき、うまく出来るように一定のフォーマットであるとか、フレームワークのようなものを利用者に強いることになってくると思うのでそのフレームワークのようなものを理解しなければいけないのは微妙かなと。

ということで、必要なもの、なんとかしたいもの、はそれぞれで実装してくれ!ただ、それだと勝手が悪いところも多いと思うので、サンプルの文量を増やしていくかなあとはおもっています。
たとえば初期実装ではやっていたようなテンプレートファイルに落とし込むようなやつとか。

そもそもPHPをGoに変換する必要があるのか

いや、そんなにないんじゃないですかね……

複雑すぎないクラスやバッチがたくさんあって、何かしらの理由で Go に持っていきたい、という場合に需要がでてくると思います。
ただ PHP で今動いているものを Go で動かすことに対して、手間ひまがかかることは当然なので、効果というか色々と天秤にかけたうえでやったらいいんじゃないですかね~~~。

欲する人のそれぞれの状況によると思うので一概に答えはないと思います。
僕の状況ではだんだんつらくなってきて欲しくなったので作っていった、というだけです。