読者です 読者をやめる 読者になる 読者になる

サックスが入っているポップな曲

あけましておめでとうございます。

私は音楽のジャンルに詳しいわけでないので、 単にサックスが入っているけど、Jazzとは違うジャンルの曲ということで…

ここ1年くらい、サックスが入っている曲は自分の感性にマッチすることが多かったので、 以下にそんな曲をまとめました。

Run Away With Me - Carly Rae Jepsen

曲の始めにサックスの音がリードしていく曲。 ちょっとダンスな曲調の中にサックスの音がいいアクセントで入っている感じが好きです。

Adrift - Vök

アイスランド出身のVök。 ここ1年ほど、KEXPのYoutubeチャンネルから良い曲を見つけることが多く、VökもこのKEXPで初めて知りました。 Vök - Wikipediaを見てみると、 サックスを演奏している Andri Már についてSaxophonistと書かれているから、本業がサックスなんでしょうか。

こちらは、「Run Away With Me」とはまた違って、サックスのメロディが前面に出ている感じがします。 そして、このKEXPの動画、サックスを演奏している姿が特にかっこいいです。

あと、アイスランドbjörkやÓlafur Arnaldsなどいい曲を作る人達が多いですね。

Shaver - Porches

残念ながら、公式からはサックスが入っていないバージョン(water version)しかyoutubeに出されていなかったです…

サックスが入っているバージョン(waterなしバージョン)はbandcampなどで販売されているみたいです。 私はGoogle Play Musicで聴きました。 ともかく、サックスが入っている方を聴いた感想は、途中でサックスのソロが入ってきて、 そのあとにそこまでメロディを作っていた音が締めくくるという感じです。 Porchesは他の曲もとても聴きやすくて良いです。

2日遅れのメリークリスマス!

メリークリスマス!

f:id:uitspitss:20161227003004g:plain

  • AgIC Circuit Marker
  • Digispark
  • Adafruit LED Sequins
  • mt masking tapes

そして、工作過程の画像↓

電気回路を描く f:id:uitspitss:20161227003445p:plain f:id:uitspitss:20161227003530p:plain

電池とスイッチを付ける f:id:uitspitss:20161227003543p:plain

LEDを付ける f:id:uitspitss:20161227003624p:plain

飾り付けをする f:id:uitspitss:20161227003736p:plain

5年後の自分へ

はてなブログ5周年ありがとうキャンペーンお題第2弾「5年後の自分へ」

http://blog.hatena.ne.jp/-/campaign/hatenablog-5th-anniversary

はてなブログとはズッ友だよ!(5周年おめでとうございます)

続きを読む

tweepy(もしくはrequests-oauthlib)とsqlite3でフォロー状況を見る

だいぶ前に、遊びで使っているtwitterアカウントでリフォローをしようとしたときに、 フォロー制限のためにリフォローができなかった。 ということで、python用のtwitterライブラリtweepyを使って、 sqlite3のデータベースにフォロー状況を書き出すものを作った。 個人的にはsqlite3などのRDBの勉強としての意味合いもあった。

環境

  • python - 3.5.2
  • tweepy - 3.5.0
  • sqlite3

tweepyを使う準備

tweepyを介して、twitterAPIにアクセスするには、

  • consumer keyconsumer secret
  • access tokenaccess secret

が必要になるので、https://apps.twitter.com/でアプリケーション登録をして、トークン等を準備する。

friendsとfollowersを取得

大抵のWebAPIにはアクセス制限が付きものなので、まずはそのあたりを調べた。 なお、以下のサイトを参考にした。

api.friends_idsapi.followers_idsは、それぞれ5000ids/回を取得でき、15回/15分のリミットなので、 フォロー数が1万を超えていても安心という数を捌ける。

以下のコードで、自アカウントがフォローしているfriends、自アカウントをフォローしているfollowersを取得できる。

import tweepy

CONSUMER_KEY = "CONSUMER_KEY"
CONSUMER_SECRET = "CONSUMER_SECRET"
ACCESS_TOKEN = "ACCESS_TOKEN"
ACCESS_SECRET = "ACCESS_SECRET"

auth = tweepy.OAuthHandler(CONSUMER_KEY, CONSUMER_SECRET)
auth.set_access_token(ACCESS_TOKEN, ACCESS_SECRET)
api = tweepy.API(auth)

friends_ids = []
for _id in tweepy.Cursor(api.friends_ids).items():
    friends_ids.append(_id)

followers_ids = []
for _id in tweepy.Cursor(api.followers_ids).items():
    followers_ids.append(_id)

実際に使ったコードでは、この後にそれぞれのListをSetにして、set.unionをとり、相互フォローを出す処理なども入れていた。

追記:2016-10-27 ここから

今日、何気なくQiitaを見てて、tweepy がメンテナンスされなくなった という記事を見かけた。「あれっ」と思って、tweepyのgithubページを見たら、 本当に「もうメンテしない」って書いてた。 近い将来、twitterAPIの仕様変更などで動かなくなることは目に見えてるので、requests-oauthlibを使って書き直したものを以下に載せる。

from requests_oauthlib import OAuth1Session
import json

twitter = OAuth1Session(CONSUMER_KEY, client_secret = CONSUMER_SECRET,
                        resource_owner_key = ACCESS_TOKEN, resource_owner_secret = ACCESS_SECRET)

friends_ids = []
cursor = -1
while cursor:
    req = twitter.get('https://api.twitter.com/1.1/friends/ids.json?cursor={}'.format(cursor))

    if req.status_code == 200:
        data = json.loads(req.text)
        friends_ids.extend(data['ids'])
        cursor = data['next_cursor']
    else:
        print("request error : {}".format(req.status_code))
        break

followers_ids = []
cursor = -1
while cursor:
    req = twitter.get('https://api.twitter.com/1.1/followers/ids.json?cursor={}'.format(cursor))

    if req.status_code == 200:
        data = json.loads(req.text)
        followers_ids.extend(data['ids'])
        cursor = data['next_cursor']
    else:
        print("request error : {}".format(req.status_code))
        break

以下のページが参考になった。

追記:2016-10-27 ここまで

取得したfriendsとfollowersをデータベースに保存

そして、sqlite3のデータベースに保存しておく。 以下のコードは上のコードに続くような形で書いている。

import sqlite3

con = sqlite3.connect("{}.db".format("db_name"))

cur = con.cursor()
cur.execute("select * from sqlite_master where type='table'")

tables = []
for item in cur.fetchall():
    tables.append(item[1])

if "friends" not in tables:
    con.execute("create table friends(user_id integer primary key not null unique, friend integer, follower integer)")

for _id in friends_ids:
    con.execute("replace into friends(user_id, friend) values({}, {})".format(_id, 1))

for _id in followers_ids:
    con.execute("insert or ignore into friends(user_id, follower) values({}, {})".format(_id, 1))
    con.execute("update friends set follower = {} where user_id = {}".format(1, _id))

con.commit()
con.close()

followersのほうの処理で面倒なことになっているのは、sqlite3のreplaceがdelete処理を含んでしまうので、 insert or ignoreupdateを組み合わせるという方法を採っているから。 これはStack Overflowあたりで見かけたような。

データベースを見る

あとは、sqlite3の操作でフォロー状況を確認できる。

データベースを指定して開く

sqlite3 db_name.db

相互フォロー数を出す

select count(*) from friends where friend = 1 and follower = 1;

リフォローしていない数を出す

select count(*) from friends where friend = 0 and follower = 1;

最後に

いかにも業者なアカウントのフォローは避けたいものです。 ただし、idからそのような判別はできないので、tweepyのapi.lookup_users()screen_nameを引っ張てきて、リフォロー用の即席htmlページを書き出したりもしていた。 あと、この関数の説明がtweepyドキュメントになくて、 githubで確認したのを思い出した。

オンラインジャッジでの Python Tips

最近、時間があるときにオンラインジャッジの競技プログラミングもどきをやっている。 オンラインジャッジでは、入出力がCLIで行われるため、 入出力周りで何度となく同じようなコードを書く。 しかし、1ヶ月くらい別の言語をいじってたりすると、 そのようなコードを書くのに少し時間が掛かってしまう。 ということで、よく使う(使った)ものをまとめておこうと思った。

input系

単純に入力が数値のときには、input()から得られたstrをintに変換しておくと、 後で数値演算したときにエラーを吐かれることがない。

int_single = int(input())  # <= 1
print(int_single) # => 1

スペース区切りで数値が複数渡されたときは、strのsplit()で分割して、 intに変換しておく。これで、ループに使うときも変換がいらない。 多重代入もよく使う。

int_list = [int(x) for x in input().split()] # <= 1 2 3
print(int_list) # => [1, 2, 3]

a, b, c = [x for x in input().split()] # <= test1 test2 test3
print(a, b, c) # => test1 test2 test3

上と同じ1行スペース区切りだが、数値文字列だけではなく、 通常の文字列も含まれていて、そのままintに投げてしまうとエラーになる。 そんなときは、内包表記内に三項演算子で条件分岐処理を入れ込む。 strのisdigit()は結構使う。

# <= l1 10 20 30\nl2 10 20 30
labeled_list = [[int(x) if x.isdigit() else x for x in input().split()] for i in range(2)]
print(labeled_list)
# => [['l1', 10, 20, 30], ['l2', 10, 20, 30]]

複数行で文字列が入力されるときは、range()ループで必要な回数分、 ループを回せばOK!

str_list = [input() for i in range(3)] # <= 1\n2\n3
print(str_list) # => [1, 2, 3]

複数行の入力がある場合かつ終了条件がある場合、 これは諦めて、while Trueループを書いちゃってる。

input_text_list = []
while True:
    input_text = input() # <= test1\ntest2\ntest3\ntest4\ninput end.
    if input_text == "input end.":
        break
    input_text_list.append(input_text)
print(input_text_list) # => ['test1', 'test2', 'test3', 'test4']

loop系

whileループやforループのelse句はよく使う。 フラグ処理が省略できるので、楽々。

cnt = 0
while True:
    cnt += 1
    for i in range(10):
        cnt += 1
        if cnt > 100:
            break
    else:
        print(cnt)
        continue
    print("last cnt: {}".format(cnt))
    break
# => 11\n22\n33\n44\n55\n66\n77\n88\n99\nlast cnt: 101

zip()は複数のリストやタプルをまとめてループできる。 それと、内包表記の多重ループ。平面グリッド走査のような全ての組み合わせでループを回すときなどで使える。 あと、文字列のjoin()もよく使う。

upper_str = "ABCDEFGHIJKLMNOPQRSTUVWXYZ"
lower_str = "abcdefghijklmnopqrstuvwxyz"
upper = ["{}:{}".format(u, ord(l)-32) for u,l in zip(upper_str, lower_str)]
lower = ["{}:{}".format(u.lower(), ord(l)) for u in list(upper_str) for l in list(lower_str) if u == l.upper()]

print("\n".join(upper)) # => A:65\nB:66\nC:67\n …
print("\n".join(lower)) # => a:97\nb:98\nc:99\n …

pythonでEmail自動生成スクリプトを作って得たTips

久しぶりの備忘録的なブログ。
この前、Email処理を楽にするスクリプトを書いたとき、ちょっとした知見が得られたので、備忘。
今回、メールを送信する前に人間の目で最終確認、ちょこっと編集をしたかったので、 任意のディレクトリ下にメールファイル(.eml)を生成していくスクリプトを作っていました。 そこで、気になったことが1つ。 生成したメールファイル(.eml)を開くと、メールソフトが立ち上がるのですが、 編集状態ではなく、受信したメールと同様に編集不可の状態で開かれてしまいました。 これは、Windows Live Mail (WLM) での動作のようで、 私が私的にメインで使っている Thunderbird では、 再送信(再編集)の項目がメニューにあり、ひと手間かかるようですが、再編集状態にできました。 ただ、仕事でWLMを使えと言われたら、使わないといけませんので、どうにかしようと思って検索をしていたら見つけました。

Windows Liveメールの再送方法

上記のページを読むと、Header中の X-Unsent に 1 を入れればよい、とのこと。
そして、肝となる部分を抜粋してきたコードが以下。

環境

  • python 3.5.1
  • email(標準ライブラリ)
import email
from email.mime.text import MIMEText
from email.utils import formataddr
from email.header import Header
from email import generator

from_addr = 'from_addr@mail'
to_addr = 'to_addr@mail'
subject = "メール件名"
body = "メール本文"

encoding = 'utf-8'
sender_name = Header('fromのニックネーム', encoding).encode()

message = MIMEText(body.encode(encoding), 'plain', _charset=encoding)
message['Subject'] = Header(subject, encoding)
message['From'] = formataddr((sender_name, from_addr))
message['To'] = to_addr
message.add_header('X-Unsent', '1')

with open('test.eml', 'w') as eml:
    gen = generator.Generator(eml)
    gen.flatten(message)

print("** end **")

node.jsでScratchXとDigisparkをつなげる

今年の頭にやっていたことを振り返って、ターゲットとして初心者を想定した割に、 手順が多すぎると感じたので、node.js(electron)で手順を少なくした。
※毎度のことですが、実際にやるときは自己責任でお願いいたします。

f:id:uitspitss:20160930052102j:plain

electronでバイナリ化

最終的な形としては、これを目指していて、Windowsでもこれがやりたかった。
現時点、Macのみ対応。Windowsについては後述。
動作確認した環境は

  • OS X 10.11 (El Capitan) - 64bit
  • macOS 10.12 (Sierra) - 64bit

準備

Digispark

Digisparkには、ArduinoIDEを使って、File > Examples > DigisparkUSB > DigiBlinkの DigiBlink.inoを書き込んでおく。

libusb
  • libusbが必要になるので、パッケージマネージャーのHomebrewを入れる。
  • Homebrewを使って、libusbをインストール。 brew install libusb
app

実行

app実行時にクリップボードにURLのコピーが行われるので注意!
DigisparkをUSBに挿した状態で、中に入っているappを実行すると、以下のようなウィンドウが立ち上がる。

f:id:uitspitss:20160930051712p:plain

appを立ち上げたときに、ファイアウォールからの警告が出てきたら、「許可」「拒否」どちらかを選択で警告ウィンドウは消す。

あとは、立ち上ったウィンドウに表示されているURLにウェブブラウザ(Chrome推奨)でアクセスすると、 以下の画像のように、その他(Others)のところにDigispark用のブロックが読み込まれているはず。

f:id:uitspitss:20160930051707j:plain

この読み込まれたブロックを組み込んでプログラムを書くとその通りに動く。

Windows

Windowsでは、electronとnode-usbの相性問題でelectronがコケてしまうので、 electronを使わずにCLIで動くものも書いた。

環境

動作確認した環境は

  • Windows10
  • node.js - v6.1.0
  • npm - 3.8.6

準備

Digispark

ここは、上述のelectronバージョンと同様。

libusb

Windowsではzadig(usbドライバ書き換えソフト)を使ってインストール。

  • zadigをダウンロードする。
  • zadigでDigiUSBのドライバをWinUSBに変更する。
node

まず、下のリポジトリをクローンしたら、コマンドプロンプト(cmd.exe)で落としてきたディレクトリの中に入る。

uitspitss/electron_scratchX-digispark

そして、 npm installで必要パッケージをインストールする。 (package.jsonのelectronは不要であれば、はずしてしまっても大丈夫)

実行

パッケージのインストール後、同ディレクトリの中で node no_electron.js とすると、 以下のような出力が出てくる。

-master>node no_electron.js
Digispark is opened.
ACCESS to following URL
http://scratchx.org/?url=http://localhost:9911/myscratch.js
R:255(100%), G:255(100%), B:255(100%)
R:130(51%), G:10(4%), B:8(3%)
R:212(83%), G:105(41%), B:222(87%)
R:245(96%), G:145(57%), B:161(63%)
R:77(30%), G:229(90%), B:171(67%)
R:214(84%), G:184(72%), B:222(87%)
R:117(46%), G:0(0%), B:26(10%)
R:217(85%), G:41(16%), B:102(40%)
R:41(16%), G:242(95%), B:224(88%)
R:61(24%), G:66(26%), B:194(76%)

-master>

実行後に出力されるURLにブラウザ(Chrome推奨)でアクセスすると、 上述したelectronのものと同様の動作をする。 R:~以下の部分はScratchXで組み込まれたブロッグが実行されると出力されるもの。

終了するときは、Ctrl-Cで終了。

Windows環境においてのelectronとnode-usbの問題

electronは、使用するパッケージ内部のnodeのバージョンとelectron内部のnodeのバージョンを合わせるようにパッケージをリビルドする機能がある。 しかし、このリビルドがコケてしまい、electronで起動すると、node-usbでできなかった。 このあたりは、node-usbのissuesのあたりに前例はあったけど、VisualStudioのバージョンも噛んだりしていて、私の環境では解決しなかった…

まとめ

技術的なところ

今回は、できるだけnode.jsで使うパッケージを減らす方向で作り始めた。 というのも、下調べ段階で、node.jsとelectronがともにのバージョンアップが頻繁であり、 パッケージのバージョン違いでビルドが失敗しているのをよく見かけたため。

javascriptのコードがES6の書き方をしているのもあれば、 ES5?の書き方をしているもあるのは、そのせい。

思ったこと

最近では、Arduinoなどを使えば、ハードウェアに飛び出していけるものが簡単に作れるようになった。 しかし、それを使うには、プログラミングをする環境をそろえたり、そこに出てくる問題を解決したりしなければいけない。 それがプログラミングのおいしいところにたどり着くまでの障害になっていることもよくある。

そこで、使い方によっては、繰り返し処理(for,while)や条件分岐(if,else)などの深いところまで 使うことができる、ScratchXをベースとして、手軽にプログラミングを楽しみたい。楽しませたいのである。 特にハードウェアに結果が出力されるものは、個人的におもしろいと感じるので、Digisparkを使っている。

最後に、node.jsやelectronに詳しい方は、ぜひ、Windowsバージョンのバイナリ化に挑戦してみてください! 成功しましたら、ご連絡いただけると大変うれしいです。

ダ○ソーで売っていたLEDランプの外装をランプカバーにすると、かわいい。

参考にしたサイト