エンジニアステップ

初心者エンジニア(1年目~3年目くらい)のための技術ブログ

pythonクローリングスクレイピング感想とメモ(実践編)。ライブラリ活用など

pythonクローリングスクレイピング感想とメモ(実践編)です。 ライブラリ活用などを中心に書いていきます。 前編はこちら。 www.engineer-step.com 第3章「強力なライブラリの活用」 第3章「強力なライブラリの活用」についてです。 スクレイピングのための…

Windowsで使えるMongoDBのGUIクライアントソフトをまとめてみた

Windowsで使えるMongoDBのGUIクライアントソフトをまとめてみた。 非商用で、個人用です。 3T MongoChef たぶん、よく使われてそう。 The MongoDB GUI, IDE & Client for Professional Devs - Studio 3T MongoBooster MongoBoosterもよさげ。 NoSQLBooster -…

「DeprecationWarning: insert is deprecated. Use insert_one or insert_many instead」エラーが出て困った

「DeprecationWarning: insert is deprecated. Use insert_one or insert_many instead」エラーが出て困ったので調べた。 python - Mongoengine DeprecationWarning: insert is deprecated - Stack Overflow 回答はこちら insert_many was introduced in mon…

Jetbrains社のIDEでCtrl+マウスホイールでテキストサイズを変更(拡大縮小)する方法

Jetbrains社のIDEでCtrl+マウスホイールでテキストサイズを変更(拡大縮小)する方法です。 [File]→[Settings]を開く 「mouse」で検索 Change font size(Zoom) with Ctrl + Mouse Wheel にチェックを入れる 以上の3ステップでOKです。 IntelliJ、PyCharm、A…

WindowsでPython3使用時のUnicodeEncodeError(cp932,Shift-JISエンコード)の原因と回避方法

WindowsでPython3使用時のUnicodeEncodeError(cp932,Shift-JISエンコード)の原因と回避方法です。 こんなエラーが出ます。 UnicodeDecodeError: 'cp932' codec can't decode byte 0x8d in position 143: illegal multibyte sequence 対処方法は、 with open(…

「Pythonクローリング&スクレイピング ―データ収集・解析のための実践開発ガイド」の感想

「Pythonクローリング&スクレイピング ―データ収集・解析のための実践開発ガイド」の感想です。 自分で、ウェブ上のデータを拾って、コンテンツとしてまとめたいという気持ちから、興味を持ちました。 Pythonクローリング&スクレイピングの概要 目次 オス…

Windows10でpython開発環境構築。Gitの設定と、PyCharm接続方法

Windows10でpython開発環境構築の続き。 Gitの設定 PyCharm接続方法 を行います。 Gitとは Gitとはバージョン管理がするためのオープンソースソフトウェアです。 ファイルの変更履歴を簡単にもとに戻したり出来ます。 作成者はリーナス・トーバルズです。 ※L…

pythonのurllib.request.Requestで403エラー時にはユーザエージェントを偽装する

pythonのurllib.request.Requestで403エラー時にはユーザエージェントを偽装すれば対応できました。 ※pythonでクローリングを勉強しているのでメモです リスト2.9 urlopen_encoding.pyでエラーが出た時の対処法 リスト2.9 urlopen_encoding.pyで403エラーが…

Windows Subsystem for Linuxのインストール方法。WindowsでUnixコマンドを使いたい

Windows Subsystem for Linuxのインストール方法です。 Windows10環境で「Pythonクローリング&スクレイピング」本の内容を実行する=Unixコマンドを扱いうためです。 Linuxコマンドを使う WindowsではLinuxコマンドを使えません(デフォルトでは)。 そこで…

Python初心者の学習記録まとめ

Python初心者の学習記録をまとめました。 随時更新予定。 Python初心者の学習記録まとめ Python学習1日目 環境構築しHelloworld表示まで(1H) 独学プログラマーを読む(1.5H) PyCharmの環境設定を学ぶ(1H) Python学習2日目 独学プログラマーのコードを実装 Pyt…