ある要素がリストに存在するか検索したい場合のやり方。 以下のように要素が複数ある時に、一つの要素がリストの中にあるか検索する方法。 # 検索文字 # targetList[1]の値がbaseListに存在するか検索したい。検索し、存在する場合は、outputListに追加する …

サンプルプログラム import csv # 書き込み with open('test.csv', 'w') as csv_file: # header を設定 fieldnames = ['Name', 'Like'] writer = csv.DictWriter(csv_file, fieldnames=fieldnames) writer.writeheader() # データの書き込み writer.writerow…

note.nkmk.me note.com deepage.net punhundon-lifeshift.com codezine.jp www.headboost.jp

こんなデータのファイルを読み込んで、配列の形にしたい時の方法。 a b c コード import csv import numpy as np with open("sample.csv") as fp: reader = csv.reader(fp) data = [ e for e in reader ] data = np.array(data).reshape(-1) 参考 【Python】…

pandas.json_normalize https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.json_normalize.html Quick Tutorial: Flatten Nested JSON in Pandas https://www.kaggle.com/jboysen/quick-tutorial-flatten-nested-json-in-pandas "dot nota…

改行しないでprintしたい。 やることは簡単で、endオプションを付けるだけ。 やはり実際につくりたいものをつくりながら、わからないことを調べるのが一番身につくなぁ。 コード print("Hello World", end="") 参考 qiita.com python3で改行なしでprintする

データストアとして、HDFSとPostgreSQLを使っている。 両方のテーブルを結合して結果を出したいため、SQL分散処理エンジンのPrestoを利用している。 Prestoとは qiita.com 以下のコードの接続設定を変更したら出来た。 JupyterからPresto接続し、取得結果をD…

DataFrameのデータを加工しながら1レコードずつファイル出力したいことがあった。 そのやり方の紹介。 サンプルコード data.to_csv( 'test.csv', index=False ) ''' 追記する方法 modeで、'a'を指定するだけ。 ''' data.to_csv('test.csv', mode='a') 書いて…

ファイル出力したい。動作確認している時は上書きされると困るときがあるのでタイムスタンプ付ける。タイムスタンプの付け方の紹介。 サンプルコード import pandas as pd import numpy as np import datetime df = pd.read_csv('employee.tsv', delimiter='…

最適化問題（ナップサック問題）を解くため、knapsackライブラリを使った。ファイルからデータを読み込み、DataFrame型にして、あれこれデータの前処理をした。 その後、knapsackライブラリを使うが、DataFrameではなくarrayにしないと使えなかったので変換…

DataFrameで特定の行を削除したいとき 処理の途中で特定の行を削除したい時があった。 indexを指定して削除で、その紹介。 サンプルコード import pandas as pd df = read_csv('employee.tsv', delimiter='\t' ''' df date id name 0 2019/07/01 100 Suzuki …

DataFrameの行数を確認したい時の方法 以下のサンプルコードのように、データ投入した後にいきなり確認する必要ことは実際には無いと思うが、処理の途中のDataFrameに入っているデータの行数を確認したりする時に利用すると思う。 サンプルコード import pan…

データをファイルからDataFrameに読み込み、その中から利用する絡むだけ抽出したい時のやり方の紹介 サンプルコード import pandas as pd df = pd.read_csv( 'foo.txt' ) ''' date, no, id, nameの中から、 id, nameのカラムだけ抽出したい場合 ''' df = df[…

入力 csvファイル読み込み import pandas as pd pd.read_csv( 'foo.txt' ) """ 欠損値の場合に値を埋めたい場合 何もしないとNaNがセットされる。 指定した文字(今回の場合は、0埋め)で埋めたい時は以下 """ pd.read_csv( 'foo.txt' ).fillna(0) tsvファイル…