美国国家气候数据中心（NCDC）数据下载与处理

1、数据下载网址：

ftp://ftp.ncdc.noaa.gov/pub/data/noaa/isd-lite/
注：用Google Chrome浏览器打开
数据源为NCDC（美国国家气候数据中心，National Climatic Data Center），隶属于NOAA（美国国家海洋及大气管理局，National Oceanic and Atmospheric Administration）

2、所需站点ID筛选

站点ID在isd-history里根据所属国家进行查询，中国的缩写为CH，将中国区的站点ID、经纬度全部筛选出，导入arcgis中显示为点数据NCDC_station.shp，用研究区边界对NCDC_station.shp进行裁剪，得到研究区内的站点分布，打开属性表导出，得到自己所需的站点ID，根据站点ID在网站进行对应下载，如下图所示。

3、站点数据下载

网站上为1901年~最新年份的数据，按年份分文件夹，每个年份的文件夹内为.gz格式的站点数据，站点文件命名格式为××××××（站点ID）-99999-××××（年份），找到自己所需的站点，点击即可下载。

4、数据格式解读

下载的数据没有表头，网站有对于各列数据含义的解读文件 isd-lite-format.txt
其中各列数据的中文含义分别是年、月、日、小时、气温、露点温度、气压、风向、风速、云量、累积降雨量-1小时、累积降雨量-6小时

5、为数据添加表头并输出为excel文件

用python对站点数据进行处理，代码引自他人教程

import pandas as pdimport numpy as npdata = pd.read_table('自己的文件路径/592871-99999-2022',header=None)'''原始数据中以空格分隔的12列数据，分别为：年、月、日、小时、温度、露点温度、气压、风向、风速、云量、1小时降雨量和6小时降雨量。'''# 构建空列表用于存放提取出来的各列数据data_list = []for line in data.values:line_temp = [int(x) for x in line[0].split(' ') if x != '']data_list.append(line_temp)df = pd.DataFrame(data_list,columns=['年','月','日','小时','温度','露点温度','气压','风向','风速','云量','1小时雨量','6小时雨量'])# 对数据中-9999的缺失值进行NaN替换df = df.replace(-9999,np.nan)# 数据说明文档中表示原始数据中温度、露点温度、气压、风速、降雨量的换算系数为10，所以要对原始数据中的对应数据除以10，进行换算。df['温度'] = df['温度']/10df['露点温度'] = df['露点温度']/10df['气压'] = df['气压']/10df['风速'] = df['风速']/10df['1小时雨量'] = df['1小时雨量']/10df['6小时雨量'] = df['6小时雨量']/10# 为了便于后续重采样分析数据，给数据增加一个DataFrame列df['Date'] = pd.PeriodIndex(year=df['年'],month=df['月'],day=df['日'],hour=df['小时'],freq='H')df = df.set_index(df['Date'])df.drop(columns= 'Date',inplace=True)print(df)# 保存为同名exceldf.to_excel('想输出的文件路径592871-99999-2022.xlsx')

6、将数据进行重采样，逐小时变为逐日

用python的数据重采样将逐小时数据处理成逐日数据，

import pandasimport pandas as pddata1=pd.read_excel('自己的文件路径578530-99999-2022.xlsx',usecols=['Date','温度'])data1['Date']=pd.to_datetime(data1['Date'])data1=data1.set_index('Date')T1_mean = data1.resample('d').mean() #mean取日均温，若处理降雨数据则为sum，日总降雨量T1_max = data1.resample('d').max() #max取日最高温T1_min = data1.resample('d').min()#min取日最低温daily_T1 = pandas.concat([T1_mean,T1_max,T1_min])print(daily_T1)data2=pd.read_excel('F:/NOAA_NCDC_2022/2022download/578660-99999-2022.xlsx',usecols=['Date','温度'])data2['Date']=pd.to_datetime(data2['Date'])data2=data2.set_index('Date')T2_mean = data2.resample('d').mean()T2_max = data2.resample('d').max()T2_min = data2.resample('d').min()daily_T2 = pandas.concat([T2_mean,T2_max,T2_min])print(daily_T2)data3=pd.read_excel('F:/NOAA_NCDC_2022/2022download/579720-99999-2022.xlsx',usecols=['Date','温度'])data3['Date']=pd.to_datetime(data3['Date'])data3=data3.set_index('Date')T3_mean = data3.resample('d').mean()T3_max = data3.resample('d').max()T3_min = data3.resample('d').min()daily_T3 = pandas.concat([T3_mean,T3_max,T3_min])print(daily_T3)#将excel写入对象writerwriter = pd.ExcelWriter(r"想输出的路径.xlsx", engine='xlsxwriter')# 分别将表T1、T2、T3写入Excel中的sheet1、sheet2、sheet3# 命名为daily_T1、daily_T2、daily_T3daily_T1.to_excel(writer, sheet_name='daily_T1')daily_T2.to_excel(writer, sheet_name='daily_T2')daily_T3.to_excel(writer, sheet_name='daily_T3')# 保存读写的内容writer.save()