标签归档：股市

关于shortcut learning，是否可以用于股市数据？

2023年3月19日 Python实用宝典留下评论

什么是shortcut learning(快捷学习)

快捷学习（shortcut learning）是指神经网络在训练期间使用某些特定的捷径（shortcut）来完成任务，而这些捷径可能并没有真正理解任务的本质，而是通过记忆一些特定的输入-输出对来完成任务。这种学习方式可能会导致过拟合问题，并且对于新的输入数据可能会产生不准确的预测。

例如，在图像分类任务中，一个神经网络可能会倾向于使用一些表面特征（如颜色或形状）来判断图像属于哪个类别，而没有真正理解该类别的本质特征。这样的模型可能会在训练集上表现出色，但在测试集上的表现可能会受到影响，因为测试集中可能包含了一些不同于训练集的样本。

为了解决快捷学习问题，一些方法包括增加训练数据，使用正则化技术（如dropout），以及设计更复杂的神经网络架构等。

shortcut learning 适合哪些场景

快捷学习通常适用于一些具有高度结构化和规则化特征的任务，例如语音识别、图像分类和机器翻译等。在这些任务中，数据的结构和规律性可以被网络用来发现一些规则和模式，以加速学习过程。此外，快捷学习在一些数据较少的任务中也可以得到较好的表现，因为模型可以从有限的数据中学习并利用一些常见的输入-输出模式来加快训练速度。

但是，快捷学习也存在一些问题，如过拟合和对新数据的泛化性能不佳等问题。因此，在应用快捷学习技术时需要谨慎选择并结合其他方法来提高模型的泛化性能和稳健性。

股市分类问题通常是一个高度复杂和非线性的问题，由于股票市场的复杂性，快捷学习可能并不适合用于该领域的任务。

shortcut learning 适合股市的分类问题吗

股票市场的特征和趋势是难以预测和解释的，因此需要更深入和细致的分析和建模。相反，快捷学习更适合处理具有明显规则和结构的数据，例如语音、图像和自然语言处理等领域。

在股票市场的分类问题中，需要考虑各种不同的影响因素，例如市场走势、经济政策、公司业绩等等。因此，更适合使用一些复杂的深度学习方法来处理这些数据，例如循环神经网络（RNN）和卷积神经网络（CNN）。这些方法可以更好地捕捉到不同特征之间的复杂关系，并提高模型的泛化性能。

比如对于450W数据量的股市数据，由于数据量较大，可以考虑使用一些比较复杂的深度学习模型来进行建模。以下是几种可能适合的模型：

卷积神经网络（CNN）：CNN适用于处理图像等具有空间结构的数据，可以学习到数据中的空间特征。在股票数据中，也可以将数据视为二维数据，其中一个维度表示时间，另一个维度表示不同的特征（如开盘价、收盘价等）。通过使用CNN，可以从这些二维数据中学习到时间序列上的模式，以及不同特征之间的关系。
长短时记忆网络（LSTM）：LSTM适用于处理序列数据，能够捕捉到时间序列上的长期依赖关系。在股票数据中，LSTM可以用于学习和预测未来的股价走势。通过使用LSTM，可以从历史数据中学习到市场的趋势和规律，以及不同特征之间的关系，以便进行未来的预测。
注意力机制（Attention）：注意力机制是一种可以自动学习不同特征之间的权重分配的技术。在股票数据中，可以使用注意力机制来学习哪些特征对于预测股价变化更加重要。通过使用注意力机制，可以从海量数据中自动选择对预测最有用的特征，提高预测的准确性。

综上所述，对于450W数据量的股市数据，可以尝试使用一些复杂的深度学习模型，例如CNN、LSTM和注意力机制等，以提高预测的准确性和稳定性。但是，选择哪种模型还需要考虑具体的问题和数据特征，需要进行实验和调整来选择最适合的模型。

Python 数据分析

教你使用 Python 获取Fredapi美国重要经济指标数据

2022年2月5日 Python实用宝典留下评论

美国的金融市场（主要是股市、债市和汇市）经常受到其国内各项经济数据影响而波动。不仅如此，这些经济数据甚至会影响远在太平洋对岸的港股和A股。因此对于世界经济火车头的美国，我们要有对其经济数据有一定程度的理解。

对于股市而言，几个比较重要的经济指标为：

1. 联储局公开市场委员会会议声明

联储局公开市场委员会(FOMC)是决定美国利率走向的主宰者，而利率是美国经济未来增长的最重要因素，它的变化都会令消费支出、公司利润、政府预算及股票债券和美元的价值都受到影响。

2.消费者物价指数 Consumer Price Index (CPI)

这个指标是市场上最瞩目的经济指标之一，通胀（缩）率是联储局决定是否加息的最主要参考指标，而消费者物价指数则是最重要的通胀（缩）指标。通胀（缩）会影响到民生、政府的财政政策和民间的所有经济活动。通胀（缩）对于投资市场来说是件非常可怕的事情，因为它制造了经济的不稳定性和不确定性，给股市会带来波动和风险。

3.生产者物价指数 Producer Price Index (PPI)

跟CPI一样，这个指标是预测通货膨胀的重要指标之一，不过它反映的是生产者这个环节，是在通胀转移到消费者之前的数据，也就是说它对通胀和利率政策更具前瞻性，尽管其对消费者的影响力不如CPI。

4.采购经理人指数 Purchasing Managers Index (PMI)

PMI是一项全面的经济指标，概括了美国整体制造业状况、就业及物价表现，是全球最受关注的经济资料之一。采购经理人指数为每月第一个公布的重要数据，加上其所反映的经济状况较为全面，因此市场十分重视数据所反映的具体结果。在一般意义上讲采购经理人指数上升，会带来美元汇价上涨；采购经理人指数下降，会带来美元汇价的下跌。

5.非农就业数据 Non-farm Payrolls (NFP)

是美国非农业人口的就业数据，由美国劳工部每月公布一次，反应美国经济的趋势，数据好说明经济好转，数据差说明经济转坏。非农数据会影响美联储对美元的货币政策，经济差，美联储会倾向减息，美元贬值，经济好，美联储会倾向加息，美元升值。

本文将教你如何使用Python调用 FRED(Federal Reserve Economic Data) 数据库API获取以上相关数据。

1.准备

开始之前，你要确保Python和pip已经成功安装在电脑上，如果没有，请访问这篇文章：超详细Python安装指南进行安装。

(可选1) 如果你用Python的目的是数据分析，可以直接安装Anaconda：Python数据分析与挖掘好帮手—Anaconda，它内置了Python和pip.

(可选2) 此外，推荐大家用VSCode编辑器来编写小型Python项目：Python 编程的最好搭档—VSCode 详细指南

Windows环境下打开Cmd(开始—运行—CMD)，苹果系统环境下请打开Terminal(command+空格输入Terminal)，输入命令安装依赖：

pip install fredapi

2.注册账户获取FredApi权限

为了能够获取FRED的数据，你需要先注册账号、然后申请一个API秘钥，完全免费，三分钟就能解决。

进入FRED主页：https://research.stlouisfed.org

右上角有一个『My Account』，点进去后，选择『Create New Account』申请 FRED 账号：

注册完成后，会跳转到会员页，点击左侧API Keys：

申请API秘钥：

申请完毕后就能获得一个API Key了。

3.通过接口获取Fredapi经济指标数据

FRED 数据量非常庞大，其分为大分类和大分类的子项目。大分类我们可以通过这样的代码获得：

import requests
import pandas as pd
import datetime as dt
def fetch_releases(api_key):
    """
    取得 FRED 大分类信息
    Args:
        api_key (str): 秘钥
    """
    r = requests.get('https://api.stlouisfed.org/fred/releases?api_key='+api_key+'&file_type=json', verify=True)
    full_releases = r.json()['releases']
    full_releases = pd.DataFrame.from_dict(full_releases)
    full_releases = full_releases.set_index('id')
    # full_releases.to_csv("full_releases.csv")
    return full_releases

导出为CSV后，你能看到所有的大分类ID及其说明。

每个大分类中有许多子项目，比如 355：Minimum Wage Rates 底下会有：
* FEDMINNFRWG：Nonfarm Workers Minimum Hourly Wage
* FEDMINFRMWG：Farm Workers Minimum Hourly Wage

每一个子项目也有一个专属的『子项目英文代码』，就是前面的那串英文字。

我们可以通过对大分类进行关键字搜索，获取我们文首提到的五个指标：

from fredapi import Fred
import requests
import numpy as np
import pandas as pd
import datetime as dt


def fetch_releases(api_key):
    """
    取得 FRED 大分类信息
    Args:
        api_key (str): 秘钥
    """
    r = requests.get('https://api.stlouisfed.org/fred/releases?api_key='+api_key+'&file_type=json', verify=True)
    full_releases = r.json()['releases']
    full_releases = pd.DataFrame.from_dict(full_releases)
    full_releases = full_releases.set_index('id')
    # full_releases.to_csv("full_releases.csv")
    return full_releases

  
def fetch_release_id_data(release_id):
    """
    按照分类ID获取数据

    Args:
        release_id (int): 大分类ID

    Returns:
        dataframe: 数据
    """
    econ_data = pd.DataFrame(index=pd.date_range(start='2000-01-01', end=dt.datetime.today(), freq='MS'))
    series_df = fred.search_by_release(release_id, limit=3, order_by='popularity', sort_order='desc')
    for topic_label in series_df.index:
        econ_data[series_df.loc[topic_label].title] = fred.get_series(topic_label, observation_start='2000-01-01', observation_end=dt.datetime.today())
    return econ_data


api_key = '填入你的API秘钥'

fred = Fred(api_key)

full_releases = fetch_releases(api_key)

keywords = ["producer price", "consumer price", "fomc", "manufacturing", "employment"]

for search_keywords in keywords:
    search_result = full_releases.name[full_releases.name.apply(lambda x: search_keywords in x.lower())]
    econ_data = pd.DataFrame(index=pd.date_range(start='2000-01-01', end=dt.datetime.today(), freq='MS'))

    for release_id in search_result.index:
        print("scraping release_id: ", release_id)
        econ_data = pd.concat([econ_data, fetch_release_id_data(release_id)], axis=1)
    econ_data.to_csv(f"{search_keywords}.csv")

上面就是完整的数据下载代码，如果你想直接获取脚本文件，请在Python实用宝典后台回复：FRED 下载。

填入你申请的 API 秘钥，运行脚本，就能获取我们想要的五个指标数据。会在当前文件夹下生成相应关键词的csv文件。比如 employment.csv 的内容如下:

里面包含了就业相关的许多数据，包括我们关注的非农数据等。

如果你想要更换关键词下载其他关键词的数据，也可以在keywords中进行增删。请注意，这里搜索必须使用小写单词。

获取数据只是第一步，最重要的是如何分析这些数据与股市的相关性。

德意志银行有一个研究发现历年来ISM(即PMI)指数的数值和标普500的同比增长数值是高度相关的。

类似于这样的数据分析切入点是非常有意思的，大家也可以尝试基于这些数据做一些自己的研究分析，说不定会有意外的发现。

我们的文章到此就结束啦，如果你喜欢今天的 Python 教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应验证信息，进入互助群询问。

原创不易，希望你能在下面点个赞和在看支持我继续创作，谢谢！

我要打赏

Python实用宝典 ( pythondict.com )
不只是一个宝典
欢迎关注公众号：Python实用宝典

Python 数据分析

Python 利用股市找到那些存在问题的上市企业

2020年12月19日 Python实用宝典留下评论

当某个股票保持下跌的时候，你可以肯定该股票一定有什么地方不对，要么是它的市场，要么是它的公司。——利弗莫尔

因此结合自己最近的研究，提出了这个比较新颖的想法：利用股票市场找到已有或潜在食品安全问题的企业。

为什么会有这个想法呢？我们知道食品安全事故发生的时间点和媒体报道的时间点之间实际上是有一个间隔的，然而相关利益人士、内部人士却能提前知道事件的发生。

比如说，2012年11月19日，酒鬼酒被国家质检总局爆出塑化剂超标247%，但是在19号之前，酒鬼酒的收盘价却神奇地从2012年11月2日的55元回落到2012年11月16号的46元。然而国家质检总局的消息是在2012年11月19号才发布的。

而且这样的下跌，明显违背该股票当时上涨的趋势，在10月底时，它的股价已突破周K的压力线，却很不自然地下跌了？而且还违背了许多技术指标，如1号、14号、16号，KDJ和BOLL指标明显提示上涨，在股市这种情绪化的市场中，有人却不为所动，仍然售出大量股票导致其不正常下跌。

2012年11月19号消息公布时紧急停牌，复牌后有三个跌停，股价暴跌48%，但我相信某些人已经成功躲开了这场股灾。

找到已有或潜在食品安全问题的企业的重点在于两个方面：

1.该股票在该板块或者该股强走势的情况下却发生连续多日的下跌

2.不正常的跌停板

如果我们在消息公布/(不公布)前能提前捕捉到这个异常信息，我们就能提前捕捉到某个食品的安全问题，而且也能规避投资风险。当然，出现这种异常的可能性非常多，这种异常只能作为参考。

下面让我们尝试用Python来找到第一种趋势的企业，当然我最后不会公布结果，大家感兴趣可以自己试试：

首先利用tushare找到和食品安全相关的上市企业：

import tushare as ts
def food_codes():
    data = ts.get_industry_classified()
    print data[data.c_name.isin(['食品行业','农药化肥','酿酒行业'])]

得到结果：

均线是我们获得该股票趋势的基础，下面我们编写均线函数：

def get_ma(code,start='',end=datetime.date.today().strftime("%Y-%m-%d")):
    data = ts.get_k_data(code)
    data = data.sort_index(ascending=False)
    data['ma2'] = data['close'].rolling(2).mean().shift(-1)
    data['ma5'] = data['close'].rolling(5).mean().shift(-4)
    data['ma10'] = data['close'].rolling(10).mean().shift(-9)
    data['ma20'] = data['close'].rolling(20).mean().shift(-19)
    data['ma60'] = data['close'].rolling(60).mean().shift(-59)
    data['ma240'] = data['close'].rolling(240).mean().shift(-239)
    data['date'] = pd.to_datetime(data['date'])
    if start == '':
        return data
    start = pd.to_datetime(start)
    end = pd.to_datetime(end)
    if data['date'][len(data) - 1] < start:
        return 0
    while data.loc[data.date == start].empty:
        start = start + dateutil.relativedelta.relativedelta(days=1)
    while data.loc[data.date == end].empty:
        end = end - dateutil.relativedelta.relativedelta(days=1)
    return data.loc[(data.date >= start) & (data.date <= end)]

我们只需要确定两点：

1. 以20个交易日为窗口期，其内最高价和最低价的差距大于其最高价的15%。

2. 该股票处于涨势。

def analyzeOne(code):
    rng = pd.date_range('2018-1-1', datetime.date.today().strftime("%Y-%m-%d"), freq='D')
    # 获得日期
    flag = 0
    for i in range(20,len(rng)):
        data = get_ma(code,rng[i-20],rng[i])
        count = 0
        data = data.sort_index(ascending=True)
        # 升序
        max = data['close'][data['close'].argmax()]
        min = data['close'][data['close'].argmin()]
        for j in range(len(data)):
            if data.iloc[j]['ma5'] >= data.iloc[j]['ma20'] and data.iloc[j]['ma20'] >= data.iloc[j]['ma60'] and \
                    data.iloc[j]['ma60'] >= data.iloc[j]['ma240']:
                count = count + 1
                if count >= 5 and (max-min) - max*0.15 > 0:
                    print 'Code: ' + str(code) +', Problem:' + str(rng[i-20])+ ' ' + str(rng[i])
            else:
                count = 0

如果存在这样的趋势，就输出这个趋势的窗口时间段，当然这只是一个粗略的模型，结果中可能会有很多意外的情况，但是我觉得足够启发大家了。

想要应用于所有食品相关股票:

def find_down():
    for i in food_codes().code:
        analyzeOne(i)

通过这样的操作，我找到了两支类似的股票：

但这些股票都没有新闻报道发生了问题，最后也让我怀疑自己的模型的准确性，到底是市场正常波动，还是这个企业存在问题。

因此，这个模型存在许多的优化空间，如何通过股市最准确地找出那些出问题的企业，还有待进一步研究，本实验只是提出一个初步的模型和一些想法。

个人愚见，欢迎讨论。

我们的文章到此就结束啦，如果你喜欢今天的Python 实战教程，请持续关注Python实用宝典。

有任何问题，可以在公众号后台回复：加群，回答相应红字验证信息，进入互助群询问。