知方号

知方号

Power BI上市公司财务报表分析<爬取上市公司报表>

http://money.finance.sina.com.cn/corp/go.php/vFD_ProfitStatement/stockid/000858/ctrl/2018/displaytype/4.phtml

和猜测的完全一致,那么就可以利用PowerBI,来批量来抓取。

抓取多公司、多年度、多个报表的整体思路:

1、先抓取一个公司一年的一个报表;

2、利用第1步的查询创建自定义函数;

3、构建参数列表;

4,调用自定义函数,批量抓取数据。

下面进入具体操作步骤。

1,利用PowerBI抓取一个公司、一年的报表

以上面第一个网址:2023年万科的资产负债表为例,点击获取数据>从web,将网址输入进去,在弹出的导航器中,会看到PowerBI识别出来很多表格,因为这一页本来就是有很多组数据,分别点击查看,会看到表17的结构最为规范,

选中这个表,然后加载数据,进入Power Query编辑器。

首先观察这个表的数据,空值都显示为"--",首先将它替换为0,然后将第一行用作标题:

如果对PowerQuery的基础操作还不熟悉,建议先看看这篇文章:

数据清洗中最常使用的十三招

这是一个二维结构表,为便于之后的分析,将其转换为一维表:选中第一列,点击逆透视>逆透视其他列,就变成了一维表:

不了解一维表的可以参考:关于一维表,你想知道的都在这里了

万科2023年的资产负债表提取并整理完毕。

其实这一步到这里就可以结束了。不过在这个模型中,为了简化,我将现金流量表的间接法附加数据删除,只保留了直接法的现金流量表项目,因此,多做了现金流量表的查询。

所以提取现金流量表的时候,在上面资产负债表操作的基础上,增加了删除底部行的步骤,其他步骤都相同(如果你需要使用现金补充资料,可以不单独处理,只需要获取一个资产负债表就行)。

2,建立自定义函数

在PowerBI中,操作的每一个步骤都会自动记录下来,数据源更新后,刷新就可以自动完成所有的操作步骤。

更进一步的,还可以将这个查询函数化,进而应用于相似的其他查询,这就用到了PowerQuery的自定义函数(如果你还不清楚什么是自定义函数,可以先看看:认识Power Query的自定义函数)。

自定义函数并不是都需要自己从零开始一点点写M代码,还有更加简便的方法。

第1步完成以后,右键该查询的名称,点击"创建函数"。

输入函数名,这里我按报表的类型,定义该函数为balancesheet。

然后选中这个自定义函数,点击进入高级编辑器,将前面几行代码调整为下图所显示的内容:

就是修改一下获取数据网址,将网址中的:报表类型、公司代码、年度分别用:type、code、year表示,并将这三个变量作为自定义函数的三个参数。

然后这个自定义函数就建好了,

在这个窗口,任意输入三个有效参数,就能提取某个上市公司某年度的一个报表。

不过我们建立自定义函数的目的是为了批量获取数据,所以在这个窗口中不需要操作。

同样的方式,为现金流量表也生成一个自定义函数,命名为cashflow。

3,构建参数列表

针对三个参数,我们需要构建这三个参数的笛卡尔积,来得到每个公司的2010年-2023年的三大报表数据。

为了便于后期的修改和维护,我们先建立三个单独的参数表。

在PowerQuery编辑器中,直接点击输入数据,将需要分析的公司名称和股票代码录进去:

就生成了一个公司名称表,同样的方式,生成年度表和报表类型表。

接下来要做的是,生成这三个表的笛卡尔积,也就是公司代码、年度、报表类型的任意组合。

在PowerQuery中,生成笛卡尔积很简单,先为这三个表都添加一列,比如1,然后合并查询。

先合并查询报表类型和年度:

得到的结果如下:

这就是报表类型和年度的任何组合,然后继续将这个表与公司名称表合并查询,就得到了公司代码、年度、报表类型的任意组合表。

4、调用自定义函数

在第3步生成的表的基础上,添加自定义列,

这个M代码的意思是,如果报表类型是CashFlow(现金流量表),就调用自定义函数:cashflow,否者调用balancesheet,他们的参数相同(如果只有一个自定义函数,就不需要用IF做判断,直接调用就行)。

然后就抓取到了这5家公司10年的三大报表数据:

并且,批量抓取的报表数据,已经是我们需要的一维表数据,因为第一步的操作,就含有二维转一维的步骤,后面在调用自定义函数的时候,都自动做了相同的操作。

当然你也可以用这种方法,一次性抓取上百家公司的数据,但速度会非常慢,所以建议只抓取需要的公司、最近年份的数据就可以了。

至此,三大表的数据抓取完成,主要就是利用PowerQuery的界面操作,以及简单的几个代码修改,即使没有任何基础,照着上面的步骤,也可以快速完成。

在这个财务分析示例中,其中有一页是公司概况,也是通过网页抓取的公司信息:

数据来源于下面三个网页:

公司公告https://vip.stock.finance.sina.com.cn/corp/go.php/vCB_AllBulletin/stockid/000002.phtml

公司简介

http://vip.stock.finance.sina.com.cn/corp/go.php/vCI_CorpInfo/stockid/000002.phtml

历史行情

http://q.stock.sohu.com/cn/000002/lshq.shtml

这些数据的抓取和上面财报数据抓取步骤完全一样,不过更加简单,因为只有一个参数:公司代码,大家可以自己动手练习。

通过以上的介绍,你应该可以轻松从网页中抓取财报数据,需要相关的其他数据时,你都可以从网上搜索资源,然后批量抓取。

正如开头所说,如果你要做的是自己公司的内部财报分析,你可以忽略掉

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至lizi9903@foxmail.com举报,一经查实,本站将立刻删除。

上一篇 没有了

下一篇没有了