【python】动态可视化+爬虫(超燃超简单)

【python】动态可视化+爬虫(超燃超简单)

码农世界 2024-06-04 后端 93 次浏览 0个评论

文章目录

    • 一、可视化库pynimate
    • 二、爬取数据
    • 三、动态可视化

      一、可视化库pynimate

      这里推荐个动态可视化库pynimate,2023年还在持续更新中。调用他们动态可视化方法,实现起来不要太简单。

      pynimate官方地址

      首先看下他们官方例子

      注意需要python版本>=3.9

      import pandas as pd
      from matplotlib import pyplot as plt
      import pynimate as nim
      df = pd.DataFrame(
          {
              "time": ["1960-01-01", "1961-01-01", "1962-01-01"],
              "Afghanistan": [1, 2, 3],
              "Angola": [2, 3, 4],
              "Albania": [1, 2, 5],
              "USA": [5, 3, 4],
              "Argentina": [1, 4, 5],
          }
      ).set_index("time")
      cnv = nim.Canvas()
      bar = nim.Barhplot.from_df(df, "%Y-%m-%d", "2d")
      bar.set_time(callback=lambda i, datafier: datafier.data.index[i].year)
      cnv.add_plot(bar)
      cnv.animate()
      plt.show()
      

      【python】动态可视化+爬虫(超燃超简单)

      二、爬取数据

      会了可视化,但是没有数据怎么办?去网上爬取点数据过来。

      网址链接

      从这个网站爬取近20年编程语言热度占比

      这个爬起来很简单,信息全在界面上面,也不需要验证登录啥的,直接request+正则表达爬取信息,爬取到信息保存到csv文件。

      【python】动态可视化+爬虫(超燃超简单)

      import pandas as pd
      import requests
      import re
      url = "https://www.tiobe.com/tiobe-index/"
      headers = {
          "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"}
      response = requests.get(url, headers=headers)
      htmlText = response.text
      d = dict()
      datas = re.findall('{name : .*?}', htmlText)
      dates = re.findall('Date.UTC\((.*?)\)', datas[0])
      # 时间
      date_list = []
      for date in dates:
          t = date.replace(" ", "").split(",")
          t[1] = str(int(t[1]) + 1)
          y_m_d = "-".join(t)
          date_list.append(y_m_d)
      d["time"] = date_list
      for i in datas:
          name = re.findall("name : '(.*?)'", i)[0]
          value_list = []
          values = re.findall('\), (.*?)]', i)
          for value in values:
              value_list.append(eval(value))
          if len(value_list) != len(date_list):   # 有些编程语言缺少近20年数据,为了方便直接不要
              print(name, len(value_list))
              continue
          d[name] = value_list
      df = pd.DataFrame(d).set_index("time")
      df.to_csv("test.csv")
      

      三、动态可视化

      排版借鉴 小馒头博客

      from matplotlib import pyplot as plt
      import pandas as pd
      import pynimate as nim
      plt.rcParams['font.family'] = 'SimHei'  # 显示中文
      df = pd.read_csv("test.csv").set_index("time")
      def post_update(ax, i, datafier, bar_attr):
          ax.spines["top"].set_visible(False)
          ax.spines["right"].set_visible(False)
          ax.spines["bottom"].set_visible(False)
          ax.spines["left"].set_visible(False)
          ax.set_facecolor("#001219")
      # Canvas类是动画的基础
      cnv = nim.Canvas(figsize=(12, 7), facecolor="#001219")
      # 使用Barplot模块创建一个动态条形图, 插值频率为10天 post_update美化格式 n_bars最大显示多少条默认为10
      bar = nim.Barplot(df, "%Y-%m-%d", "10d", xticks=False, post_update=post_update, rounded_edges=True, grid=False,
                        n_bars=5)
      # 编程热度值
      bar.set_title(title="编程语言热度占比(%)", size=20, color="w", weight=800)
      # 使用了回调函数, 返回以年、月为单位格式化的datetime
      bar.set_time(callback=lambda i, datafier: datafier.data.index[i].strftime("%Y,%m"), color="w", y=0.1)
      bar.set_bar_annots(color="w", size=30)  # 显示热度占比值
      bar.set_xticks(colors="w", length=0, labelsize=20)
      bar.set_yticks(colors="w", labelsize=20)
      bar.set_bar_border_props(edge_color="black", pad=0.1, mutation_aspect=1, radius=0.2, mutation_scale=0.6)
      # 将条形图添加到画布中
      cnv.add_plot(bar)
      cnv.animate()
      # plt.show()
      cnv.save("file", 24, "mp4")	# 保存视频
      

      【python】动态可视化+爬虫(超燃超简单)

      恭喜!成功啦!

转载请注明来自码农世界,本文标题:《【python】动态可视化+爬虫(超燃超简单)》

百度分享代码,如果开启HTTPS请参考李洋个人博客
每一天,每一秒,你所做的决定都会改变你的人生!

发表评论

快捷回复:

评论列表 (暂无评论,93人围观)参与讨论

还没有评论,来说两句吧...

Top