欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python結(jié)合Sprak實(shí)現(xiàn)計(jì)算曲線與X軸上方的面積

 更新時(shí)間:2023年02月25日 10:22:16   作者:夢(mèng)實(shí)現(xiàn)了嗎  
這篇文章主要介紹了Python結(jié)合Sprak實(shí)現(xiàn)計(jì)算曲線與X軸上方的面積,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)吧

有n組標(biāo)本(1, 2, 3, 4), 每組由m個(gè)( , , ...)元素( , )組成(m值不定), . 各組樣本的分布 曲線如下圖所示. 通過(guò)程序近似實(shí)現(xiàn)各曲線與oc, cd直線圍成的?積.

思路

可以將圖像分成若干個(gè)梯形,每個(gè)梯形的底邊長(zhǎng)為(Xn+1 - Xn-1),面積為矩形的一半,其面積 = (底邊長(zhǎng) X 高)/2,即S = (Xn+1 - Xn-1) * (Yn+1 + Yn+2),對(duì)于整個(gè)圖形,面積為所有梯形面積之和。

[圖片]求曲線與其下方x軸的面積,本質(zhì)上是一個(gè)求積分的過(guò)程??梢詫?duì)所有點(diǎn)進(jìn)行積分,可以調(diào)用np.tapz(x, y)來(lái)求

代碼

"""Calculate the area between the coordinates and the X-axis
"""
import typing
from pandas import read_parquet
def calc_area(file_name: str) -> typing.Any:
    """?積計(jì)算.
    Args:
    file_name: parquet?件路徑, eg: data.parquet
    Returns:
    計(jì)算后的結(jié)果
    """
    res = []
    # Load data from .parquet
    initial_data = read_parquet(file_name)
    # Get number of groups
    group_numbers = initial_data["gid"].drop_duplicates().unique()
    # Loop through the results for each group
    for i in group_numbers:
        data = initial_data[initial_data["gid"] == i]
        data = data.reset_index(drop=True)
        # Extract the list of x\y
        x_coordinates = data["x"]
        y_coordinates = data["y"]
        # Calculate area between (x[i], y[i]) and (x[i+1], y[i+1])
        rect_areas = [
            (x_coordinates[i + 1] - x_coordinates[i])
            * (y_coordinates[i + 1] + y_coordinates[i])
            / 2
            for i in range(len(x_coordinates) - 1)
        ]
        # Sum the total area
        result = sum(rect_areas)
        res.append(result)
        # Also we can use np for convenience
        # import numpy as np
        # result_np = np.trapz(y_coordinates, x_coordinates)
    return res
calc_area("./data.parquet")

或者使用pyspark

"""Calculate the area between the coordinates and the X-axis
"""
import typing
from pyspark.sql import Window
from pyspark.sql.functions import lead, lit
from pyspark.sql import SparkSession
def calc_area(file_name: str) -> typing.Any:
    """?積計(jì)算.
    Args:
    file_name: parquet?件路徑, eg: data.parquet
    Returns:
    計(jì)算后的結(jié)果
    """
    res = []
    # Create a session with spark
    spark = SparkSession.builder.appName("Area Calculation").getOrCreate()
    # Load data from .parquet
    initial_data = spark.read.parquet(file_name, header=True)
    # Get number of groups
    df_unique = initial_data.dropDuplicates(subset=["gid"]).select("gid")
    group_numbers = df_unique.collect()
    # Loop through the results for each group
    for row in group_numbers:
        # Select a set of data
        data = initial_data.filter(initial_data["gid"] == row[0])
        # Adds a column of delta_x to the data frame representing difference
        # from the x value of an adjacent data point
        window = Window.orderBy(data["x"])
        data = data.withColumn("delta_x", lead("x").over(window) - data["x"])
        # Calculated trapezoidal area
        data = data.withColumn(
            "trap",
            (
                data["delta_x"]
                * (data["y"] + lit(0.5) * (lead("y").over(window) - data["y"]))
            ),
        )
        result = data.agg({"trap": "sum"}).collect()[0][0]
        res.append(result)
    return res
calc_area("./data.parquet")

提高計(jì)算的效率

  • 可以使用更高效的算法,如自適應(yīng)辛普森方法或者其他更快的積分方法
  • 可以在數(shù)據(jù)上進(jìn)行并行化處理,對(duì)pd DataFrame\spark DataFrame進(jìn)行分區(qū)并使用分布式計(jì)算
  • 在使用spark的時(shí)候可以為window操作制定分區(qū)來(lái)提高性能
  • 以下為與本例無(wú)關(guān)的籠統(tǒng)的提高效率的方法

并行計(jì)算:使用多核CPU或分布式計(jì)算系統(tǒng),將任務(wù)分解成多個(gè)子任務(wù)并行處理。

數(shù)據(jù)壓縮:壓縮大數(shù)據(jù)以減少存儲(chǔ)空間和帶寬,加快讀寫速度。

數(shù)據(jù)分塊:對(duì)大數(shù)據(jù)進(jìn)行分塊處理,可以減小內(nèi)存需求并加快處理速度。

緩存優(yōu)化:優(yōu)化緩存策略,減少磁盤訪問和讀取,提高計(jì)算效率。

算法優(yōu)化:使用高效率的算法,比如基于樹的算法和矩陣算法,可以提高計(jì)算效率。 

到此這篇關(guān)于Python結(jié)合Sprak實(shí)現(xiàn)計(jì)算曲線與X軸上方的面積的文章就介紹到這了,更多相關(guān)Python Sprak計(jì)算面積內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • Python?pluggy框架使用示例代碼

    Python?pluggy框架使用示例代碼

    這篇文章主要介紹了Python?pluggy框架基礎(chǔ)用法總結(jié),本文通過(guò)三個(gè)例子結(jié)合代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2022-05-05
  • Python解決線性代數(shù)問題之矩陣的初等變換方法

    Python解決線性代數(shù)問題之矩陣的初等變換方法

    今天小編就為大家分享一篇Python解決線性代數(shù)問題之矩陣的初等變換方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2018-12-12
  • Python之——生成動(dòng)態(tài)路由軌跡圖的實(shí)例

    Python之——生成動(dòng)態(tài)路由軌跡圖的實(shí)例

    今天小編就為大家分享一篇Python之——生成動(dòng)態(tài)路由軌跡圖的實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2019-11-11
  • python實(shí)現(xiàn)DEM數(shù)據(jù)的陰影生成的方法

    python實(shí)現(xiàn)DEM數(shù)據(jù)的陰影生成的方法

    這篇文章主要介紹了python實(shí)現(xiàn)DEM數(shù)據(jù)的陰影生成的方法,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2019-07-07
  • Python OpenCV高斯金字塔與拉普拉斯金字塔的實(shí)現(xiàn)

    Python OpenCV高斯金字塔與拉普拉斯金字塔的實(shí)現(xiàn)

    這篇文章主要介紹了Python OpenCV高斯金字塔與拉普拉斯金字塔的實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2021-03-03
  • Python調(diào)用百度api實(shí)現(xiàn)語(yǔ)音識(shí)別詳解

    Python調(diào)用百度api實(shí)現(xiàn)語(yǔ)音識(shí)別詳解

    這篇文章主要介紹了Python通過(guò)調(diào)用百度api實(shí)現(xiàn)語(yǔ)音識(shí)別,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)吧
    2021-12-12
  • Python控制自己的手機(jī)攝像頭拍照并自動(dòng)發(fā)送到郵箱案例講解

    Python控制自己的手機(jī)攝像頭拍照并自動(dòng)發(fā)送到郵箱案例講解

    這篇文章主要介紹了Python控制自己的手機(jī)攝像頭拍照,并把照片自動(dòng)發(fā)送到郵箱,大概思路是通過(guò)opencv調(diào)用攝像頭拍照保存圖像本地用email庫(kù)構(gòu)造郵件內(nèi)容,保存的圖像以附件形式插入郵件內(nèi)容用smtplib庫(kù)發(fā)送郵件到指定郵箱,需要的朋友可以參考下
    2022-04-04
  • 淺談Python里面小數(shù)點(diǎn)精度的控制

    淺談Python里面小數(shù)點(diǎn)精度的控制

    今天小編就為大家分享一篇淺談Python里面小數(shù)點(diǎn)精度的控制,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2018-07-07
  • 詳解Python中for循環(huán)的定義迭代方法

    詳解Python中for循環(huán)的定義迭代方法

    for循環(huán)用于迭代序列(即列表、元組、字典、集合或字符串)。for 語(yǔ)句的寫法如從對(duì)象開始按順序給變量賦值,元素個(gè)數(shù)重復(fù)這個(gè)過(guò)程。對(duì)象可以是列表(數(shù)組)、元組、字符串等。本文將詳細(xì)講解Python中for定義迭代方法詳解,需要的可以了解一下
    2022-04-04
  • 基于Python 中函數(shù)的 收集參數(shù) 機(jī)制

    基于Python 中函數(shù)的 收集參數(shù) 機(jī)制

    今天小編就為大家分享一篇基于Python 中函數(shù)的 收集參數(shù) 機(jī)制,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2019-12-12

最新評(píng)論