Hot data forex data
dados históricos Hot forex
Obter através da App Store Leia esta publicação em nosso aplicativo!
Como armazenar dados históricos.
Alguns colegas de trabalho e eu entraram em um debate sobre a melhor forma de armazenar dados históricos. Atualmente, para alguns sistemas, uso uma tabela separada para armazenar dados históricos e mantenho uma tabela original para o registro atual e ativo. Então, digamos que eu tenho mesa FOO. No meu sistema, todos os registros ativos entrarão em FOO, e todos os registros históricos entrarão no FOO_Hist. Muitos campos diferentes no FOO podem ser atualizados pelo usuário, então eu quero manter uma conta precisa de tudo atualizado. O FOO_Hist contém exatamente os mesmos campos como FOO com a exceção de um HIST_ID de incremento automático. Toda vez que FOO é atualizado, eu executo uma declaração de inserção em FOO_Hist semelhante a: inserir em FOO_HIST selecionar * de FOO onde id = id.
Meu colega de trabalho diz que isso é um design ruim porque eu não deveria ter uma cópia exata de uma tabela por motivos históricos e deveria inserir outro registro na tabela ativa com uma bandeira indicando que é para fins históricos.
Existe um padrão para lidar com o armazenamento de dados históricos? Parece-me que não quero desordenar meus registros ativos com todos os meus registros históricos na mesma tabela considerando que pode ser bem mais de um milhão de registros (estou pensando em longo prazo).
Como você ou sua empresa lidam com isso?
Estou usando o MS SQL Server 2008, mas eu gostaria de manter a resposta genérica e arbitrária de qualquer SGBD.
11 Respostas.
O suporte de dados históricos diretamente dentro de um sistema operacional tornará sua aplicação muito mais complexa do que seria de outra forma. Geralmente, eu não recomendaria fazê-lo, a menos que você tenha uma exigência difícil de manipular versões históricas de um registro dentro do sistema.
Se você olhar de perto, a maioria dos requisitos para dados históricos se enquadra em uma das duas categorias:
Registro de auditoria: isso é melhor feito com as tabelas de auditoria. É bastante fácil escrever uma ferramenta que gere scripts para criar tabelas e disparadores de log de auditoria lendo metadados do dicionário de dados do sistema. Este tipo de ferramenta pode ser usado para adaptar o log de auditoria na maioria dos sistemas. Você também pode usar este subsistema para a captura de dados alterada se você deseja implementar um data warehouse (veja abaixo).
Relatórios históricos: relatórios sobre o estado histórico, posições "como em" ou relatórios analíticos ao longo do tempo. Pode ser possível preencher requisitos de relatórios históricos simples consultando as tabelas de log de auditoria do tipo descrito acima. Se você tiver requisitos mais complexos, pode ser mais econômico implementar uma data mart para o relatório do que tentar integrar o histórico diretamente no sistema operacional.
Se seus requisitos se enquadram em uma dessas duas categorias, provavelmente você estará melhor não armazenar dados históricos em seu sistema operacional. Separar a funcionalidade histórica em outro subsistema provavelmente será menos esforço em geral e produzir bancos de dados transacionais e de auditoria / relatórios que funcionam muito melhor para o propósito pretendido.
Eu não acho que haja uma maneira padrão particular de fazê-lo, mas eu pensei que iria lançar um método possível. Eu trabalho no Oracle e no nosso framework de aplicativos da Web interno que utiliza XML para armazenar dados do aplicativo.
Usamos algo chamado um modelo de Mestre-Detalhe que é o mais simples consiste em:
Master Table, por exemplo, chamado Widgets, muitas vezes apenas contendo um ID. Muitas vezes, conterá dados que não serão alterados ao longo do tempo / não são históricos.
Detalhe / Histórico da tabela, por exemplo, chamado Widget_Details contendo pelo menos:
ID - chave primária. Detalhe / identificação histórica MASTER_ID - por exemplo, neste caso chamado 'WIDGET_ID', este é o FK para a gravação mestre START_DATETIME - timestamp indicando o início dessa linha de banco de dados END_DATETIME - timestamp indicando o final dessa linha de banco de dados STATUS_CONTROL - coluna de char único indicada status da linha. 'C' indica corrente, NULL ou 'A' seria histórico / arquivado. Nós só usamos isso porque não podemos indexar em END_DATETIME sendo NULL CREATED_BY_WUA_ID - armazena a identificação da conta que causou a linha a ser criada XMLDATA - armazena os dados reais.
Então, essencialmente, uma entidade começa por ter 1 linha no mestre e 1 linha no detalhe. O detalhe que possui uma data de término NULL e STATUS_CONTROL de 'C'. Quando uma atualização ocorre, a linha atual é atualizada para ter END_DATETIME da hora atual e status_control é definido como NULL (ou 'A' se preferido). Uma nova linha é criada na tabela de detalhes, ainda ligada ao mesmo mestre, com status_control 'C', o id da pessoa que faz a atualização e os novos dados armazenados na coluna XMLDATA.
Esta é a base do nosso modelo histórico. A lógica Criar / Atualizar é tratada em um pacote Oracle PL / SQL para que você simplesmente passe a função ID atual, sua ID de usuário e os novos dados XML e, internamente, faça toda a atualização / inserção de linhas para representar isso no modelo histórico . Os horários de início e término indicam quando essa linha da tabela está ativa.
O armazenamento é barato, geralmente não suprimos dados e preferimos manter uma trilha de auditoria. Isso nos permite ver o que nossos dados pareciam em qualquer momento. Ao indexar status_control = 'C' ou usando uma Vista, a confusão não é exatamente um problema. Obviamente, suas consultas precisam levar em consideração que você sempre deve usar a versão atual (NULL end_datetime e status_control = 'C') de um registro.
Eu acho que você está correto. A tabela histórica deve ser uma cópia da tabela principal sem índices, certifique-se de ter timestamp de atualização na tabela também.
Se você tentar a outra abordagem em breve, você enfrentará problemas:
manutenção sobrecarga mais bandeiras em seleciona consultas desaceleração crescimento de tabelas, índices.
Esta questão é bastante antiga, mas as pessoas ainda estão trabalhando nesta questão. então, se você estiver usando o oracle, você pode estar interessado no flashback oracle: docs. oracle/cd/B28359_01/appdev.111/b28424/adfns_flashback. htm.
Você poderia simplesmente particionar as tabelas não?
"Tabela Particionada e Estratégias de Índice Usando o SQL Server 2008 Quando uma tabela de banco de dados cresce em tamanho para as centenas de gigabytes ou mais, pode tornar-se mais difícil carregar dados novos, remover dados antigos e manter índices. Apenas o tamanho total da tabela faz com que tais operações demorem muito mais tempo. Mesmo os dados que devem ser carregados ou removidos podem ser muito importantes, tornando as operações INSERT e DELETE na tabela impraticáveis. O software de banco de dados Microsoft SQL Server 2008 fornece particionamento de tabelas para tornar essas operações mais gerenciáveis ".
A verdadeira questão é que você precisa usar dados históricos e dados ativos juntos para relatórios? Se assim for, mantenha-os em uma tabela, particione e crie uma visualização para registros ativos para usar em consultas ativas. Se você só precisa examiná-los ocasionalmente (para pesquisar problemas leagais ou algum desses), então coloque-os em uma tabela separada.
Conheço esse post antigo, mas queria apenas adicionar alguns pontos. O padrão para esses problemas é o que funciona melhor para a situação. A compreensão da necessidade desse armazenamento e o uso potencial dos dados históricos / de auditoria / mudança de rastreamento são muito importantes.
Auditoria (propósito de segurança): use uma tabela comum para todas as suas tabelas auditáveis. defina estrutura para armazenar o nome da coluna, antes do valor e depois dos campos de valor.
Arquivo / Histórico: para casos como rastreamento de endereço anterior, número de telefone, etc. Criando uma tabela separada, FOO_HIST é melhor se o seu esquema de tabela de transação ativa não mudar significativamente no futuro (se sua tabela de histórico tiver que ter a mesma estrutura). se você antecipa a normalização de tabela, a adição / remoção de colunas de alterações de tipo de dados, armazena seus dados históricos no formato xml. defina uma tabela com as seguintes colunas (ID, Data, Versão do Esquema, XMLData). Isso irá lidar facilmente com as mudanças de esquema. mas você precisa lidar com xml e isso pode introduzir um nível de complicação para a recuperação de dados.
Você pode usar o recurso MSSQL Server Auditing. A partir da versão do SQL Server 2012, você encontrará esse recurso em todas as edições:
Você pode criar uma visualização materializada / indexada na tabela. Com base no seu requisito, você pode fazer uma atualização completa ou parcial das visualizações. Veja isso para criar mview e log. Como criar visualizações materializadas no SQL Server?
Só queria adicionar uma opção que eu comecei a usar porque use o Azure SQL e a coisa de tabela múltipla era muito complicada para mim. Eu adicionei um gatilho de inserção / atualização / exclusão na minha mesa e, em seguida, converti a mudança antes / depois para o json usando o recurso "FOR JSON AUTO".
Isso retorna uma representação JSON para o registro antes / depois da alteração. Em seguida, armazeno esses valores em uma tabela de histórico com um carimbo de data / hora de quando a alteração ocorreu (eu também armazeno o ID para registro atual de preocupação). Usando o processo de serialização, posso controlar como os dados são preenchidos no caso de mudanças no esquema.
Aprendi sobre isso a partir deste link aqui.
Outra opção é arquivar os dados operacionais em uma base [diária | hora por semana]. A maioria dos mecanismos de banco de dados suporta a extração dos dados em um arquivo.
Basicamente, a idéia é criar um trabalho agendado no Windows ou CRON que.
determina as tabelas atuais no banco de dados operacional seleciona todos os dados de cada tabela em um arquivo CSV ou XML comprime os dados exportados para um arquivo ZIP, de preferência com o carimbo de data / hora da geração no nome do arquivo para facilitar o arquivamento.
Muitos mecanismos de banco de dados SQL vêm com uma ferramenta que pode ser usada para esse propósito. Por exemplo, ao usar o MySQL no Linux, o seguinte comando pode ser usado em um trabalho CRON para agendar a extração:
Instalando o HotForex MT4 no MAC.
O MetaTrader é o aplicativo de front-end mais popular no setor e está disponível para todos os usuários do Mac OS, pronto para baixar diretamente no seu computador em apenas algumas etapas simples.
Siga as etapas abaixo para instalar nossa plataforma MT4 no seu computador Mac:
Análise mais recente do HotForex.
Carregando as últimas análises.
Vencedor de 20 Prêmios da Indústria.
Contate-Nos.
Produtos.
Promoções.
Afiliados.
Legal: HotForex é uma marca registrada da HF Markets (Europe) Ltd uma empresa de investimento cipriota (CIF) sob o número HE 277582. Regulada pela Comissão de Valores Mobiliários (CySEC) sob o número de licença 183/12. O HotForex é regido pela Diretoria de Mercados de Instrumentos Financeiros (DMIF) da União Européia.
O site hotforex é operado pela HF Markets (Europe) Ltd.
Aviso de risco: os produtos de alavancagem de negociação, como Forex e CFDs, podem não ser adequados para todos os investidores, pois possuem um alto risco de risco para o seu capital. Certifique-se de que compreende plenamente os riscos envolvidos, levando em consideração seus objetivos de investimento e nível de experiência, antes da negociação e, se necessário, procure um conselho independente. Leia a Divulgação de riscos completa. A HotForex não aceita clientes dos EUA, Canadá, Bélgica, Irã, Sudão, Síria, Coréia do Norte e Japão.
Copyright © 2018 - Todos os direitos reservados.
Aviso de risco: os produtos de alavancagem de negociação, como Forex e CFDs, podem não ser adequados para todos os investidores, pois possuem um alto risco de risco para o seu capital. Leia a Divulgação de riscos completa.
Aviso de Risco: Recorde que Forex e CFDs são produtos alavancados e podem resultar na perda de todo o capital investido. Considere nossa Divulgação de Riscos.
Instalando o HotForex MT4 no MAC.
O MetaTrader é o aplicativo de front-end mais popular no setor e está disponível para todos os usuários do Mac OS, pronto para baixar diretamente no seu computador em apenas algumas etapas simples.
Siga as etapas abaixo para instalar nossa plataforma MT4 no seu computador Mac:
Análise mais recente do HotForex.
Carregando as últimas análises.
Vencedor de 20 Prêmios da Indústria.
Contate-Nos.
Produtos.
Promoções.
Afiliados.
Legal: HotForex é uma marca registrada da HF Markets (Europe) Ltd uma empresa de investimento cipriota (CIF) sob o número HE 277582. Regulada pela Comissão de Valores Mobiliários (CySEC) sob o número de licença 183/12. O HotForex é regido pela Diretoria de Mercados de Instrumentos Financeiros (DMIF) da União Européia.
O site hotforex é operado pela HF Markets (Europe) Ltd.
Aviso de risco: os produtos de alavancagem de negociação, como Forex e CFDs, podem não ser adequados para todos os investidores, pois possuem um alto risco de risco para o seu capital. Certifique-se de que compreende plenamente os riscos envolvidos, levando em consideração seus objetivos de investimento e nível de experiência, antes da negociação e, se necessário, procure um conselho independente. Leia a Divulgação de riscos completa. A HotForex não aceita clientes dos EUA, Canadá, Bélgica, Irã, Sudão, Síria, Coréia do Norte e Japão.
Copyright © 2018 - Todos os direitos reservados.
Aviso de risco: os produtos de alavancagem de negociação, como Forex e CFDs, podem não ser adequados para todos os investidores, pois possuem um alto risco de risco para o seu capital. Leia a Divulgação de riscos completa.
Aviso de Risco: Recorde que Forex e CFDs são produtos alavancados e podem resultar na perda de todo o capital investido. Considere nossa Divulgação de Riscos.
dados históricos Hot forex
Obter através da App Store Leia esta publicação em nosso aplicativo!
Como armazenar dados históricos.
Alguns colegas de trabalho e eu entraram em um debate sobre a melhor forma de armazenar dados históricos. Atualmente, para alguns sistemas, uso uma tabela separada para armazenar dados históricos e mantenho uma tabela original para o registro atual e ativo. Então, digamos que eu tenho mesa FOO. No meu sistema, todos os registros ativos entrarão em FOO, e todos os registros históricos entrarão no FOO_Hist. Muitos campos diferentes no FOO podem ser atualizados pelo usuário, então eu quero manter uma conta precisa de tudo atualizado. O FOO_Hist contém exatamente os mesmos campos como FOO com a exceção de um HIST_ID de incremento automático. Toda vez que FOO é atualizado, eu executo uma declaração de inserção em FOO_Hist semelhante a: inserir em FOO_HIST selecionar * de FOO onde id = id.
Meu colega de trabalho diz que isso é um design ruim porque eu não deveria ter uma cópia exata de uma tabela por motivos históricos e deveria inserir outro registro na tabela ativa com uma bandeira indicando que é para fins históricos.
Existe um padrão para lidar com o armazenamento de dados históricos? Parece-me que não quero desordenar meus registros ativos com todos os meus registros históricos na mesma tabela considerando que pode ser bem mais de um milhão de registros (estou pensando em longo prazo).
Como você ou sua empresa lidam com isso?
Estou usando o MS SQL Server 2008, mas eu gostaria de manter a resposta genérica e arbitrária de qualquer SGBD.
11 Respostas.
O suporte de dados históricos diretamente dentro de um sistema operacional tornará sua aplicação muito mais complexa do que seria de outra forma. Geralmente, eu não recomendaria fazê-lo, a menos que você tenha uma exigência difícil de manipular versões históricas de um registro dentro do sistema.
Se você olhar de perto, a maioria dos requisitos para dados históricos se enquadra em uma das duas categorias:
Registro de auditoria: isso é melhor feito com as tabelas de auditoria. É bastante fácil escrever uma ferramenta que gere scripts para criar tabelas e disparadores de log de auditoria lendo metadados do dicionário de dados do sistema. Este tipo de ferramenta pode ser usado para adaptar o log de auditoria na maioria dos sistemas. Você também pode usar este subsistema para a captura de dados alterada se você deseja implementar um data warehouse (veja abaixo).
Relatórios históricos: relatórios sobre o estado histórico, posições "como em" ou relatórios analíticos ao longo do tempo. Pode ser possível preencher requisitos de relatórios históricos simples consultando as tabelas de log de auditoria do tipo descrito acima. Se você tiver requisitos mais complexos, pode ser mais econômico implementar uma data mart para o relatório do que tentar integrar o histórico diretamente no sistema operacional.
Se seus requisitos se enquadram em uma dessas duas categorias, provavelmente você estará melhor não armazenar dados históricos em seu sistema operacional. Separar a funcionalidade histórica em outro subsistema provavelmente será menos esforço em geral e produzir bancos de dados transacionais e de auditoria / relatórios que funcionam muito melhor para o propósito pretendido.
Eu não acho que haja uma maneira padrão particular de fazê-lo, mas eu pensei que iria lançar um método possível. Eu trabalho no Oracle e no nosso framework de aplicativos da Web interno que utiliza XML para armazenar dados do aplicativo.
Usamos algo chamado um modelo de Mestre-Detalhe que é o mais simples consiste em:
Master Table, por exemplo, chamado Widgets, muitas vezes apenas contendo um ID. Muitas vezes, conterá dados que não serão alterados ao longo do tempo / não são históricos.
Detalhe / Histórico da tabela, por exemplo, chamado Widget_Details contendo pelo menos:
ID - chave primária. Detalhe / identificação histórica MASTER_ID - por exemplo, neste caso chamado 'WIDGET_ID', este é o FK para a gravação mestre START_DATETIME - timestamp indicando o início dessa linha de banco de dados END_DATETIME - timestamp indicando o final dessa linha de banco de dados STATUS_CONTROL - coluna de char único indicada status da linha. 'C' indica corrente, NULL ou 'A' seria histórico / arquivado. Nós só usamos isso porque não podemos indexar em END_DATETIME sendo NULL CREATED_BY_WUA_ID - armazena a identificação da conta que causou a linha a ser criada XMLDATA - armazena os dados reais.
Então, essencialmente, uma entidade começa por ter 1 linha no mestre e 1 linha no detalhe. O detalhe que possui uma data de término NULL e STATUS_CONTROL de 'C'. Quando uma atualização ocorre, a linha atual é atualizada para ter END_DATETIME da hora atual e status_control é definido como NULL (ou 'A' se preferido). Uma nova linha é criada na tabela de detalhes, ainda ligada ao mesmo mestre, com status_control 'C', o id da pessoa que faz a atualização e os novos dados armazenados na coluna XMLDATA.
Esta é a base do nosso modelo histórico. A lógica Criar / Atualizar é tratada em um pacote Oracle PL / SQL para que você simplesmente passe a função ID atual, sua ID de usuário e os novos dados XML e, internamente, faça toda a atualização / inserção de linhas para representar isso no modelo histórico . Os horários de início e término indicam quando essa linha da tabela está ativa.
O armazenamento é barato, geralmente não suprimos dados e preferimos manter uma trilha de auditoria. Isso nos permite ver o que nossos dados pareciam em qualquer momento. Ao indexar status_control = 'C' ou usando uma Vista, a confusão não é exatamente um problema. Obviamente, suas consultas precisam levar em consideração que você sempre deve usar a versão atual (NULL end_datetime e status_control = 'C') de um registro.
Eu acho que você está correto. A tabela histórica deve ser uma cópia da tabela principal sem índices, certifique-se de ter timestamp de atualização na tabela também.
Se você tentar a outra abordagem em breve, você enfrentará problemas:
manutenção sobrecarga mais bandeiras em seleciona consultas desaceleração crescimento de tabelas, índices.
Esta questão é bastante antiga, mas as pessoas ainda estão trabalhando nesta questão. então, se você estiver usando o oracle, você pode estar interessado no flashback oracle: docs. oracle/cd/B28359_01/appdev.111/b28424/adfns_flashback. htm.
Você poderia simplesmente particionar as tabelas não?
"Tabela Particionada e Estratégias de Índice Usando o SQL Server 2008 Quando uma tabela de banco de dados cresce em tamanho para as centenas de gigabytes ou mais, pode tornar-se mais difícil carregar dados novos, remover dados antigos e manter índices. Apenas o tamanho total da tabela faz com que tais operações demorem muito mais tempo. Mesmo os dados que devem ser carregados ou removidos podem ser muito importantes, tornando as operações INSERT e DELETE na tabela impraticáveis. O software de banco de dados Microsoft SQL Server 2008 fornece particionamento de tabelas para tornar essas operações mais gerenciáveis ".
A verdadeira questão é que você precisa usar dados históricos e dados ativos juntos para relatórios? Se assim for, mantenha-os em uma tabela, particione e crie uma visualização para registros ativos para usar em consultas ativas. Se você só precisa examiná-los ocasionalmente (para pesquisar problemas leagais ou algum desses), então coloque-os em uma tabela separada.
Conheço esse post antigo, mas queria apenas adicionar alguns pontos. O padrão para esses problemas é o que funciona melhor para a situação. A compreensão da necessidade desse armazenamento e o uso potencial dos dados históricos / de auditoria / mudança de rastreamento são muito importantes.
Auditoria (propósito de segurança): use uma tabela comum para todas as suas tabelas auditáveis. defina estrutura para armazenar o nome da coluna, antes do valor e depois dos campos de valor.
Arquivo / Histórico: para casos como rastreamento de endereço anterior, número de telefone, etc. Criando uma tabela separada, FOO_HIST é melhor se o seu esquema de tabela de transação ativa não mudar significativamente no futuro (se sua tabela de histórico tiver que ter a mesma estrutura). se você antecipa a normalização de tabela, a adição / remoção de colunas de alterações de tipo de dados, armazena seus dados históricos no formato xml. defina uma tabela com as seguintes colunas (ID, Data, Versão do Esquema, XMLData). Isso irá lidar facilmente com as mudanças de esquema. mas você precisa lidar com xml e isso pode introduzir um nível de complicação para a recuperação de dados.
Você pode usar o recurso MSSQL Server Auditing. A partir da versão do SQL Server 2012, você encontrará esse recurso em todas as edições:
Você pode criar uma visualização materializada / indexada na tabela. Com base no seu requisito, você pode fazer uma atualização completa ou parcial das visualizações. Veja isso para criar mview e log. Como criar visualizações materializadas no SQL Server?
Só queria adicionar uma opção que eu comecei a usar porque use o Azure SQL e a coisa de tabela múltipla era muito complicada para mim. Eu adicionei um gatilho de inserção / atualização / exclusão na minha mesa e, em seguida, converti a mudança antes / depois para o json usando o recurso "FOR JSON AUTO".
Isso retorna uma representação JSON para o registro antes / depois da alteração. Em seguida, armazeno esses valores em uma tabela de histórico com um carimbo de data / hora de quando a alteração ocorreu (eu também armazeno o ID para registro atual de preocupação). Usando o processo de serialização, posso controlar como os dados são preenchidos no caso de mudanças no esquema.
Aprendi sobre isso a partir deste link aqui.
Outra opção é arquivar os dados operacionais em uma base [diária | hora por semana]. A maioria dos mecanismos de banco de dados suporta a extração dos dados em um arquivo.
Basicamente, a idéia é criar um trabalho agendado no Windows ou CRON que.
determina as tabelas atuais no banco de dados operacional seleciona todos os dados de cada tabela em um arquivo CSV ou XML comprime os dados exportados para um arquivo ZIP, de preferência com o carimbo de data / hora da geração no nome do arquivo para facilitar o arquivamento.
Muitos mecanismos de banco de dados SQL vêm com uma ferramenta que pode ser usada para esse propósito. Por exemplo, ao usar o MySQL no Linux, o seguinte comando pode ser usado em um trabalho CRON para agendar a extração:
Taxas Forex em tempo real no Excel.
Obtenha taxas de câmbio ao vivo em tempo real no Excel com esta planilha gratuita. As citações são atrasadas em cerca de 15 ou 20 minutos, mas são atualizadas a cada minuto ou mais.
Tudo está automatizado no VBA. O VBA pode ser visualizado e modificado. As porcas e parafusos do código são um QueryTable que extrai as taxas de forex mais recentes do finance. yahoo para as duas moedas especificadas.
Tudo o que você precisa fazer é digitar dois códigos de moeda de três letras e clicar em um botão (você pode encontrar uma lista de códigos de moeda aqui).
A VBA então baixa as taxas de câmbio mais recentes do Yahoo no Excel, usando uma tabela de consulta.
O Excel, em seguida, baixa as taxas de lances / pedidos anteriores, abertas e atuais anteriores para o par de moedas. Ao clicar no botão, atualiza as cotações com os valores mais recentes.
Atualização em tempo real atualizada automaticamente no Excel.
Agora, aqui é onde podemos ser inteligentes e obter o Excel para atualizar automaticamente as taxas de câmbio ao vivo.
1. Selecione o QueryTable como mostrado abaixo, clique com o botão direito do mouse e selecione Propriedades do intervalo de dados.
2. No menu Propriedades do intervalo de dados externos, coloque uma verificação na opção Atualizar cada opção e escolha um horário de atualização (você só pode escolher um número inteiro de minutos). Agora, clique em OK.
O Excel agora atualiza os dados no QueryTable automaticamente, sem que você precise clicar em botões ou executar macros. Legal, eh?
Eu uso uma variante desta planilha para acompanhar o valor da libra esterlina da minha poupança externa. Você pode, por exemplo, modificar o VBA para baixar as taxas Forex para muitos pares de moedas (deixe-me saber se você quer essa planilha).
Outra planilha do Excel recupera as taxas de câmbio históricas diárias entre duas datas.
9 pensamentos sobre & ldquo; Taxas Forex em tempo real no Excel & rdquo;
Eu appriciate seu site.
mas em vez de adicionar 40 perguntas, basta salvar um arquivo. iqy e alterar a consulta para:
e atribua uma célula de entrada a este parâmetro (data-connections-properties-definition).
Não foi necessário vba e combinado com offset, etc., uma ferramenta muito útil.
Houve um erro de formatação no meu comentário anterior.
Isso é muito útil. Estou executando o Excel 2013 e tentei copiar a folha, mas tinha linhas e colunas diferentes para copiar as células para o meu caderno de trabalho, mas obter um erro de tempo de execução 1004.
Idealmente, eu gostaria de ter 3 conversões em uma única folha no final do meu caderno de trabalho financeiro para que eu possa capturar as taxas de câmbio em reais / EUR / GBP, AUD / GBP e EURO / GBP. Como eu faço isso?
Obrigado pela sua ajuda, Anthony.
Eu recebendo a seguinte mensagem de erro:
Não foi possível abrir finance. yahoo/q? s=USDCAD=X. Não é possível baixar as informações que você solicitou.
Eu quero exportar o lance e o pedido para outro aplicativo que aceita DDE (Dynamic Data Exchange). Como faço isso?
Faço tudo por mim. Eu não posso pesquisar ou nada, então eu confio em pessoas que trabalham arduamente para me fornecer algo de grande valor para absolutamente nada, da bondade de seus corações e sem esforço da minha parte. Corrija MEUS problemas para mim!
Grande planilha eletrônica! Isso será muito útil para mim e agradeço o seu trabalho árduo. Posso ter alguns problemas com isso funcionando, mas eu vou corrigi-lo sozinho. Obrigado!
Ótimo código! Funciona lindamente.
Você também pode compartilhar o par de moedas múltiplas XLS?
Ei, obrigado por isso! Salve uma tonelada de tempo 🙂
Muito bom código & # 8230;; mas eu estou enfrentando algum problema .. (eu não sou um programador ... 🙁 & # 8230;) e fiquei preso ... Eu tentei adicionar o segundo par de taxas (USD e BRL) simplesmente copiando a tabela em outra folha alterando o nome da folha & # 8230; e a Macro imediatamente caiu ... Você certamente definiu o nome da folha na Macro & # 8230; mas não consegui modificá-la ..
Você será tão gentil de me ajudar e # 8230 e me enviará a macro corrigida?
Desculpe ser tão insolente ... mas eu realmente não sei como sair ...
Produtos de dados históricos.
Os dados de opções intradiários históricos dos dados da Data Data estão disponíveis a partir de 2 de julho de 2004 e incluem:
Todas as opções de ações e patrimônio cotadas negociadas em transações dos Estados Unidos Aliança de Autorização de Relatórios de Preços de Opções Completas (OPRA), obtida de CBOE Tick-by-tick Citações de Nível I (oferta e preços de venda com tamanho) Negociações Tick-by-tick (último contrato executado preço e volume) Barras pré-construídas de um minuto (aberto, alto, baixo, fechado e volume para cada intervalo de minutos construído a partir dos dados do comércio) Carimbo do tempo no milissegundo desde setembro de 2008 Ordem símbolos e datas subjacentes e receba cadeia de opções completa Inclui informações de ação corporativa (divisões, dividendos, spin-offs, etc.) Ticker Mapping ® para produzir arquivos de séries temporais mapeados para mudanças de símbolo subjacentes, movimentos de câmbio, fusões, etc. Dados entregues em arquivos de texto ASCII para integração fácil (por exemplo, OneTick ® , R, MATLAB ®, MongoDB ®, Kdb +, etc.) Crie séries temporais personalizadas via TickWrite ® 7 Subscrição de atualização disponível para manter os dados das opções atuais Dados da amostra Dados Preços Guia do formato do arquivo Solicitar dados.
OPRA Opções de Preços de Dados.
Todas as opções de ações e patrimônio norte-americanas relatadas pela Autoridade de Relatório de Preços de Opções (OPRA) desde julho de 2 a 04 de maio de 2004. Para API / preços de preços alugados, clique aqui. Todos os preços em USD:
Os descontos estão disponíveis para pedidos de dados personalizados e maiores, incluindo pedidos de Dataset completos. Clique aqui para entrar em contato com nosso departamento de vendas.
Informações adicionais sobre preços.
Ordene dados para um subconjunto de símbolos e um intervalo de datas personalizado usando os preços PER SYMBOL-YEAR ou dados de pedidos para todos os símbolos disponíveis (ativos e inativos) para um intervalo de datas desejado sob o preço ALL SYMBOLS.
Montantes mínimos de pedidos.
US $ 1.000 para novos clientes e US $ 500 para clientes que retornam.
Oferecemos descontos por volume com base no número total de Símbolos-Anos por ordem. Por exemplo, o nosso desconto PICK 30 aplica-se quando você solicita qualquer combinação de 30 Símbolos-Anos de dados (por exemplo, 10 símbolos subjacentes x 3 anos = 30 Símbolos-Anos).
* Atualizações para Dados de Cotação de Opções de Nível I.
Devido ao tamanho dos dados da Cotação das Opções do Nível I e ao tempo necessário para receber, preparar e publicar até um dia de negociação, podemos oferecer apenas as atualizações dos dados das Cotações de Nível I para Opções mensalmente. A maioria das inscrições de atualização exigirá que os dados sejam carregados em unidades de disco rígido externas e enviados. O custo de 12 entregas mensais é, portanto, adicionado ao custo de dados ao se inscrever.
Obter através da App Store Leia esta publicação em nosso aplicativo!
Como armazenar dados históricos.
Alguns colegas de trabalho e eu entraram em um debate sobre a melhor forma de armazenar dados históricos. Atualmente, para alguns sistemas, uso uma tabela separada para armazenar dados históricos e mantenho uma tabela original para o registro atual e ativo. Então, digamos que eu tenho mesa FOO. No meu sistema, todos os registros ativos entrarão em FOO, e todos os registros históricos entrarão no FOO_Hist. Muitos campos diferentes no FOO podem ser atualizados pelo usuário, então eu quero manter uma conta precisa de tudo atualizado. O FOO_Hist contém exatamente os mesmos campos como FOO com a exceção de um HIST_ID de incremento automático. Toda vez que FOO é atualizado, eu executo uma declaração de inserção em FOO_Hist semelhante a: inserir em FOO_HIST selecionar * de FOO onde id = id.
Meu colega de trabalho diz que isso é um design ruim porque eu não deveria ter uma cópia exata de uma tabela por motivos históricos e deveria inserir outro registro na tabela ativa com uma bandeira indicando que é para fins históricos.
Existe um padrão para lidar com o armazenamento de dados históricos? Parece-me que não quero desordenar meus registros ativos com todos os meus registros históricos na mesma tabela considerando que pode ser bem mais de um milhão de registros (estou pensando em longo prazo).
Como você ou sua empresa lidam com isso?
Estou usando o MS SQL Server 2008, mas eu gostaria de manter a resposta genérica e arbitrária de qualquer SGBD.
11 Respostas.
O suporte de dados históricos diretamente dentro de um sistema operacional tornará sua aplicação muito mais complexa do que seria de outra forma. Geralmente, eu não recomendaria fazê-lo, a menos que você tenha uma exigência difícil de manipular versões históricas de um registro dentro do sistema.
Se você olhar de perto, a maioria dos requisitos para dados históricos se enquadra em uma das duas categorias:
Registro de auditoria: isso é melhor feito com as tabelas de auditoria. É bastante fácil escrever uma ferramenta que gere scripts para criar tabelas e disparadores de log de auditoria lendo metadados do dicionário de dados do sistema. Este tipo de ferramenta pode ser usado para adaptar o log de auditoria na maioria dos sistemas. Você também pode usar este subsistema para a captura de dados alterada se você deseja implementar um data warehouse (veja abaixo).
Relatórios históricos: relatórios sobre o estado histórico, posições "como em" ou relatórios analíticos ao longo do tempo. Pode ser possível preencher requisitos de relatórios históricos simples consultando as tabelas de log de auditoria do tipo descrito acima. Se você tiver requisitos mais complexos, pode ser mais econômico implementar uma data mart para o relatório do que tentar integrar o histórico diretamente no sistema operacional.
Se seus requisitos se enquadram em uma dessas duas categorias, provavelmente você estará melhor não armazenar dados históricos em seu sistema operacional. Separar a funcionalidade histórica em outro subsistema provavelmente será menos esforço em geral e produzir bancos de dados transacionais e de auditoria / relatórios que funcionam muito melhor para o propósito pretendido.
Eu não acho que haja uma maneira padrão particular de fazê-lo, mas eu pensei que iria lançar um método possível. Eu trabalho no Oracle e no nosso framework de aplicativos da Web interno que utiliza XML para armazenar dados do aplicativo.
Usamos algo chamado um modelo de Mestre-Detalhe que é o mais simples consiste em:
Master Table, por exemplo, chamado Widgets, muitas vezes apenas contendo um ID. Muitas vezes, conterá dados que não serão alterados ao longo do tempo / não são históricos.
Detalhe / Histórico da tabela, por exemplo, chamado Widget_Details contendo pelo menos:
ID - chave primária. Detalhe / identificação histórica MASTER_ID - por exemplo, neste caso chamado 'WIDGET_ID', este é o FK para a gravação mestre START_DATETIME - timestamp indicando o início dessa linha de banco de dados END_DATETIME - timestamp indicando o final dessa linha de banco de dados STATUS_CONTROL - coluna de char único indicada status da linha. 'C' indica corrente, NULL ou 'A' seria histórico / arquivado. Nós só usamos isso porque não podemos indexar em END_DATETIME sendo NULL CREATED_BY_WUA_ID - armazena a identificação da conta que causou a linha a ser criada XMLDATA - armazena os dados reais.
Então, essencialmente, uma entidade começa por ter 1 linha no mestre e 1 linha no detalhe. O detalhe que possui uma data de término NULL e STATUS_CONTROL de 'C'. Quando uma atualização ocorre, a linha atual é atualizada para ter END_DATETIME da hora atual e status_control é definido como NULL (ou 'A' se preferido). Uma nova linha é criada na tabela de detalhes, ainda ligada ao mesmo mestre, com status_control 'C', o id da pessoa que faz a atualização e os novos dados armazenados na coluna XMLDATA.
Esta é a base do nosso modelo histórico. A lógica Criar / Atualizar é tratada em um pacote Oracle PL / SQL para que você simplesmente passe a função ID atual, sua ID de usuário e os novos dados XML e, internamente, faça toda a atualização / inserção de linhas para representar isso no modelo histórico . Os horários de início e término indicam quando essa linha da tabela está ativa.
O armazenamento é barato, geralmente não suprimos dados e preferimos manter uma trilha de auditoria. Isso nos permite ver o que nossos dados pareciam em qualquer momento. Ao indexar status_control = 'C' ou usando uma Vista, a confusão não é exatamente um problema. Obviamente, suas consultas precisam levar em consideração que você sempre deve usar a versão atual (NULL end_datetime e status_control = 'C') de um registro.
Eu acho que você está correto. A tabela histórica deve ser uma cópia da tabela principal sem índices, certifique-se de ter timestamp de atualização na tabela também.
Se você tentar a outra abordagem em breve, você enfrentará problemas:
manutenção sobrecarga mais bandeiras em seleciona consultas desaceleração crescimento de tabelas, índices.
Esta questão é bastante antiga, mas as pessoas ainda estão trabalhando nesta questão. então, se você estiver usando o oracle, você pode estar interessado no flashback oracle: docs. oracle/cd/B28359_01/appdev.111/b28424/adfns_flashback. htm.
Você poderia simplesmente particionar as tabelas não?
"Tabela Particionada e Estratégias de Índice Usando o SQL Server 2008 Quando uma tabela de banco de dados cresce em tamanho para as centenas de gigabytes ou mais, pode tornar-se mais difícil carregar dados novos, remover dados antigos e manter índices. Apenas o tamanho total da tabela faz com que tais operações demorem muito mais tempo. Mesmo os dados que devem ser carregados ou removidos podem ser muito importantes, tornando as operações INSERT e DELETE na tabela impraticáveis. O software de banco de dados Microsoft SQL Server 2008 fornece particionamento de tabelas para tornar essas operações mais gerenciáveis ".
A verdadeira questão é que você precisa usar dados históricos e dados ativos juntos para relatórios? Se assim for, mantenha-os em uma tabela, particione e crie uma visualização para registros ativos para usar em consultas ativas. Se você só precisa examiná-los ocasionalmente (para pesquisar problemas leagais ou algum desses), então coloque-os em uma tabela separada.
Conheço esse post antigo, mas queria apenas adicionar alguns pontos. O padrão para esses problemas é o que funciona melhor para a situação. A compreensão da necessidade desse armazenamento e o uso potencial dos dados históricos / de auditoria / mudança de rastreamento são muito importantes.
Auditoria (propósito de segurança): use uma tabela comum para todas as suas tabelas auditáveis. defina estrutura para armazenar o nome da coluna, antes do valor e depois dos campos de valor.
Arquivo / Histórico: para casos como rastreamento de endereço anterior, número de telefone, etc. Criando uma tabela separada, FOO_HIST é melhor se o seu esquema de tabela de transação ativa não mudar significativamente no futuro (se sua tabela de histórico tiver que ter a mesma estrutura). se você antecipa a normalização de tabela, a adição / remoção de colunas de alterações de tipo de dados, armazena seus dados históricos no formato xml. defina uma tabela com as seguintes colunas (ID, Data, Versão do Esquema, XMLData). Isso irá lidar facilmente com as mudanças de esquema. mas você precisa lidar com xml e isso pode introduzir um nível de complicação para a recuperação de dados.
Você pode usar o recurso MSSQL Server Auditing. A partir da versão do SQL Server 2012, você encontrará esse recurso em todas as edições:
Você pode criar uma visualização materializada / indexada na tabela. Com base no seu requisito, você pode fazer uma atualização completa ou parcial das visualizações. Veja isso para criar mview e log. Como criar visualizações materializadas no SQL Server?
Só queria adicionar uma opção que eu comecei a usar porque use o Azure SQL e a coisa de tabela múltipla era muito complicada para mim. Eu adicionei um gatilho de inserção / atualização / exclusão na minha mesa e, em seguida, converti a mudança antes / depois para o json usando o recurso "FOR JSON AUTO".
Isso retorna uma representação JSON para o registro antes / depois da alteração. Em seguida, armazeno esses valores em uma tabela de histórico com um carimbo de data / hora de quando a alteração ocorreu (eu também armazeno o ID para registro atual de preocupação). Usando o processo de serialização, posso controlar como os dados são preenchidos no caso de mudanças no esquema.
Aprendi sobre isso a partir deste link aqui.
Outra opção é arquivar os dados operacionais em uma base [diária | hora por semana]. A maioria dos mecanismos de banco de dados suporta a extração dos dados em um arquivo.
Basicamente, a idéia é criar um trabalho agendado no Windows ou CRON que.
determina as tabelas atuais no banco de dados operacional seleciona todos os dados de cada tabela em um arquivo CSV ou XML comprime os dados exportados para um arquivo ZIP, de preferência com o carimbo de data / hora da geração no nome do arquivo para facilitar o arquivamento.
Muitos mecanismos de banco de dados SQL vêm com uma ferramenta que pode ser usada para esse propósito. Por exemplo, ao usar o MySQL no Linux, o seguinte comando pode ser usado em um trabalho CRON para agendar a extração:
Taxas Forex em tempo real no Excel.
Obtenha taxas de câmbio ao vivo em tempo real no Excel com esta planilha gratuita. As citações são atrasadas em cerca de 15 ou 20 minutos, mas são atualizadas a cada minuto ou mais.
Tudo está automatizado no VBA. O VBA pode ser visualizado e modificado. As porcas e parafusos do código são um QueryTable que extrai as taxas de forex mais recentes do finance. yahoo para as duas moedas especificadas.
Tudo o que você precisa fazer é digitar dois códigos de moeda de três letras e clicar em um botão (você pode encontrar uma lista de códigos de moeda aqui).
A VBA então baixa as taxas de câmbio mais recentes do Yahoo no Excel, usando uma tabela de consulta.
O Excel, em seguida, baixa as taxas de lances / pedidos anteriores, abertas e atuais anteriores para o par de moedas. Ao clicar no botão, atualiza as cotações com os valores mais recentes.
Atualização em tempo real atualizada automaticamente no Excel.
Agora, aqui é onde podemos ser inteligentes e obter o Excel para atualizar automaticamente as taxas de câmbio ao vivo.
1. Selecione o QueryTable como mostrado abaixo, clique com o botão direito do mouse e selecione Propriedades do intervalo de dados.
2. No menu Propriedades do intervalo de dados externos, coloque uma verificação na opção Atualizar cada opção e escolha um horário de atualização (você só pode escolher um número inteiro de minutos). Agora, clique em OK.
O Excel agora atualiza os dados no QueryTable automaticamente, sem que você precise clicar em botões ou executar macros. Legal, eh?
Eu uso uma variante desta planilha para acompanhar o valor da libra esterlina da minha poupança externa. Você pode, por exemplo, modificar o VBA para baixar as taxas Forex para muitos pares de moedas (deixe-me saber se você quer essa planilha).
Outra planilha do Excel recupera as taxas de câmbio históricas diárias entre duas datas.
9 pensamentos sobre & ldquo; Taxas Forex em tempo real no Excel & rdquo;
Eu appriciate seu site.
mas em vez de adicionar 40 perguntas, basta salvar um arquivo. iqy e alterar a consulta para:
e atribua uma célula de entrada a este parâmetro (data-connections-properties-definition).
Não foi necessário vba e combinado com offset, etc., uma ferramenta muito útil.
Houve um erro de formatação no meu comentário anterior.
Isso é muito útil. Estou executando o Excel 2013 e tentei copiar a folha, mas tinha linhas e colunas diferentes para copiar as células para o meu caderno de trabalho, mas obter um erro de tempo de execução 1004.
Idealmente, eu gostaria de ter 3 conversões em uma única folha no final do meu caderno de trabalho financeiro para que eu possa capturar as taxas de câmbio em reais / EUR / GBP, AUD / GBP e EURO / GBP. Como eu faço isso?
Obrigado pela sua ajuda, Anthony.
Eu recebendo a seguinte mensagem de erro:
Não foi possível abrir finance. yahoo/q? s=USDCAD=X. Não é possível baixar as informações que você solicitou.
Eu quero exportar o lance e o pedido para outro aplicativo que aceita DDE (Dynamic Data Exchange). Como faço isso?
Faço tudo por mim. Eu não posso pesquisar ou nada, então eu confio em pessoas que trabalham arduamente para me fornecer algo de grande valor para absolutamente nada, da bondade de seus corações e sem esforço da minha parte. Corrija MEUS problemas para mim!
Grande planilha eletrônica! Isso será muito útil para mim e agradeço o seu trabalho árduo. Posso ter alguns problemas com isso funcionando, mas eu vou corrigi-lo sozinho. Obrigado!
Ótimo código! Funciona lindamente.
Você também pode compartilhar o par de moedas múltiplas XLS?
Ei, obrigado por isso! Salve uma tonelada de tempo 🙂
Muito bom código & # 8230;; mas eu estou enfrentando algum problema .. (eu não sou um programador ... 🙁 & # 8230;) e fiquei preso ... Eu tentei adicionar o segundo par de taxas (USD e BRL) simplesmente copiando a tabela em outra folha alterando o nome da folha & # 8230; e a Macro imediatamente caiu ... Você certamente definiu o nome da folha na Macro & # 8230; mas não consegui modificá-la ..
Você será tão gentil de me ajudar e # 8230 e me enviará a macro corrigida?
Desculpe ser tão insolente ... mas eu realmente não sei como sair ...
Produtos de dados históricos.
Os dados de opções intradiários históricos dos dados da Data Data estão disponíveis a partir de 2 de julho de 2004 e incluem:
Todas as opções de ações e patrimônio cotadas negociadas em transações dos Estados Unidos Aliança de Autorização de Relatórios de Preços de Opções Completas (OPRA), obtida de CBOE Tick-by-tick Citações de Nível I (oferta e preços de venda com tamanho) Negociações Tick-by-tick (último contrato executado preço e volume) Barras pré-construídas de um minuto (aberto, alto, baixo, fechado e volume para cada intervalo de minutos construído a partir dos dados do comércio) Carimbo do tempo no milissegundo desde setembro de 2008 Ordem símbolos e datas subjacentes e receba cadeia de opções completa Inclui informações de ação corporativa (divisões, dividendos, spin-offs, etc.) Ticker Mapping ® para produzir arquivos de séries temporais mapeados para mudanças de símbolo subjacentes, movimentos de câmbio, fusões, etc. Dados entregues em arquivos de texto ASCII para integração fácil (por exemplo, OneTick ® , R, MATLAB ®, MongoDB ®, Kdb +, etc.) Crie séries temporais personalizadas via TickWrite ® 7 Subscrição de atualização disponível para manter os dados das opções atuais Dados da amostra Dados Preços Guia do formato do arquivo Solicitar dados.
OPRA Opções de Preços de Dados.
Todas as opções de ações e patrimônio norte-americanas relatadas pela Autoridade de Relatório de Preços de Opções (OPRA) desde julho de 2 a 04 de maio de 2004. Para API / preços de preços alugados, clique aqui. Todos os preços em USD:
Os descontos estão disponíveis para pedidos de dados personalizados e maiores, incluindo pedidos de Dataset completos. Clique aqui para entrar em contato com nosso departamento de vendas.
Informações adicionais sobre preços.
Ordene dados para um subconjunto de símbolos e um intervalo de datas personalizado usando os preços PER SYMBOL-YEAR ou dados de pedidos para todos os símbolos disponíveis (ativos e inativos) para um intervalo de datas desejado sob o preço ALL SYMBOLS.
Montantes mínimos de pedidos.
US $ 1.000 para novos clientes e US $ 500 para clientes que retornam.
Oferecemos descontos por volume com base no número total de Símbolos-Anos por ordem. Por exemplo, o nosso desconto PICK 30 aplica-se quando você solicita qualquer combinação de 30 Símbolos-Anos de dados (por exemplo, 10 símbolos subjacentes x 3 anos = 30 Símbolos-Anos).
* Atualizações para Dados de Cotação de Opções de Nível I.
Devido ao tamanho dos dados da Cotação das Opções do Nível I e ao tempo necessário para receber, preparar e publicar até um dia de negociação, podemos oferecer apenas as atualizações dos dados das Cotações de Nível I para Opções mensalmente. A maioria das inscrições de atualização exigirá que os dados sejam carregados em unidades de disco rígido externas e enviados. O custo de 12 entregas mensais é, portanto, adicionado ao custo de dados ao se inscrever.
Comments
Post a Comment